手把手爬虫教你写爬虫---电商爬虫、互联网金融爬虫

[oceantree]

爬虫爱好者一枚，写了两个系列的爬虫教程，分享给有需要的人，后续会不定时更新

系列一：手把手教你写电商爬虫

• 第一课 找个软柿子捏捏 http://blog.csdn.net/youmumzcs/article/details/51373830

• 第二课 实战尚妆网分页商品采集爬虫 http://blog.csdn.net/youmumzcs/article/details/51383648

• 第三课 实战尚妆网 AJAX 请求处理和内容提取 http://blog.csdn.net/youmumzcs/article/details/51384741

• 第四课 淘宝网商品爬虫自动 JS 渲染 http://blog.csdn.net/youmumzcs/article/details/51385856

• 第五课 京东商品评论爬虫 一起来对付反爬虫 http://blog.csdn.net/youmumzcs/article/details/51396283

系列二： 互联网金融爬虫怎么写

• 第一课 p2p 网贷爬虫（ XPath 入门） http://blog.csdn.net/youmumzcs/article/details/51455296

• 第二课 雪球网股票爬虫（正则表达式入门） http://blog.csdn.net/youmumzcs/article/details/51463991

• 第三课 雪球网股票爬虫（ ajax 分析） http://blog.csdn.net/youmumzcs/article/details/52033622

• 第四课 雪球网股票爬虫（单页面多数据） http://blog.csdn.net/youmumzcs/article/details/52047814

大家对什么爬虫最有兴趣，想用爬虫获取什么数据，有什么反馈建议，都欢迎留言

[oceantree]

不是刚发的帖子，怎么变成 4 小时之前的了

[sanwenshi]

支持一个

[oceantree]

一打开消息

165 次点击 ∙ 14 人收藏

就没人给个意见啥的

[qiayue]

90 分钟 16 个收藏很不错了，说明还是有人认可你的教程的

[oceantree]

@qiayue
哈哈 多谢支持了

[ango]

收下了，有时间再看看

[Myflos]

干货，先收了

[qiayue]

@oceantree 上传个头像吧

[oceantree]

@qiayue
好了，和博客一样的

[harry890829]

不知道评论什么，反正晚点回去看看

[kchum]

是不是还可以上一下分布式爬虫，调度之类的。

[romotc]

有什么办法使用 cacheImg 处理图片数组吗？

[aidoudou]

先收藏，再慢慢看

[oceantree]

@kchum
这个可以有

[oceantree]

@romotc
用 for 循环，目前只能一个一个处理

[coolair]

这些东西没什么意义吧？主要就是分析链接？
推广你的“神箭手云爬虫 框架”？
“神箭手云爬虫 框架”在哪？开源吗？

[abctest]

@qiayue
@ango
@Myflos
@harry890829
@kchum
@romotc
@aidoudou
你们回去都不用看了，我仔细看过了，好大一个安利，全是软文。

[oceantree]

@coolair
你觉得没用的话，可以不看，帖子分享给有需要的人
神箭手云爬虫框架，是一个云端运行爬虫的开发平台，用起来方便，所以才用的

[romotc]

@oceantree cacheImg 返回了奇怪的东西： shenjianshou://http://image.xx.com/showImage.aspx?t=a1&v=10000A998

[qiayue]

文章还是有价值的，不过建议楼主（神箭手 CEO ）下次来 V2EX 发帖，就正正当当的在文章开头表明身份表明利益关系更好。
我玩 V2EX 五六年了，一般来讲真心实意来推广自己产品的，广大 V 友是欢迎的，但是如果遮遮掩掩来推广，反倒不受欢迎。
比如前几天的 OneAPM 演了一场戏，结果被扒皮了。

[harry890829]

@abctest 我粗略看了一眼文章，大概了解了一下，发现是软文，或者说是推广吧，不过当时没有明说……

[oceantree]

@qiayue
好吧，我想问下你怎么看出是神箭手 CEO 的，厉害，对这里情况不太了解
的确是希望大家多多用下我们的平台，如果写的文章能给爬虫入门的人有帮助更好

[123s]

已加入豪华午餐

[qiayue]

@oceantree 你 csdn 有真名，然后一搜索就从出来了

[vtea]

顶楼主，最近写爬虫卡在爬 ajax 类动态网页上了

[oceantree]

@vtea
有帮助就好

[oceantree]

@romotc
是这样的，通过 cacheImg 给 url 添加标识，这样才能正常将图片云托管到神箭手服务器上

[miao]

果然是软文. 好在可以防爬虫

[miao]

@miao 反爬虫

[upczww]

神箭手的广告

[nikola]

mark

[oceantree]

@miao
恩，的确是希望大家多试用我们开发的平台写爬虫，对神箭手有什么意见建议也欢迎大家提出
对爬虫有兴趣的，可以加入群交流， 56685526

[pheyer]

lz 有试过把淘宝全部商品爬完要多长时间吗？

[oceantree]

@pheyer
这个没试过
不过我们已经写好了淘宝的爬虫，有三种不同的。

[cangbaotu]

赞作者，刚好需要，赶紧去拜读一下(￣▽￣)"

[ssllff123]

@oceantree 能不能请教怎么处理的 js 啊

[jy00566722]

@oceantree 太贵了，不给人入门窥探的机会。 我还充了值，以为市场里那些爬虫可以玩一把。
仔细一看才发现自己多天真，原来是要会员等才可以用的。随便一个有用的都是个人旗舰版。还是整 scrapy 吧。