V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  flyer103  ›  全部回复第 2 页 / 共 2 页
回复总数  29
1  2  
是韬哥……
@binux 想问下 “lxml单进程每秒30个页面还是没问题的” 是如何测出来的,平均获取单个页面中的数据条目有多少?
2014-04-09 22:43:54 +08:00
回复了 blond 创建的主题 Python 如何提高 python 编程能力
爬虫中有很多问题,举几个例子:
+ 分布式爬虫
+ 'headless browser' 技术抓取动态页面
+ 大规模存储问题
+ 高并发访问问题,有哪些模型
+ etc.
这些问题你能很好解决吗?如果可以,技术没有提高吗?
2014-03-02 13:36:57 +08:00
回复了 psnail 创建的主题 程序员 百度运维开发的前辈们
@psnail 我去年离开了……如果你能安心做好交给你的任务,再主动和 mentor、不同组的 OP、RD 交流下,对个人的发展会超过你的预期的
2014-03-01 00:43:38 +08:00
回复了 psnail 创建的主题 程序员 百度运维开发的前辈们
可以参考下我在知乎上的这个回答 http://www.zhihu.com/question/19619160/answer/19667711 ,另外,想知道 LZ 是在哪个运维部门?
2013-08-12 16:41:26 +08:00
回复了 bytedance 创建的主题 酷工作 [今日头条] 团队招聘数据抓取和处理(高级)工程师
不知道目前这段时间是否需要写爬虫方面的兼职?
2013-03-27 15:59:53 +08:00
回复了 funcman 创建的主题 iDev 如果同时开发iOS和Android应用,有什么好的方案?
@pscl 赞!但它提供的 API 还少,且在不同的平台上 cordova 使用的版本可能也不一样,这点儿在使用时有些麻烦。
感觉属于 'headless browser' 中涉及的问题。有三种方式:
1、qtwebkit
2、selenium
3、phantomjs
其中 phantomjs 实现最简单,效率也最高。
2013-02-21 12:43:50 +08:00
回复了 emptyhua 创建的主题 Python 要做个Python的分享,希望多忽悠几个pyer
1  2  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2274 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 20ms · UTC 13:03 · PVG 21:03 · LAX 06:03 · JFK 09:03
Developed with CodeLauncher
♥ Do have faith in what you're doing.