首页   注册   登录
Te11UA

Te11UA

V2EX 第 219250 号会员,加入于 2017-03-06 17:33:05 +08:00
今日活跃度排名 10545
32 S 51 B
多线程与协程爬虫有很大区别吗?多线程转协程能优化多少?
  •  1   
    Python  •  Te11UA  •  3 小时 13 分钟前  •  最后回复来自 black11black
    53
    用 ThreadPoolExecutor 时如何同时 submit 和 as_completed?
    Python  •  Te11UA  •  27 天前  •  最后回复来自 laike9m
    2
    Python 怎么优雅地不断检查一个变量是否有值?
    Python  •  Te11UA  •  119 天前  •  最后回复来自 ClericPy
    13
    Te11UA 最近回复了
    @locoz 了解,我去尝试先,目前内存的确是有点瓶颈
    @Vegetable 带宽实际上没有那么多,因为代理质量一般,而且有一定的解析操作。用的是按量付费,看监控就十几 MB 而已。
    1 天前
    回复了 youthfire 创建的主题 Python 对 Python 里多进程池用法有点迷茫
    @lithbitren 那这样的话,单进程不就利用不了多核麽?
    1 天前
    回复了 rqxiao 创建的主题 职场话题 一般满一年年假都有几天?
    5 天路过……
    不一样是什么意思,长度不一样还是验证码?
    10 天前
    回复了 woshichuanqilz 创建的主题 Python 爬取亚马逊使用代理的问题
    代理 IP 大部分都是复用的,被识别出来很正常,你自己的 IP 又没有什么异常行为当然放过你了。做验证码识别可以缓解。
    23 天前
    回复了 xianyu0 创建的主题 问与答 是否有好用的代理 IP 推荐
    半年过去了,请问老哥有没有推荐的呢?
    @qqqqq9898 你说的这些是反爬用到的,用 chromedp 和 selenium 之类的可以操作,但是我想问的是俩 Python 环境之间有什么差别会导致这种现象呢? CPU 内存之类的应该不会有差别吧
    @locoz 敢问用 Python 跑的话,抓包怎么解密 SSL ?只用过浏览器的 SSLKEY
    @qqqqq9898 如果说是 InterfaceID 和 MAC 地址的话,抓包看都是一模一样的
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2478 人在线   最高记录 5168   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 05:09 · PVG 13:09 · LAX 22:09 · JFK 01:09
    ♥ Do have faith in what you're doing.