首页   注册   登录
 xiushenbuhuihui 最近的时间轴更新

xiushenbuhuihui

V2EX 第 421562 号会员,加入于 2019-06-13 23:41:33 +08:00
xiushenbuhuihui 最近回复了
使用 selenium 后将 scrapy 的异步模式改成了同步模式,保存到 item 会相对之前慢一些,让程序跑一会就有结果了
@fank99 您好,我把我的问题给你详细描述一下,请您帮我解决一下。
用的是 crawlspider 爬取乐融商城全部的网站源代码,但是爬取到精选配件页面(全部分类选项里面)时,由于商品(“比如:乐视蓝牙耳机”)的链接只是相对的,结果导致无法爬取商品页面源代码
@luanguang 您好,我把我的问题给你详细描述一下,请您帮我解决一下。
用的是 crawlspider 爬取乐融商城全部的网站源代码,但是爬取到精选配件页面(全部分类选项里面)时,由于商品(“比如:乐视蓝牙耳机”)的链接只是相对的,结果导致无法爬取商品页面源代码
130 天前
回复了 luanguang 创建的主题 Python 如何让 scrapy_redis 对起始 url 不去重
@luanguang 但是爬取到 这一页面时,
130 天前
回复了 luanguang 创建的主题 Python 如何让 scrapy_redis 对起始 url 不去重
@luanguang 用的是 crawlspider 爬取乐融商城全部的网站源代码
130 天前
回复了 luanguang 创建的主题 Python 如何让 scrapy_redis 对起始 url 不去重
@luanguang 您好,我把我的问题给你详细描述一下,请您帮我解决一下。
@luanguang 滨江租房子贼贵
关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   4351 人在线   最高记录 5043   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.3 · 13ms · UTC 06:06 · PVG 14:06 · LAX 23:06 · JFK 02:06
♥ Do have faith in what you're doing.