@n329291362 ？

@lithiumii 哈哈，被坑了吧

@dot2017 公认的反爬比较变态的一家站点。

@dcalsky 登录如果只要 cokkies 而没有加密参数，应该很 easy 的，但是不清楚你说的具体情况是什么

@lhx2008 确实，但是当反爬成本比较高的时候，比如大众点评，维护费用真的很高的。

@PP 没有真正的反爬，只有难度的加深，最终....

这个就太真实了

诉诸公堂啊

如果你存数据库，可以尝试 md5 一个唯一值，然后检查（或者布隆过滤器？不清楚）

@snappyone 我的思路就是通用爬虫。哈哈。

@dsg001 不不不，我只做到半通用化，好理解化就可以啦。全部配置我也不喜欢。

@dsg001 但是我想要在一个 spider 里面完成，毕竟是 crawlspider, 如果不能达到通用化，做着就没意思嘞

@binux https://www.v2ex.com/t/557512#reply0 大佬佬，帮帮忙

哈哈 律师函警告

@stcasshern ？？？哈哈，你想要什么

@luanguang 哈哈 都行的， 互相学习

@AnjingJingan 或者你加我 QQ：2443498314, 密保问题：佩奇（备注来意）

@AnjingJingan ？？？贴代码，我看看什么错误。

@showHand043 反爬措施就是参数加密啊（注意：注意看我的抓取链接），汽车之家和大众点评是网页字体反爬。

@yepinf 目前还未发现其他反爬措施，不过大规模抓取的时候建议上代理。你先试试。

@AnjingJingan 跑一边程序就生成了，不可能把大文件放到 github 上啊。