爬虫工程师已经是一个对新手很友好的职业了，大部分公司的需求其实都不难，需求难搞的都是那种做的事情偏灰 /黑产的
研究方向的话可以往逆向和机器学习方面发展，毕竟难搞的东西都需要这两个。尽量减少使用 headless、appium 之类的东西，毕竟很浪费资源且爬的速度慢，对技术水平也不会有太大的提升。

@zidian9 #28
1. 如果网站的 JS 有（黑盒） uglify，读懂他的 JS 非常困难，成本非常高
你说的应该是混淆 /加密后的代码吧，如果只是简单混淆的话，有很多方式能快速找到需要的东西；如果是加密的话，不管怎么加密最终还是会需要还原出原来的代码来执行的，只需要处理一下就可以把原始代码弄出来。弄得多了之后并不需要花费多少时间就能找到需要的部分

2. 存在解不了的 JS，比如 cloudflare 动态下发的 JS （动态下发一个 JS，每次都不一样），无法破解
动态下发的 JS 都会是按一定规律生成的，毕竟最终是为了执行后生成一个加密字符串放到 cookie 或请求里，只要找到规律就破掉了

3. 就算把 JS 取出来，用 V8，node，之类的引擎去运行，也只能解决构造请求的问题。各种验证码，人机验证。IP 限制，请求频率限制的防爬手段依然难以解决。
图片验证码要么机器学习要么接打码平台靠“人工智能”的力量打码
IP 限制、请求频率限制这种无非就是堆 IP、堆账号就能解决的问题
而人机验证就是多来一步 1、2 的步骤之后加上各种拟人轨迹 /设备指纹 /浏览器指纹的生成罢了，实在不行不还有搞灰产的那种打码接口卖么

其实主要看的还是值不值得砸钱堆 IP （高质量 IP 贵）、堆账号（需要手机号接验证码 /需要实名认证 /很容易封号 的贵）、打码（大量打码的情况下贵、人机验证搞不定的情况下用别人的打码接口贵）

这明明是鸡 https://ws4.sinaimg.cn/bmiddle/62e721e4gw1et02g5wksrj200k00k3y9.jpg

这种没有特征的东西光看加密后的字符串没法看出到底是什么，直接把网站 /APP 名发出来吧

这不就是把 s 变量加上两个等于号然后 base64decode 吗。。

被车门电出条件反射，现在用手直接碰到车门的时候会条件反射地把手往回缩一下。。所以我现在下车之后都不用手掌关车门了，就是因为之前有段时间天天被电🙃

自从注册了 V2ex,整个人都膨胀的不要不要的，连存款 10 万的贴都敢点进来看了

挂梯子就好了

弱电箱要移位的话就移完再装吧，免得改道的时候搞得很麻烦，装宽带一下午就搞完了。然后建议先设计好墙上的网线口位置，埋线的时候自己买好网线不要让装修的人买，要不然会出现买屏蔽线给你埋进去但是不接地的情况，等后面想换线的时候就换不了了。

可能会买也可能不会买，主看其他手机厂商出的机子怎么样了。。不过小米手机的品控是越来越垃圾了，不到万不得已的情况下打死都不买小米。然后除手机以外的东西一律不买

@locoz 接#68
但是再堵也比在地铁上站着舒服，地铁上的时间也要平均 1 小时了，还要加上下了地铁之后走路那一段花费的时间，如果下雨的话更烦人🙄

坐标深圳，单程 40-43km，其实还好吧，就是碰上大堵车和那种因为几个开得特别慢的车挡住路导致堵车的情况比较烦。早起一点 7 点多出门一路畅通 58 分钟左右到公司；晚起一点 8 点多出门一般就堵个 8km 左右，1 小时 10-20 分钟左右到公司（看路上有没有开得特别慢挡路的）

这个问题其实只要你能描述清楚就能在搜索引擎上找到，确实是应该先学一下如何提问，二楼说的没毛病

默默 clone 下来怼上之前写的几个房源爬虫😂

炸了？啥都加载不出

自行车吧。为了老婆不是应该你继续把驾照考下来吗。。

bug：
鼠标移到头像位置出来的菜单背景是透明的？？