V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
xiao38245
V2EX  ›  程序员

三年爬虫需要什么技能树?

  •  
  •   xiao38245 · 2020-04-08 13:47:14 +08:00 · 3091 次点击
    这是一个创建于 780 天前的主题,其中的信息可能已经有所发展或是发生改变。

    如题, 感觉爬虫知识很凌乱, 有什么系统的技能树借鉴一下吗 顺便, 如果想转产品经理的话, 困难吗

    23 条回复    2020-04-10 18:40:14 +08:00
    scukmh
        1
    scukmh  
       2020-04-08 13:53:02 +08:00   ❤️ 14
    三年爬虫经验:
    1. 熟练使用 python 编写爬虫两年
    2. 坐牢一年
    zhanglp888
        2
    zhanglp888  
       2020-04-08 13:56:29 +08:00
    @scukmh 哈!感受了
    renmu123
        3
    renmu123  
       2020-04-08 14:03:10 +08:00
    随便列举一点(我也不是干爬虫的):
    1. 集群下载
    2. app 逆向
    3. js 逆向
    4. js 解密
    5. 不同验证码的破解方法
    6. 各种反反爬的知识
    lhx2008
        4
    lhx2008  
       2020-04-08 14:03:49 +08:00 via Android
    爬虫好像要知道的东西不多,比较难的可能是调度架构,JS 分析,验证码识别,数据清洗之类的吧
    wolfan
        5
    wolfan  
       2020-04-08 14:04:52 +08:00 via Android
    职业律师资格证书
    zcfnc
        6
    zcfnc  
       2020-04-08 14:05:00 +08:00
    不吃三年劳饭的程序员
    不是一个好的爬虫产品经理
    xiao38245
        7
    xiao38245  
    OP
       2020-04-08 14:33:33 +08:00
    @scukmh 太草了
    sakila
        8
    sakila  
       2020-04-08 14:47:19 +08:00
    @scukmh 三年爬虫经验:
    1. 熟练使用 python 编写爬虫两年
    2. 坐牢一年
    ----
    谢谢兄弟, 有被笑到
    yingqi7
        9
    yingqi7  
       2020-04-08 14:51:14 +08:00 via iPhone
    @scukmh 你想来华为上班吗
    yinjy
        10
    yinjy  
       2020-04-08 15:16:23 +08:00
    看成三年爬树了
    forgottencoast
        11
    forgottencoast  
       2020-04-08 15:25:28 +08:00
    吓的瑟瑟发抖。
    幸好我写爬虫的时候还不流行坐牢。
    hugedata
        12
    hugedata  
       2020-04-08 16:15:56 +08:00
    楼上说的职业律师资格证书和坐牢一年这些是备选,主要还是自己要多学习一些法律知识,打铁还需自身硬。一定要知法、懂法、守法。
    murmur
        13
    murmur  
       2020-04-08 16:21:30 +08:00
    现在的爬虫跟爬虫本身已经没多大关联了,首先你得有资源,包括机器和 IP,然后你要能逆向,各种与反扒对抗,最后你要有法律知识,不要越界被制裁
    labulaka521
        14
    labulaka521  
       2020-04-08 16:23:34 +08:00 via Android
    @renmu123 再加一条熟悉法律知识🐶
    masker0817
        15
    masker0817  
       2020-04-08 16:25:09 +08:00 via Android
    会用脚捡肥皂?
    wangyzj
        16
    wangyzj  
       2020-04-08 16:34:05 +08:00
    高级一点逆向工程是必须的
    yprisoner
        17
    yprisoner  
       2020-04-08 16:38:38 +08:00
    一楼笑死哈
    hmxxmh
        18
    hmxxmh  
       2020-04-08 18:33:27 +08:00
    @scukmh 坐牢时间越久,爬虫技术越强???
    Damon154
        19
    Damon154  
       2020-04-08 23:55:54 +08:00
    @scukmh 牛逼牛逼
    levelworm
        20
    levelworm  
       2020-04-09 02:03:28 +08:00 via Android
    @renmu123 感觉和网络安全有点像啊,可惜 js 不会。
    kasper4649
        21
    kasper4649  
       2020-04-09 16:48:32 +08:00
    JS 逆向挺烦的,我还是太菜,打断点找半天。
    lasuar
        22
    lasuar  
       2020-04-09 17:19:31 +08:00
    转的话后端比较方便吧;
    说一些重要的技能点:懂 js 逆向,app 逆向,验证码破解(这个不强求,简单的尽量打码平台),分布式爬虫部署,四选三,逐一而精就够了。
    Cmdhelp
        23
    Cmdhelp  
       2020-04-10 18:40:14 +08:00
    毕业小白,js 调试得会,html 解析得会,分布式得会,docker 得会,ios 逆向找加密~~~,泪奔
    关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2722 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 14:18 · PVG 22:18 · LAX 07:18 · JFK 10:18
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.