V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
chendajun
V2EX  ›  Python

境外服务器上部署爬虫抓 YouTube(下载视频), YouTube 会不会封 IP?

  •  1
     
  •   chendajun · 2016-11-02 09:21:52 +08:00 · 11028 次点击
    这是一个创建于 2703 天前的主题,其中的信息可能已经有所发展或是发生改变。
    28 条回复    2017-02-09 14:58:42 +08:00
    lslqtz
        1
    lslqtz  
       2016-11-02 09:32:09 +08:00
    本人反代 YouTube ,然后用户就被验证码拦了
    terence4444
        2
    terence4444  
       2016-11-02 09:33:11 +08:00 via iPhone
    每次打开会有验证码
    chendajun
        3
    chendajun  
    OP
       2016-11-02 09:36:25 +08:00
    @terence4444
    @lslqtz
    YouTube 反爬比较严格,在阿里云香港服务器上部署了爬虫,刚开始可以抓一些。现在程序直接报错。
    21grams
        4
    21grams  
       2016-11-02 09:39:05 +08:00
    封 ip 那是轻的
    chendajun
        5
    chendajun  
    OP
       2016-11-02 09:49:16 +08:00
    @21grams 请问有 YouTube 具体的反爬技术介绍吗?
    majinjing3
        6
    majinjing3  
       2016-11-02 09:52:41 +08:00 via Android
    @chendajun 可以尝试使用代理,建立个代理池,
    mudone
        7
    mudone  
       2016-11-02 10:23:46 +08:00
    做爬虫代理池不应该是标配吗。。
    chendajun
        8
    chendajun  
    OP
       2016-11-02 10:36:18 +08:00
    @mudone 1 ,代理稳定性一直是个问题(付费的 vpn 稳定性也很不好,一直在用付费代理), 2 , youtube 封 ip 是封死的。
    jimzhong
        9
    jimzhong  
       2016-11-02 10:37:55 +08:00
    当然会
    Aspx
        10
    Aspx  
       2016-11-02 10:55:20 +08:00
    代理池是标配
    ljcarsenal
        11
    ljcarsenal  
       2016-11-02 11:02:25 +08:00
    gg 是世界上最大的爬虫公司 当然反爬技术也是炉火纯青了
    chendajun
        12
    chendajun  
    OP
       2016-11-02 11:04:54 +08:00
    @ljcarsenal 能感觉到反爬技术很牛逼。另外你的头像是 272 ?
    ljcarsenal
        13
    ljcarsenal  
       2016-11-02 11:07:46 +08:00
    zoudeze
        14
    zoudeze  
       2016-11-02 11:23:06 +08:00
    表示 http://www.clipconverter.cc 一只很好用,干嘛要自己搞个什么东西爬视频~~~~
    shuang
        15
    shuang  
       2016-11-02 11:41:05 +08:00
    一直用的它提供的 API 接口爬视频然后下载的,跑了很长时间了,貌似没被限制过 ip
    tumbzzc
        16
    tumbzzc  
       2016-11-02 12:01:36 +08:00
    以前爬过几千个视频,没有出现问题
    chendajun
        17
    chendajun  
    OP
       2016-11-02 12:49:37 +08:00
    @tumbzzc 能具体说说你的方法不?
    hujianxin
        18
    hujianxin  
       2016-11-02 13:19:19 +08:00
    爬 youtube 啥意思啊,如果想单纯的下载视频的话用 you-get 或者 youtube-dl 两个软件都可以下啊,我下载几百个视频都不会有别的问题的。也可能我不理解你的意思
    chendajun
        19
    chendajun  
    OP
       2016-11-02 13:27:53 +08:00
    @hujianxin 客户需要 youtube 新闻类的视频,我是把 you-get 集成到程序中,爬虫拿到网页链接后交给 you-get 去下载视频,现在 youtube 把 ip 封掉了。
    wmttom
        20
    wmttom  
       2016-11-02 14:07:08 +08:00
    youtube-dl 单 ip 下了十万个视频还没被封,可能是运气好
    annielong
        21
    annielong  
       2016-11-02 14:25:11 +08:00
    有接口尽量用接口,只要不是特别频繁调用接口,一般不会封,但是模拟前台抓取页面这种,貌似会封的比较厉害
    chendajun
        22
    chendajun  
    OP
       2016-11-02 14:27:15 +08:00
    @shuang 有相关文档不?
    tumbzzc
        23
    tumbzzc  
       2016-11-02 17:33:30 +08:00
    @chendajun youtube-dl 没被封
    anexplore
        24
    anexplore  
       2016-11-02 21:19:16 +08:00
    不要随便传播哦,否则要喝茶的
    mingyun
        25
    mingyun  
       2016-11-02 23:30:09 +08:00
    @zoudeze 这个不错
    alexapollo
        26
    alexapollo  
       2016-11-02 23:38:00 +08:00
    google 和 youtube 这一套体系的反爬都比较完善,门槛比较高了,但要爬仍然能爬
    justyy
        27
    justyy  
       2016-11-02 23:50:58 +08:00
    @chendajun https://weibomiaopai.com#api 能用上么?
    myself659410
        28
    myself659410  
       2017-02-09 14:58:42 +08:00
    盯上 youtube 人太多了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2525 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 15:59 · PVG 23:59 · LAX 08:59 · JFK 11:59
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.