V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
tchekai704
V2EX  ›  宽带症候群

某些海外资源的正确下载姿势是?

  •  
  •   tchekai704 · 2016-11-16 09:22:33 +08:00 · 7769 次点击
    这是一个创建于 2689 天前的主题,其中的信息可能已经有所发展或是发生改变。

    事情是这个样子的: 我需要下载一个资源,这个资源并不直接提供 URL 下载,而是需要注册后获取一个一次性的下载连接,然而及时获取下载连接后,下载速度很慢。

    https://network.pivotal.io/products/pivotal-gpdb#/releases/1683/file_groups/411

    我现在想到的几个方法

    1. 直接下载
    2. 通过 SS 代理下载
    3. 直接在 vps 上使用 wget 下载,然后 ftp 拖回来

    方法 1,2 失败概率太高,不支持断点续传的情况下几乎 100%失败。 我目前倾向 3 ,但是 URL 是一次性的,我没办法获取一个未使用过并且是授权可下载的 url 。

    https://dtb5pzswcit1e.cloudfront.net/product_files/Pivotal-Greenplum/PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip?Expires=1479258729&Signature=bWXwHinm-DqMerQjQS4lImKpAUOcj6jcJxLI9Etux9oOSghadorM0S1j70Eubgi9MUn4gYYAJKVDYNeqk4-ag9C9kxHn77QU-DQJW0bV-kRPw9pNmmWQTsu-muYHrgZvzWDqbRESb8RfSIvfSmvgqn1PE4vz683IP8TSvdE84jk_&Key-Pair-Id=APKAJLAM6FL65BYZP7UQ&filename=PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip

    PS :诡异的是这个连接 wget 后会自动退出我的 xshell 的 session

    kai@localhost:~$ wget https://dtb5pzswcit1e.cloudfront.net/product_files/Pivotal-Greenplum/PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip?Expires=1479258729&Signature=bWXwHinm-DqMerQjQS4lImKpAUOcj6jcJxLI9Etux9oOSghadorM0S1j70Eubgi9MUn4gYYAJKVDYNeqk4-ag9C9kxHn77QU-DQJW0bV-kRPw9pNmmWQTsu-muYHrgZvzWDqbRESb8RfSIvfSmvgqn1PE4vz683IP8TSvdE84jk_&Key-Pair-Id=APKAJLAM6FL65BYZP7UQ&filename=PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip
    [1] 4485
    [2] 4486
    [3] 4487
    kai@localhost:~$ --2016-11-16 01:12:05--  https://dtb5pzswcit1e.cloudfront.net/product_files/Pivotal-Greenplum/PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip?Expires=1479258729
    Resolving dtb5pzswcit1e.cloudfront.net (dtb5pzswcit1e.cloudfront.net)... 52.84.246.239, 52.84.246.28, 52.84.246.68, ...
    Connecting to dtb5pzswcit1e.cloudfront.net (dtb5pzswcit1e.cloudfront.net)|52.84.246.239|:443... connected.
    HTTP request sent, awaiting response... 403 Forbidden
    2016-11-16 01:12:05 ERROR 403: Forbidden.
    
    logout
    [1]   Exit 8                  wget https://dtb5pzswcit1e.cloudfront.net/product_files/Pivotal-Greenplum/PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip?Expires=1479258729
    [2]-  Done                    Signature=bWXwHinm-DqMerQjQS4lImKpAUOcj6jcJxLI9Etux9oOSghadorM0S1j70Eubgi9MUn4gYYAJKVDYNeqk4-ag9C9kxHn77QU-DQJW0bV-kRPw9pNmmWQTsu-muYHrgZvzWDqbRESb8RfSIvfSmvgqn1PE4vz683IP8TSvdE84jk_
    
    Connection closed.
    
    Type `help' to learn how to use Xshell prompt.
    
    第 1 条附言  ·  2016-11-17 21:13:29 +08:00

    感谢@langmoe 的提示,翻了一下文档里面有要求提供一个token来进行请求,如果授权通过会redirect到真正的下载地址,这个地址同样应该是一次性的,即使我将token放入header中也没有用,这个文档解决了我vps下载该文件文件的问题;

    • 但是主帖中提到的这样的一次性连接其实还是很难解决,尤其没有文档情况下,只能通过浏览器来下载;
    • 至于ssh为什么会自动退出,目前也没有发现原因
      • 我把URL中用&分开的字符串当做命令输入shell中,ssh并未自动退出;
      • 我把整个URL输入shell中,有时会退出,有时不会;

    没看明白为什么,求解惑!

    # token已打码,注册后会有token~
    $ wget -O "Greenplum-Database-4.3.8.1.zip" --post-data="" --header="Authorization: Token nUNfka-J4HEctyvmCsRy" https://network.pivotal.io/api/v2/products/pivotal-gpdb/releases/1683/product_files/4390/download
    --2016-11-17 20:57:34--  https://network.pivotal.io/api/v2/products/pivotal-gpdb/releases/1683/product_files/4390/download
    Resolving network.pivotal.io... 52.73.165.85, 54.165.133.147
    Connecting to network.pivotal.io|52.73.165.85|:443... connected.
    HTTP request sent, awaiting response... 302 Found
    Location: https://dtb5pzswcit1e.cloudfront.net/product_files/Pivotal-Greenplum/PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip?Expires=1479387477&Signature=UJcMFzvkZ3q-y36VgEfGrSC3tBc3jI4pCzF2Jf%7ELANbE8TCfNADwz9NHH-McVsnh%7EMRfrBJzj7OM7SjWopsfkeqOFS2SvnRg9lOlt9xOd7cnmOksANLRr4Pt1i7BCW5RnH7Mu57xY5eam6pa4fxkBjgf7O4vW9zA4KtU7%7EvMIS8_&Key-Pair-Id=APKAJLAM6FL65BYZP7UQ&filename=PivotalGPDB-Sandbox-4.3.8.1-vmware-20160421a.zip [following]
    --2016-11-17 20:57:38--  # ...省略,超长了
    Resolving dtb5pzswcit1e.cloudfront.net... 54.230.73.244, 54.230.73.235, 54.230.73.31, ...
    Connecting to dtb5pzswcit1e.cloudfront.net|54.230.73.244|:443... connected.
    HTTP request sent, awaiting response... 200 OK
    Length: 1688631843 (1.6G) [application/zip]
    Saving to: 'Greenplum-Database-4.3.8.1.zip'
    
    Greenplum-Database-4.3.8.1.zip                                       0%[                                                                                                                                                              ]   6.77M   109KB/s    eta 5h 8m
    
    23 条回复    2016-11-17 21:17:04 +08:00
    langmoe
        1
    langmoe  
       2016-11-16 09:33:53 +08:00   ❤️ 2
    jarry777
        2
    jarry777  
       2016-11-16 09:38:17 +08:00
    我直接下载 400 KB/s
    爬梯子跑满了带宽
    所以你似乎需要换个梯子

    (至于你说的断点续传的情况我没试~
    cocochan
        3
    cocochan  
       2016-11-16 09:40:45 +08:00 via iPhone
    转义
    schezukNewTos
        4
    schezukNewTos  
       2016-11-16 09:51:27 +08:00   ❤️ 1
    为什么你的 wget 链接不加引号?
    tchekai704
        5
    tchekai704  
    OP
       2016-11-16 09:56:31 +08:00
    @schezukNewTos 谢谢提醒,就是没找到为什么 ssh 会自动退出的与 ROOT CAUSE 。
    kmahyyg
        6
    kmahyyg  
       2016-11-16 10:09:35 +08:00 via Android
    考虑使用 curl -O-
    LGA1150
        7
    LGA1150  
       2016-11-16 10:11:22 +08:00 via Android
    aria2c -c
    xiaoz
        8
    xiaoz  
       2016-11-16 10:12:56 +08:00
    试试 axel 多线程下载呢? https://faq.xiaoz.me/archives/95.html
    suantong
        9
    suantong  
       2016-11-16 10:43:35 +08:00
    我这都下好了。 1 , 2 分钟的事,你太纠结了。
    newworld
        10
    newworld  
       2016-11-16 10:46:55 +08:00 via iPhone
    @suantong 楼主下载的什么沙盒??
    suantong
        11
    suantong  
       2016-11-16 10:52:55 +08:00
    @newworld ,我都不知道这啥玩意,数据库?我只是下载玩玩。
    newworld
        12
    newworld  
       2016-11-16 10:54:51 +08:00 via iPhone
    @suantong 可以看看是啥呀 楼主敢不打码 说明应该没啥隐私 Google 相关名字 域名瞅瞅呗 好奇😆😆
    ryd994
        13
    ryd994  
       2016-11-16 11:50:44 +08:00 via Android
    你这里 forbidden 的原因多半是 URL 不全 试试单引号括起来
    楼上很多你这是个 AB 问题,其实正解楼上有很多
    我单说一下如果问题不变,强行走偏门解:
    Nginx HTTP 代理 proxy_store 配合 proxy_ignore_client_abort
    保存所有请求的内容
    事后 VPS 上慢慢翻
    squid 的缓存应该也可以实现,不过需要把文件头部的 header 之类去掉
    jiangyang123
        14
    jiangyang123  
       2016-11-16 12:36:04 +08:00
    建议换个好用的 ss
    tchekai704
        15
    tchekai704  
    OP
       2016-11-16 13:58:29 +08:00
    @newworld 没什么隐私,数据仓库 GreenPlum
    grayon
        16
    grayon  
       2016-11-16 14:04:20 +08:00
    SS 不好用的话你可以试试 SSR
    clino
        17
    clino  
       2016-11-16 14:05:15 +08:00
    wget 后面 url 加引号就行了
    shizhouren
        18
    shizhouren  
       2016-11-16 14:27:17 +08:00   ❤️ 1
    gapps 下载就超级慢,你们的是这样吗?
    komugi
        19
    komugi  
       2016-11-16 17:02:42 +08:00 via Android
    @shizhouren opengapps 很慢
    Vicer
        20
    Vicer  
       2016-11-16 17:17:47 +08:00 via Android
    楼主发一次性链接吧,我帮你。
    newworld
        21
    newworld  
       2016-11-16 18:24:51 +08:00 via iPhone
    @tchekai704 谢谢楼主解答 哈哈😄
    cst4you
        22
    cst4you  
       2016-11-17 03:42:51 +08:00
    这种热门的东西, 直接迅雷啊
    tchekai704
        23
    tchekai704  
    OP
       2016-11-17 21:17:04 +08:00
    @langmoe 你是怎么找到文档的?我找了一下,但是失败了。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1269 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 17:52 · PVG 01:52 · LAX 10:52 · JFK 13:52
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.