V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
Yo_oY
V2EX  ›  问与答

有什么高效的转移很多小文件的方式

  •  
  •   Yo_oY · 2012-05-12 15:19:52 +08:00 · 3451 次点击
    这是一个创建于 4368 天前的主题,其中的信息可能已经有所发展或是发生改变。
    有很多小文件(百万级)需要转移,用U盘拷太慢了,于是压缩成zip后进行转移。压缩的时候倒是挺快的(不到1小时),但是解压缩的需要很长很长时间(10天左右)。
    请问有什么高效的转移方式,谢谢。
    10 条回复    1970-01-01 08:00:00 +08:00
    finler
        1
    finler  
       2012-05-12 15:26:40 +08:00   ❤️ 1
    linux系统下可以tar命令分类型打包,每包10k个以下,速度不慢,对内存要求高,win下容易资源耗尽
    skydiver
        2
    skydiver  
       2012-05-12 15:34:33 +08:00
    处理小文件的速度跟 文件系统类型 有很大关系的
    skydiver
        3
    skydiver  
       2012-05-12 15:35:20 +08:00   ❤️ 1
    Windows的ntfs系统本身对于小文件的处理就很慢。。。
    Yo_oY
        4
    Yo_oY  
    OP
       2012-05-12 15:36:50 +08:00
    @skydiver 恩,就是windows的ntfs系统。
    bulldozer
        5
    bulldozer  
       2012-05-12 15:39:17 +08:00   ❤️ 1
    打包但不压缩呢?
    shao
        6
    shao  
       2012-05-12 15:41:22 +08:00   ❤️ 1
    不知道用ftp方式转移,是否够快?
    zxp
        7
    zxp  
       2012-05-12 15:46:43 +08:00   ❤️ 1
    下面两个方法效率应该都不错,前提是网速要给力。

    1. rsync -avz user@host:/src /dst
    2. tar cf - dir | ssh user@host tar xf - -c /dest-dir
    qiuai
        8
    qiuai  
       2012-05-12 16:09:19 +08:00   ❤️ 1
    推荐用tar打包.
    9hills
        9
    9hills  
       2012-05-12 16:14:27 +08:00   ❤️ 1
    TAR打包没有压缩会快很多。。

    嘛其实最快的是磁盘对拷,直接用dd命令,就没有小文件和大文件的区别了,直接整个分区过去。。
    9hills
        10
    9hills  
       2012-05-12 16:15:53 +08:00
    P.S. dd命令生成img,然后又把img还原到分区。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2791 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 15:18 · PVG 23:18 · LAX 08:18 · JFK 11:18
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.