V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
kingmo888
V2EX  ›  问与答

几百万个文件,如何压缩备份?(此前备份的历史文件解压各种出错)

  •  
  •   kingmo888 · 2017-12-19 10:03:51 +08:00 · 2242 次点击
    这是一个创建于 2325 天前的主题,其中的信息可能已经有所发展或是发生改变。

    RT,

    历史上(1 年前)压缩为 7Z 格式,然后把源文件(当时已无用)删掉了。

    后来有了一些增量数据,同时发现历史数据里有些文件是缺失的,已经将缺失的文件补充好。

    同时,把历史 7Z 压缩包解压时,各种提示错误,出错导致文件数大约 24 万个,废了好多天的时间导出找朋友帮忙重新补充好,

    现在,我想把这几百万个整理好的文件打包备份一下,有无比较好的方式?谢谢。

    补充:单个文件几 K 到一二百 K,总体压缩前体积大小 800G 左右。 目录深度:4 层

    10 条回复    2017-12-21 09:38:24 +08:00
    kingmo888
        1
    kingmo888  
    OP
       2017-12-19 10:04:36 +08:00
    补充:单个文件几 K 到一二百 K,总体压缩前体积大小 800G 左右。
    nfroot
        2
    nfroot  
       2017-12-19 11:10:36 +08:00
    WINRAR 可以添加“恢复记录”,提高文件损坏后恢复的可能。

    建议:分开打包,定时存到其他机器或者大网盘,几百 G 的单个文件也太难维护了。
    goodryb
        3
    goodryb  
       2017-12-19 11:34:36 +08:00
    如果是服务器,一般是用 tar 打包然后再压缩,
    1、本地备份,找台服务器做 raid,然后复制过去保存即可
    2、云备份,现在云厂商基本都提供云存储服务,而且都有冷备份更便宜,800G 要不了多少钱


    如果是个人的一些文件,建议直接移动硬盘备份,800G 就 1 块硬盘的事情,不放心了再加一块
    压缩参考 2 楼,或者就不要压缩,以免出问题
    firefox12
        4
    firefox12  
       2017-12-19 13:26:05 +08:00
    7z 文件出错? 没有遇到过,应该检查你的磁盘,以及是不是其他程序修改过 7z 文件
    FFLY
        5
    FFLY  
       2017-12-19 13:29:26 +08:00
    这种大压缩包,WinRAR+RR 吧,RAR5 压缩率现在也不低,7Z 功能性上还是不如 RAR 的。
    chinni
        6
    chinni  
       2017-12-19 14:08:40 +08:00
    www.hasbackup.com 这个可以考虑
    jingniao
        7
    jingniao  
       2017-12-19 14:13:18 +08:00 via Android
    磁盘出问题的概率更大……
    greatbody
        8
    greatbody  
       2017-12-20 00:15:22 +08:00
    备份后生产的文件都不检查下是不是 ok 的么

    gitlab 备份失效的教训不要太远。
    kingmo888
        9
    kingmo888  
    OP
       2017-12-21 09:03:26 +08:00
    感谢楼上各位。

    @greatbody 请问,压缩为 rar 之后,打开 rar 做一下测试,如果没有问题,是不是就没有问题了?
    greatbody
        10
    greatbody  
       2017-12-21 09:38:24 +08:00
    @kingmo888 copy to a hard disk and try to unzip see if the result is expected. If so,you can at lease make sure that your rar file is built successfully.
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1195 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 17:28 · PVG 01:28 · LAX 10:28 · JFK 13:28
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.