首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  程序员

rsync 一个超大文件夹“./attachments”过后,怎样检测两台服务器的这个“./attachments”文件夹一模一样

  •  
  •   kisshere · 55 天前 · 1578 次点击
    这是一个创建于 55 天前的主题,其中的信息可能已经有所发展或是发生改变。

    “./attachments ”文件夹约 2T,内部有几百万个文件,怎样检测这两个文件夹内部文件一模一样

    18 回复  |  直到 2019-08-20 14:14:24 +08:00
        1
    i4oolish   55 天前
    递归遍历,MD5 比对?
        2
    vuuv   55 天前 via Android   ♥ 2
    rsync -c 即可检查。
        3
    shawndev   55 天前
    原本答案和 1 楼一样,看完 2 楼查了一下 manual 支持 2 楼。
        4
    codingbaby   55 天前
    md5sum ./attachments
        5
    ThinkZ   55 天前   ♥ 1
    难道不是再同步一次?如果不一致,还不是要重新同步一次
        6
    dot2017   55 天前
    md5sum 并不适合检查文件夹,更适合文件
        7
    Jeffrey4l   55 天前
    find . -type f -exec md5sum {} \; > FILES
        8
    smallpython   55 天前
    把文件打成 tar 包
    看看 tar 包的 md5 值一样不一样
        9
    lihongjie0209   55 天前
    @smallpython #8 你想打包一个 2T 的文件夹?
        10
    zeyexe   55 天前
    @smallpython #8 不能保证两次打包的 md5 值是一样的。
        11
    nullboy   55 天前
    rsync -avP ?
        12
    geelaw   55 天前 via iPhone
    @lihongjie0209 #9 tar 可能是可以 O(1) 额外空间复杂度计算的,md5 是可以 O(1) 额外空间复杂度计算的,因此整个过程是可以流式计算的。

    真正的问题并不是计算时间,很可能 文件夹 到 tar 的映射不是 deterministic wrt 内容的,因为 tar 里面还存放了很多其他数据,而且文件的存放顺序也可能是灵活的。
        13
    SingeeKing   55 天前
    rclone check
        14
    reus   55 天前
    -c, --checksum skip based on checksum, not mod-time & size

    用 rsync -c
        15
    otakustay   55 天前
    2 个内容一模一样但是 chmod 不一样的文件是不是一样?
    2 个内容和 chmod 都一样但 mtime 不一样的文件是不是一样?
        16
    vuuv   55 天前 via Android   ♥ 1
    @ThinkZ #5 rsync 默认根据大小及时间快速判断文件是否需要同步,有较低可能出现内容不一致的情况(主要是不敢赌)。
    而-c 可以显著减小这个风险。如果还不放心,再上 md5+sha1 校验文件。
    常规要求文件安稳的做法 rsync -c 即可满足。
        17
    smallpython   55 天前
    @zeyexe 我测试了
    随便 tar 了一个文件夹
    两次 tar 包的 MD5 值是一样的
        18
    ritaswc   55 天前
    1、是否存在文件 /文件夹
    2、两个文件都存在,对比文件大小是不是同一个数值
    3、如果文件大小是同一个数值,对比 sha1 或者 md5

    如果我是这个开发者 我会这样做
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1095 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 25ms · UTC 23:04 · PVG 07:04 · LAX 16:04 · JFK 19:04
    ♥ Do have faith in what you're doing.