首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  程序员

删除大型文件有没有什么快速的命令,有 5 个多 T, rm -rf 太慢了

  •  
  •   CUMTProgrammer · 351 天前 · 6307 次点击
    这是一个创建于 351 天前的主题,其中的信息可能已经有所发展或是发生改变。
    第 1 条附言  ·  350 天前
    描述错了,是 5T 的很多小文件,不是一个文件,不好意思
    43 回复  |  直到 2018-11-06 12:59:02 +08:00
        1
    ml1344677   351 天前
    买个新硬盘(逃
        2
    lfzyx   351 天前   ♥ 4
    用 rsync --delete 同步一个空文件夹?
        3
    kslr   351 天前 via Android
    这个命令不慢吧 也就几十分钟 也有反应的时间
        4
    likuku   351 天前
    可以格盘么?意思是可以整盘摧毁么?

    mkfs -f /dev/diskAccessPoint 就可以。或者 dd if=/dev/zero of=/dev/diskAccessPoint bs=1M count=1000

    保证很快。
        5
    likuku   351 天前
    删除很多文件的话,rm 会让 参数列表爆炸的,得用 find /forRemovePath/* -exec rm -f {} \;
        6
    CUMTProgrammer   351 天前
    @ml1344677 买不起,公司给的服务器,里面一堆日志

    @lfzyx 这个效率比 rm 高吗?
        7
    CUMTProgrammer   351 天前
    @likuku 我想把 home 节点底下的全部删了
        9
    privil   351 天前
    5t 都是小文件的话,能删个好几天的
        10
    EXE   351 天前
    dd if=/dev/zero of=/dev/sda
        11
    arrow8899   351 天前   ♥ 1
    同 2L,rsync 删除几百万个文件只要几分钟
    mkdir /data/blank
    rsync --delete-before -d /data/blank/ /home
        12
    Mosugar   351 天前
    格式化 一切都清爽了
        13
    ltoddy   351 天前
    删除大型文件有没有什么快速的命令,有 5 个多 T,rm -rf 太慢了

    这是原文. 我感觉楼主你说错了, 删除是 lazy 的, 大型文件, 也是瞬间删除的, 比如一个 5T 的大型文件,也是一下子就删除了.
    如果你感觉太慢了, 只能说明你电脑当前几乎和死机状态差不多.
        14
    webdisk   351 天前 via Android
    删过一个 20T 的文件,用了很长时间的,有三分钟 。
        15
    Mithrandir   351 天前
    eatmydata rm -rf
        16
    Mithrandir   351 天前
    补充一下,eatmydata 的原理是操作文件的时候不执行 fsync 和其他同步磁盘的系统调用,从而节省时间
        17
    Mithrandir   351 天前
    再补充一下:我没测过 rm -rf
        18
    Lax   351 天前
    看标题以为是 「 1 个大小为 5T 的“大型文件”」
        19
    tulongtou   351 天前 via iPhone
    晚上执行一下 rm 第二天早晨还不好?
        20
    pkookp8   351 天前 via Android
    @ltoddy 我觉得是楼主描述错了
    大型文件->数量非常多的加在一起很大的文件
    答案是不能,mv 然后晚上没人用的时候后台慢慢删
        21
    blless   351 天前 via Android
    不要输出 快很多
        22
    msg7086   351 天前
    删除大型文件,如果是 ext3 的话需要逐个 block 释放,很慢是正常的,而且没有任何解决办法。
    删除大量小文件,rsync 大法比 rm 快得多。
        23
    rrfeng   351 天前
    又有傻逼说 rsync 删除文件比 rm 快了。
        24
    javaCoder   351 天前
    mv fileName /data/null
        25
    mikeguan   351 天前 via Android
    @likuku #5 find 用-exec rm 会很慢的 直接用-delete 的速度比它快几十倍
        26
    blueskea   351 天前
    看见别人用过 truncate,不知道怎么样
        27
    xiaowangwang92   351 天前
    往文件中写 0 ~。~
        28
    mmdsun   351 天前 via Android
    echo " > files 我清理日志是这样子的。大约 500GB 的日志,很快就清楚了
        29
    402124773   351 天前
    @lfzyx
    这个方法确实很快,我一直都用这个
        30
    3d3ec7a   351 天前
    mv 到别的地方, 然后后台慢慢 rm ...
        31
    3d3ec7a   351 天前
    不知道内核对 unlink syscall 是否加锁、sync, 否则可以并行删除, 以利用 SSD 的特性.

    具体用哪个工具不明..
        32
    WEIHUANJIHE   351 天前
    啊啊啊啊
        33
    ETiV   351 天前 via iPhone
    find | xargs -P99
        34
    ghhardy   351 天前 via Android
    @Lax 其实标题就是这个意思,楼主啥意思得问他自己
        35
    HunterPan   351 天前
    必须 echo > file
        36
    zbinlin   351 天前
    如果是单个大文件的,可以先用 `truncate -s 0 <FILEN>` 把大小置为 0 再删除;
    如果是很多小文件的,可以用 `rsync` 来删除。
        37
    jasonyang9   351 天前
    学习了。没实践过,跑路前可以试试
        38
    flynaj   351 天前
    mkfs.exe4 /dev/sda
        39
    flynaj   351 天前
    mkfs.ext4 /dev/sda
        40
    mondeo   351 天前 via iPhone
    直接把父目录的硬链接删掉
        41
    ladypxy   351 天前
    用 for i 循环会快一些
        42
    unkn369   351 天前 via Android
        43
    realpg   350 天前
    从文件系统干掉父目录硬链接然后修复文件系统
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1828 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 29ms · UTC 16:33 · PVG 00:33 · LAX 09:33 · JFK 12:33
    ♥ Do have faith in what you're doing.