V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
efsg
V2EX  ›  NAS

求推荐 ZFS 存储池去重 vdev 用的固态

  •  
  •   efsg · 10 天前 · 677 次点击

    如题,有人说去重只是索引,不需要太大的容量,只要性能强就行,所以我应该选择 2 个 512GB 的 SATA 固态还是 2 个 280GB 的傲腾用于去重?

    9 条回复    2024-07-11 14:51:33 +08:00
    aloxaf
        1
    aloxaf  
       10 天前
    跑过 zdb -S 了吗,确定值得去重?

    而且确定需要块级去重吗,如果是重复的照片、视频,rmlint 这类工具就能帮你搞定了。
    chowdpa02k413
        2
    chowdpa02k413  
       10 天前
    小海豚 6530 、CM6-R 、镁光 7500 、大普微 R5101 这种 1.92T 的读密集型盘足矣,他们就是为了这种负载设计的
    adrianzhang
        3
    adrianzhang  
       9 天前
    什么也不如大内存管用。
    xustrive
        4
    xustrive  
       9 天前
    @adrianzhang #3 那得有个 UPS 。
    adrianzhang
        5
    adrianzhang  
       9 天前
    @xustrive 用固态一样也得用 UPS ,写并不直接落盘。
    efsg
        6
    efsg  
    OP
       9 天前 via Android
    @adrianzhang 直接开启去重太吃内存而且影响性能,所以我才想能不能加去重 vdev
    adrianzhang
        7
    adrianzhang  
       9 天前
    @efsg 任何对 ZFS 有管理经验的人都不建议开启去重,即使你上了大内存和大固态,会发现去重仍将大幅度脱慢吞吐,原因是去重需要构建一份文件列表在内存里,且不会保存全部,不管内存多够用,那么在吞吐时候不可避免要去要求磁盘 IO ,HDD 的 IO 一般在百级别,SSD 在千级别,哪个都不够用。
    efsg
        8
    efsg  
    OP
       9 天前
    @aloxaf 跑过了,现在的数据量没办法手动去重,如果 2 个 512GB 的 SATA 固态或者 280GB 的傲腾就能搞定我觉得是值得的

    root@truenas[~]# zdb -S -U /data/zfs/zpool.cache tank
    Simulated DDT histogram:

    bucket allocated referenced
    ______ ______________________________ ______________________________
    refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
    ------ ------ ----- ----- ----- ------ ----- ----- -----
    1 104M 13.0T 13.0T 13.0T 104M 13.0T 13.0T 13.0T
    2 7.19M 920G 919G 919G 15.4M 1.93T 1.92T 1.92T
    4 417K 52.1G 52.0G 52.0G 1.84M 236G 235G 235G
    8 16.3K 2.03G 2.02G 2.02G 166K 20.7G 20.6G 20.6G
    16 7.30K 927M 916M 916M 129K 16.0G 15.8G 15.8G
    32 620 49.4M 34.1M 36.2M 22.6K 1.89G 1.40G 1.46G
    64 50 5.01M 4.80M 4.87M 4.51K 461M 441M 447M
    128 11 1.00M 482K 537K 1.82K 158M 73.1M 82.8M
    256 4 130K 130K 154K 1.70K 60.4M 60.4M 70.2M
    512 1 512B 512B 8.53K 848 424K 424K 7.06M
    1K 3 1.50K 1.50K 25.6K 4.67K 2.33M 2.33M 39.8M
    2K 1 512B 512B 8.53K 2.41K 1.20M 1.20M 20.5M
    4K 1 128K 128K 128K 7.65K 979M 979M 978M
    64K 1 512B 512B 8.53K 100K 50.1M 50.1M 855M
    Total 112M 14.0T 13.9T 13.9T 122M 15.2T 15.2T 15.2T

    dedup = 1.09, compress = 1.00, copies = 1.00, dedup * compress / copies = 1.09
    aloxaf
        9
    aloxaf  
       9 天前
    @efsg #8 1.09 的比率就别去重了吧,我觉得真划不来,zfs 的去重没有后悔药,想关掉这个功能只能重建数据集

    建议先用 rmlint 跑一遍效果如何
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2537 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 10:05 · PVG 18:05 · LAX 03:05 · JFK 06:05
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.