首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  DevOps

几个亿的照片以及视频文件,怎么存储比较好?

  •  
  •   x2ve · 133 天前 · 3215 次点击
    这是一个创建于 133 天前的主题,其中的信息可能已经有所发展或是发生改变。
    不太会处理啊,目前有近亿的图片存在 gp 库中,查询速度还是秒级的,最近来了几个亿照片,想直接存在文件夹,但是怕硬盘挂掉就欲哭无泪。目前要求是:能满足增量,备份不麻烦,调用较快就行了,要求是数据绝对不能丢失。大家一般怎么处理大量图片的?求个方法,谢谢各位大佬了。
    12 回复  |  直到 2019-07-31 09:56:26 +08:00
        1
    whileFalse   133 天前 via iPhone
    存云里
        2
    whp1473   133 天前
    私有可以考虑 FastDfs、HDFS,均可以集群部署。
    公有可以考虑阿里云 OSS 等。
        3
    rrfeng   133 天前
    hdfs 不合适『海量小文件』场景。
    能上云的话最简单省事儿,便宜又可靠。
    不能上的话海量小文件存储,也有很多方案。比如淘宝 TFS 以及腾讯 TencentFS,主要解决高可靠性,可索引,合并存储等问题。
        4
    4SM   133 天前
    上亿张照片是什么概念? 100000000÷100 年÷365 天÷24 小时÷60 分钟≈1 张照片 /30 秒。
        5
    x2ve   133 天前 via iPhone
    @whileFalse
    @whp1473
    @rrfeng
    感谢三位,目前这边是有云平台的,但是是局域网。给的建议也是 hdfs,但我这边不太熟悉,怕误操作了后续留坑,所以就来 v 站问问看还有其他方法不。
        6
    x2ve   133 天前 via iPhone
    @4SM
    历史数据,没有算的这么夸张啦
        7
    chinesestudio   132 天前 via Android
    就这么点数据 ceph 搞定 备份都不用
        8
    fireapp   132 天前 via iPhone
    当然是 s3 的开源方案 minio 啊,小文件利器
        9
    alexkkaa   132 天前 via Android
    张嘴就来存云里的,你家是开矿的吗
        10
    jaskle   132 天前 via Android
    [email protected] 好人一生平安
        11
    greatdancing   132 天前 via Android
    @avs10019 说不定公司业务比挖矿还值钱呢
        12
    hushulin   132 天前
    [email protected] 好人一生平安
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1541 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 23ms · UTC 16:57 · PVG 00:57 · LAX 08:57 · JFK 11:57
    ♥ Do have faith in what you're doing.