首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
宝塔
V2EX  ›  程序员

私有云存储开发

  •  
  •   jeffreyji666 · 74 天前 · 4483 次点击
    这是一个创建于 74 天前的主题,其中的信息可能已经有所发展或是发生改变。
    部门要整私有云存储,要支持 EB 级别数据量, 请教下技术选型.

    目前了解到的开源方案主要是 Ceph, 但 ceph 坑也多, 求有经验的大佬指点
    56 回复  |  直到 2019-09-27 13:35:52 +08:00
        1
    snappyone   74 天前 via Android
    eb 数据应该有专门负责这个的部门了吧
        2
    hst001   73 天前   ♥ 7
    1 EB = 1024 PB = 1024 * 1024 TB = 131072 块 8 T 容量的硬盘,按 3 份副本存储,需要 393216 块硬盘,接近 40 万块, 按 EB 级别要求看,只能算是个起步,你们部门怕不是得搞个数据中心?
        3
    abcbuzhiming   73 天前
    贵公司的预算是多少,想搞这样的东西,计算机系统的复杂性从来都是来自数量级,每加 1 个 0,难度指数上升
        4
    delectate   73 天前
    eb 级别,至少是几十人团队才能搞,成本很高,不是你能搞得定的。不如买套路云 oss,良心云 cos。
        5
    fredcc   73 天前
    1EB 数据,在 AWS 宁夏区存储每个月大概 17w 多,流量成本另外计算。自建 200w 级别搞定 IDC+硬件+研发+维护+团队?这个数量级别,老实上公有云吧,不放心就多云备份。
        6
    PowerMax   73 天前   ♥ 1
    按 1EB 数据来算 硬盘价格就要 3 个亿左右
    1EB 数据也不是突然了出现的 你们原来是怎么解决的?
    你们公司是作啥的 好奇问一下
        7
    jeffreyji666   73 天前
    原来是公有云, 现在想自建, 还在调研阶段
        8
    x7395759   73 天前
    自建花钱把公有云方案搬一套下来就完事了
        9
    jeffreyji666   73 天前
    这套方案也没法搬吧,都是公有云自己研发的,人家吃饭的本领.
        10
    donlxn22   73 天前
    Azure Stack 私有 Azure 云看一下
        11
    cmdOptionKana   73 天前
    要来论坛问方案的话……目测自建会遇到很多麻烦。
        12
    chinvo   73 天前
    联系微软 Azure,做 Azure Hyper Cloud
        13
    Srar   73 天前
    直接 DELL EMC 或者 Hitachi VSP 吧
        14
    realpg   73 天前 via Android
    坐标哪里?专业搞云数据中心的。自己拿地还是租用既有物业?

    我这有个自建的项目,自己拿地,存储
        15
    realpg   73 天前 via Android   ♥ 1
    没打完就发出去了
    自己拿地自建的,CEPH 方案后端存储,一期项目要求 320PB 初始容量三副本存储,荒郊野岭机房六层楼,基建不含土地总投资 3 亿
        16
    swulling   73 天前 via iPhone   ♥ 1
    @fredcc 瞎扯淡,aws 宁夏 S3 标准存储价格 每月 ¥0.1629/GB,这么算一个月是 1.75 亿

    https://www.amazonaws.cn/s3/pricing/
        17
    dot2017   73 天前
    @hst001 可能去重压缩下就几 TB #滑稽
        18
    realpg   73 天前 via Android
    这个规模如果是机械硬盘容量盘,就按照 1EB 的规模后段存储,加上固态缓存 tier,大致需要 2000 个标准柜,不考虑扩容房间空间,两层楼机房,全套消防电力配置加上数据中心办公附属,我这最近建设的 2000 标准柜的机房有个参考

    不含土地成本
    机房主体面积 长 119.2 米宽 48 米的两层楼
    包含双幺万市电引入,厂房建设,双变压器,配电,18 套 600kva 的 UPS,电池,配套线缆,机柜,PDU,空调,桥架,监控中心,气体消防设施,总投资 6000 万,坐标辽宁,2020 年 3 月投产
        19
    swulling   73 天前 via iPhone
    @jeffreyji666 厉害,好奇你们原来用的哪家公有云?
        20
    swulling   73 天前 via iPhone
    EB 级别数据中心,基建加服务器费用加网络费用,三个亿起吧。这么大规模没钱请个资深架构师,跑到论坛上问个啥…
        21
    fredcc   73 天前 via Android
    @swulling 算成 1pb 了。不过 1eb 全是热数据不用冷存储么?
        22
    swulling   73 天前 via iPhone
    @fredcc 不好说,毕竟 lz 没说背景。用最便宜的归档存储可以便宜一个数量级,最便宜的归档存储用的磁带机,可麻烦了
        23
    swulling   73 天前 via iPhone
    另外 ceph 单集群 EB 八成没戏,规模太大了。要么就拆集群,要么做二次开发。
        24
    realpg   73 天前
    避免嘴炮嫌疑 图纸都可以发





    然后是后端设施

    我们这个最终是输出服务不是输出硬件,我个人有权利选型设备,用的都不是比较新代数的服务器,实际存储设计我们这是非常精简成本的,多层多性能都才用了不同方案,大量定制旧代数服务器、主板,甚至在市场上回收大量二手服务器,这个 2000 柜的机房首期建成,IPSAN 公共存储部分都在 2 楼,2 楼所有机房都是,一楼的中心 VIP 区都是计算用外挂二楼的 IPSAN

    就这样,综合所有服务器的成本是 3.6 亿

    主体网络设施包含各种级别的交换机,光模块,室内光缆,尾纤,我们的采购渠道特殊走运营商 ICT 极便宜的情况下,花了不到 1000 万,如果是社会其他公司来干没有这个网络设备采购渠道要更贵
        25
    realpg   73 天前
    PS 别以为这是个复杂的事 只要有钱 有高级规划人员

    这么大个项目,其实我公司扣掉财务和文员,才二十来个人,其中一多半是机房土木电力空调建设人才,剩下才是真正搞 IT 技术的

    当然,项目完全投产以后要上一堆现场维护人员,那都是跟着项目走的,单独的运维公司,输出标准,干活的人员

    其他全套建设,全部是固定长期合作方来做,出设计
        26
    realpg   73 天前
    @swulling #23
    一定要拆集群,因为网络交换能力都不行 但是可以在 200Gbps 的层面上做统一 iSCSI 网关 对外可以提供统一服务

    实际架构是多级集群

    实际生产环境我们最大搞了个 2EB 的,没啥毛病

    养了 40 个换硬盘工……

    各种来路不明清零盘,垃圾 SSD,反正看着监控换硬盘就行,成本低廉,可靠性好
        27
    swulling   73 天前 via iPhone
    @realpg 抛去 ceph 不说,单集群 2w~3w 服务器是可行的

    最大的东西向流量是副本复制的流量,其实还好。南北向看层层收敛比。一般这个规模的集群提供 400Gbps 的南北向流量问题不大。

    硬盘还是买好的,要不然太累了…
        28
    realpg   73 天前
    @swulling #27
    实际上 固态好的坏的更换都累
    机械盘清零盘的故障率其实都挺低的……

    主要是这边的存储网络为了节约成本(¥ 20 的华为万兆光模块满地跑),采用的 2*10GbpE 存储网络,固态节点采用 4*10GbE,没有采用接入层 25GbE 和 2*25GbE,lacp 的负载分担还是利用率有错峰问题,基本上都是手动规划不同的区域不同用途,然后在 2*100GbE 的聚合层面做多个统一网关

    ceph 只要你不去动他,不会有故障

    我们 ceph 节点的本地系统引导是另外一套可靠性高的用盗版 VSAN 搞的 IPSAN,全固态 5 副本。目前多个项目,就没有 ceph 节点自身系统故障的,ceph 的常用操作封装成 web 界面了,运维都是傻瓜级的,看图点按钮换硬盘而已,实在遇到问题就整节点关机,等大工程师两周巡视一次机房处理
        29
    salmon5   73 天前
    老板投入多少,2 个人,几万块钱
        30
    uleh   73 天前 via iPhone
    加个微信详细聊下
    base64 eWV1bGVo
        31
    Septembers   73 天前
    @realpg
    想问下设计 SLA 是几个 9 ?
    甲方要求 SLA 是几个 9 ?
    目前 SLA 能达到几个 9 ?
        32
    fredcc   73 天前 via Android
    @swulling 用 S3 Glacier Deep Archive 的话还能便宜 2/3,磁带机维护成本不便宜啊
        33
    aheadlead   73 天前
    @realpg 很多次看你在存储的话题下留言,学到不少。你是真大佬啊。
        34
    secondwtq   73 天前   ♥ 2
    1EB ... Backblaze 现在也才 750PB
        35
    reus   73 天前
    @realpg 盗版 vsan 不怕被告啊?在公开场合说出来,不怕坑了公司?
        36
    reus   73 天前
    主流几家公有云都支持私有部署,别折腾了
        37
    realpg   73 天前 via Android
    @Septembers
    算几个九我不知道 反正都是手册文档瞎吹的
    反正到现在没降级没中断服务过
        38
    realpg   73 天前 via Android
    @reus 欢迎前来取证
    一个纯内网的服务 反正 vmware 连进机房的安全级别都没有
        39
    reus   73 天前
    @realpg 你的发帖就是证据啊
        40
    zsj950618   73 天前 via Android
    难道除了 ceph 你还有其他选择( x
        41
    akira   73 天前
    这种需求 直接让阿里云 /华为 /腾讯云 给你们出方案 应该更好吧。。
        42
    GM   73 天前
    @reus vmware 也不可能闲得碰到有人说用盗版就去查吧?再说了,vmware 没查发言人真实身份的权限。
        43
    liukangxu   73 天前
    #Boss 不懂技术系列
        44
    realpg   73 天前
    @reus #39
    我现在发帖了 我上周五在公司旁边一个角落里把一个流浪汉杀了,分尸藏起来了,来吧 这就是证据
        45
    reus   73 天前
    @realpg
        46
    skyeycirno   73 天前 via Android
    EB 级别…?你是百度的还是??我记得当初 115 搬家,也才 100PB 的数据,EB 级别的数据我觉得只有百度云才可能有吧?我记得看过新闻,百度云太原还是贵州数据中心,设计时是 4EB 的存储量…
        47
    lostberryzz   73 天前
    115 迁移阿里云是 100PB。你们部门的数据量是 10 个 115...
        48
    realpg   73 天前   ♥ 1
    @skyeycirno #46

    估计是他们领导拍脑门子听说了 EB 这个单位

    我目前客户只有涉及影像的大存储才会有这个级别

    公众业务从来没这么大规模的

    医疗影像,公安监控视频,区域卡口图像

    其他都是 120PB 的一个集群已经完全可以覆盖
        49
    FS1P7dJz   73 天前
    2E 的项目,买二手服务器,用盗版软件

    V2 真 TM 能吹

    某楼跟楼主可谓一排即可,争取弄个大项目
        50
    carmark   73 天前
    需要什么样的接口: 对象存储、块存储或文件系统?
    存储的内容是什么样类别:大文件,小文件
    操作方式频率:读操作,写操作,读写混合

    需要提供这些信息才可以,如果你的回答是读写混合,大小文件混合的分布式文件系统,那这个可能开源软件运维起来也比较费劲
        51
    dingzi   73 天前
    你怕是开了个 115 吧
        52
    salmon5   73 天前
    还有一个“百万并发”
        53
    Tmier   73 天前
    我就是留个言,参与一下上亿项目的研发~
        54
    szq8014   72 天前
    非专业运维参与过 2P 的 ceph 集群的搭建提供块存储,然后老是有 osd 95% 卡住整个集群。。也没有多少精力去调优。。
        55
    KenGe   72 天前
    话说如果要 ICT 采购网络设备找我 ,我还能参与下上亿的项目
        56
    wanguorui123   53 天前
    1EB 为例:1048576‬TB 存储需求,2 份副本、4T 硬盘按 900 元。
    硬盘成本:‭524288‬块、471859200 元( 4.7 亿元)
    磁盘柜:24 盘位按 70000 元、21846 台、‭1529220000‬元( 15.3 亿元)‬
    其次:机柜、网络、软件、建设、电、运维等等
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   4431 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 28ms · UTC 02:22 · PVG 10:22 · LAX 18:22 · JFK 21:22
    ♥ Do have faith in what you're doing.