首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
宝塔
V2EX  ›  数据库

求助十亿级数据库解决方案,是否有比 PostgreSQL 更好的选择?

  •  
  •   hxz0803 · 83 天前 · 2407 次点击
    这是一个创建于 83 天前的主题,其中的信息可能已经有所发展或是发生改变。

    现有几十台测试机,每天一共生成两百万行的测试数据,每一行包含了测试时间、几个设置项与200-300 个测试结果。测试结果几乎都为 20 位浮点数。
    需求
    1.在特定的设置项下,求出每台机每小时各种测试数据的平均值
    2.查询特定设置项与测试时间下的测试结果

    其他要求:
    1.测试结果可能会有增减,意味着可能要在生产中新增列,可以不减列。
    2.一台测试机会同时测几颗 IC (机台有好几个栏位可以同时测试),意味着会有几行数据时间完全相同的情况
    3.如果解决方案需要行的唯一性,那这个唯一性需要机台+测试时间+栏位来确定。
    4.暂时没钱上分布式
    5.暂时不会上云

    现在的实现思路:
    1.上 PostgreSQL,测试时间按每日水平分表,用的是内置分区表(之后考虑用 pg_pathman )
    2.BRIN 索引各设置项与测试时间
    3.建一个平均值表,每小时把上个小时各项测试数据的平均值加进去

    问下还有没有更好的解决方案?

    第 1 条附言  ·  82 天前
    感谢各位的建议,由于考虑到运维难度、操作系统支持( windows 支持可能是必不可少的)与在公司内推广的可行性,最后选定 TimescaleDB
    19 回复  |  直到 2019-08-31 13:06:24 +08:00
        1
    lolizeppelin   83 天前
    时序的数据? 装 pg 的 timescaledb 插件啊

    不用自己弄分区和 BRIN 索引了
        2
    lolizeppelin   83 天前
    思路都是找时序型数据库
    PG 正好有时序插件, 比专门的时序数据库差一点,但是功能上是标准的 sql
        3
    StarkWhite   83 天前
    TiDB 吧,听说是专为海量数据的 OLTP 和 OLAP 而生的
    https://pingcap.com/
        4
    EmdeBoas   83 天前
    不适合 TiDB,考虑时序数据库( TDengine 最近好像挺火=-=没实际用过)或者专门的 AP 引擎都行
        5
    liprais   83 天前
    tidb 的 olap 跟没有也差不了多少
        6
    opengps   83 天前
    没用过 PG,不敢多说话,我按照关系型数据库回复下,看看能不能找到什么突破办法

    需求
    1.在特定的设置项下,求出每台机每小时各种测试数据的平均值
    --每天 1-200 万这个数量级还行,适合每天一个单表
    2.查询特定设置项与测试时间下的测试结果
    --不知道具体业务答不上来

    其他要求:
    1.测试结果可能会有增减,意味着可能要在生产中新增列,可以不减列。
    ---每天一张表的量不算多,插入时候不至于太明显影响性能
    2.一台测试机会同时测几颗 IC (机台有好几个栏位可以同时测试),意味着会有几行数据时间完全相同的情况
    --类似于无主键的设计,但是要用时间列聚集索引,这里我也先想到了时序数据库
    3.如果解决方案需要行的唯一性,那这个唯一性需要机台+测试时间+栏位来确定。
    --行唯一性建议用唯一联合索引
    4.暂时没钱上分布式
    --首先你这个算集群不算分布式,分布式是不同任务的多个组件。集群是相同职能的多台机器
    --然后你的量有点大,注意用多块硬盘,增加硬盘数量分散 io,具体依赖 raid 还是手动分硬盘存储看自己情况
    5.暂时不会上云
    --看得出来是内部测试终端类设别使用,选型时候从来都是建议越靠近用户越好,不上云并不是坏事,注意做好备份
        7
    sadfQED2   83 天前
    这个问题,我咋感觉看过几次了?我记忆错乱了吗
        8
    lixia625   83 天前
    上分布式 和 有没有钱 有必然关系吗
        9
    snappyone   83 天前 via Android
    @lixia625 分布式需要多台机器,有的公司机器抠门的要死
        10
    est   83 天前
    量级到千亿就可以考虑 clickhouse 了。而且我寻思 求出每台机每小时各种测试数据的平均值 这个是不是可以自己去做累加。。
        11
    lixia625   83 天前
    @snappyone 现在满大街的虚拟化,分布式和多台机器没啥必然关系,算力才是关键
        12
    optional   83 天前
    如果查询只是几个 aggregate 的话 pipelinedb
        13
    wlw0327   83 天前 via Android
    pipelineDB+1
        14
    lolizeppelin   83 天前
    楼上真是搞笑, 虚拟化用傻了?
    一台机虚拟出 10 台是算例翻倍了还是 IO 翻倍了

    没钱没机器还上分布式,你当做实验啊?
    直接物理机都不够用, 还套一层虚拟化?
        15
    AngelCriss   82 天前 via Android
    上次不是有人推荐 citus 吗?
        16
    orc   82 天前 via iPhone
    没细看你的需求,不过 clickhouse 可以了解一下。
        17
    snappyone   82 天前 via Android
    @lixia625 虚拟化的机器就不要钱了?分布式存储 nosql 这种动不动就几十几百个节点的,没钱怎么玩
        18
    CodeCore   82 天前
    对啊,为啥不用 citus
        19
    test0x01   82 天前 via Android
    说个你不敢用但肯定行的—— MonetDB
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2993 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 25ms · UTC 11:06 · PVG 19:06 · LAX 03:06 · JFK 06:06
    ♥ Do have faith in what you're doing.