首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
宝塔
V2EX  ›  问与答

每天大概一亿条数据,该用什么表,什么数据库比较好?

  •  
  •   dapengzhao · 34 天前 · 1416 次点击
    这是一个创建于 34 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目前用了 mongo 打算一天存一个集合,但是数据到了五千万左右的时候写入速度就很慢了,每秒几百条。

    {
        "_id" : ObjectId("5da7e7842bd2cd5578ebdf52"),
        "time" : "2019-09-01 08:01:45.899",
        "src_ip" : "59.1.1.1",
        "port" : "64466",
        "proto" : "TCP",
        "in_bytes" : "60",
        "out_bytes" : "0",
        "in_packets" : "1",
        "out_packets" : "0",
        "flows" : "1",
        "is_edu_net" : "1"
    }
    

    数据结构大概是这样,后面需要展示,就这样表格一条数据占一行,会按照 ip,端口,或者协议查询。

    19 回复  |  直到 2019-10-18 02:28:03 +08:00
        1
    oscer   34 天前
    pg?
        2
    taotaodaddy   34 天前 via Android
    时序?
        3
    mikulch   34 天前   ♥ 1
    hbase?
        4
    atbility   34 天前
    elasticsearch?
        5
    l0wkey   34 天前
    TSDB
        6
    rrfeng   34 天前
    应该是 cache 满了,合理调整一下应该可以的。
        7
    qiayue   34 天前
    不用问,问就是时序数据库
        8
    tt67wq   34 天前
    influxdb
        9
    letitbesqzr   34 天前
    @atbility #4 elasticsearch 真的适合如此高的频率写入数据?我所了解要说写入效率,es 是常见的数据库中最慢的。
        10
    hkitdog   34 天前 via iPhone
    Oracle
        11
    ebingtel   34 天前
    @letitbesqzr 先写入 kafka 再写 ES
        12
    yingsunwl   34 天前
    clickhouse
        13
    rockyou12   34 天前
    时序库吧,timescale,influxdb 这种,上面说 es 估计也行但性能会差些
        14
    11ssss   34 天前
    TDengine
        15
    atbility   34 天前
    @letitbesqzr es 挺快的啊,上次我整了 10 个亿的数据,9 台服务器,速度杠杠滴
        16
    zxc111   34 天前
    clickhouse+1
        17
    wangxiaoaer   34 天前
    TSDB 性能如何啊,看这个文章好像很差啊。

    https://zhuanlan.zhihu.com/p/56982951

    但是基于 pg,这个点让人爱不释手。
        18
    Pythondr   34 天前 via Android
    这种数据,明显时序数据库
        19
    Samuelcc   34 天前 via Android
    hbase
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   4243 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 29ms · UTC 02:57 · PVG 10:57 · LAX 18:57 · JFK 21:57
    ♥ Do have faith in what you're doing.