V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Saxton
V2EX  ›  Elasticsearch

Elasticsearch 和 Mysql 数据冗余更新问题

  •  
  •   Saxton · 78 天前 · 1527 次点击
    这是一个创建于 78 天前的主题,其中的信息可能已经有所发展或是发生改变。

    看了官方文档,官方文档提成反规范化设计,并且提供了 4 种方式,最简单不影响性能的就是把有关系的数据掰成扁平化,目前我们系统做了一个自定义字段,考虑数据量大而且前端要做复杂筛选条件,上了 es,存数据时同时操作了 es 和 mysql,查询全部采用 es
    插入的时候把自定义和系统字段全部掰成了一份文档储存,那么字段数据更新的时候该怎么办呢,或者有什么更雅的方案嘛,有做个的大佬麻烦给点意见,第一次使用 es

    12 条回复    2021-09-11 01:52:29 +08:00
    theOneMe
        1
    theOneMe   78 天前
    binlog
    Saxton
        2
    Saxton   78 天前
    @theOneMe 我了解到了阿里的 canal
    kidlj
        3
    kidlj   78 天前 via iPhone
    cdc debezium kafka
    strawberryBug
        4
    strawberryBug   78 天前
    看你 es 和 mysql 存储的数据结构是否一致? es 不好做 join 查询,多表写入一个索引这种需求的话还是选用传统的方式更好扩展些,即推送更新到 mq,消费 mq 写入 es(全更新 or 部分更新)。 单表对单索引这种,canal,logstash 都行
    jabari
        5
    jabari   78 天前
    Change Data Capture (CDC) canal kafka
    gBurnX
        6
    gBurnX   78 天前
    你都没说你的业务需求,一上来就问怎么用工具?
    misaka19000
        7
    misaka19000   78 天前
    这不简单,插入和更新都走同一套数据格式处理逻辑不就行了
    ElmerZhang
        8
    ElmerZhang   78 天前
    https://github.com/alibaba/canal
    要保证数据一致性,这基本是最优解
    swcat
        9
    swcat   78 天前
    go-mysql-transfer -> 使用 lua 写同步逻辑
    wangxin13g
        10
    wangxin13g   77 天前
    想说 canal 的 然后看了下发现有人发了
    changdy
        11
    changdy   77 天前
    debezium 😎
    WriteCloser
        12
    WriteCloser   77 天前   ❤️ 1
    1. 阿里云 DTS 订阅 binlog 同步
    2. 实时性要求不高并且数据量不大可以每天跑下全量
    关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2401 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 08:38 · PVG 16:38 · LAX 00:38 · JFK 03:38
    ♥ Do have faith in what you're doing.