首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
wmhack
V2EX  ›  问与答

insert 重复插入问题

  •  
  •   wmhack · 361 天前 · 1999 次点击
    这是一个创建于 361 天前的主题,其中的信息可能已经有所发展或是发生改变。

    先写点伪代码:

    select * from user where email = [email protected] and sex = 1;

    if ( rs = null ){ insert ………… }

    这种写法在单机单线程的情况不会出问题,可生产是两台机器。

    有一次刚好碰到了两台机器同是 select,结果为空,就同时插入了,

    导致后来出现了两条记录。

    问一下各位 V 友,这种情况要怎样解决呢?

    36 回复  |  直到 2019-02-02 01:33:04 +08:00
    nybux
        1
    nybux   361 天前
    1.select for update
    2.用唯一
    3.为啥邮箱和性别要唯一?
    id4alex
        2
    id4alex   361 天前
    上事务
    milesnihao
        3
    milesnihao   361 天前
    数据库事务和锁?
    GDC
        4
    GDC   361 天前 via iPhone   ♥ 1
    加唯一键
    itskingname
        5
    itskingname   361 天前
    上分布式锁。
    wmhack
        6
    wmhack   361 天前
    @nybux 这里不是 update 操作啊
    wmhack
        7
    wmhack   361 天前
    @GDC 目前我们是做了唯一索引,还有方法加了 sychnazed,但这不是最优方案啊。
    liprais
        8
    liprais   361 天前
    你的隔离级别设的是啥
    wmhack
        9
    wmhack   361 天前
    @nybux 这里只是举这么一个例子。实际情况,不是这两个条件。
    wmhack
        10
    wmhack   361 天前
    @liprais 感觉跟隔离级别没有太大关系,主要是两台机器同时 select 了一样的结果出来
    RoyL
        11
    RoyL   361 天前
    @wmhack
    ....for update 是锁,看来你一点不懂 sql
    ixiaozhi
        12
    ixiaozhi   361 天前
    1. 加个 requestid 从前端到后端做锁
    2. 几个唯一条件联合做锁,如 redis
    wmhack
        13
    wmhack   361 天前
    @id4alex 事物也控制不了同时 select 呀
    id4alex
        14
    id4alex   361 天前
    @wmhack

    上事务 加上 insert tablename select 'col1' as col1, 'col2' as col2 from 伪表 where not exist select 1 from tablename where your condition
    GoLand
        15
    GoLand   361 天前
    这加个 unique key 就能解决的吧。
    id4alex
        16
    id4alex   361 天前
    前面也不用判断 RS == null 了, 直接执行这个 SQL 就可以了
    gejun123456
        17
    gejun123456   361 天前 via iPhone
    加了唯一索引 就不会两条都插入了
    haoz1w0w
        18
    haoz1w0w   361 天前
    唯一索引
    ThirdFlame
        19
    ThirdFlame   361 天前
    唯一所以 可以避免两次插入,第一次插入成功了,第二次就出错了。 也就无需 select 了,直接干
    wmhack
        20
    wmhack   361 天前
    @ThirdFlame 是的,这是第二重限制。但报错的方式有时也不太好,如果没有更好的方案,那就只能靠唯一索引去控制了
    wmhack
        21
    wmhack   361 天前
    @id4alex 我们是 oracle 数据库,类似这种 insert 时 where 的语句当时试过,mybatis 会报错,所以当时就放弃了
    xomix
        22
    xomix   361 天前   ♥ 1
    有很多解决方案,根据你实际项目资源和项目阶段选择:
    1、上唯一索引,只要有 1 条完成插入后第二条再次插入就会报错。
    2、利用 rides、zookeeper 等第三方分布式 k-v 存储制造分布式锁,利用分布式锁完成插入。
    3、将所有写操作集中到同一进程,入列后等待完成。

    最简单最便宜的是 1,但是这样你要拦截错误后自行处理,代码逻辑复杂度升高。
    接下来是 3,但是如果采用方案 3 当你的写入队列进程挂掉或阻塞的时候会引起服务不可用。
    2 是时下主流解决方案,但是投入资本最高,开发难度也较高。
    ixiaozhi
        23
    ixiaozhi   361 天前
    想到个奇怪的思路,大佬们评估下可行性
    1. 正常插入,插 2 条就 2 条吧
    2. 查询的时候,控制以 id 小的为准 order by id limit 1
    3. (可选)定期洗理重复且 id 大的数据
    leon0903
        24
    leon0903   361 天前
    设置好唯一索引,然后插入语句改为 insert into on duplicate update,这样即使数据重复插入也只是更新而已。
    kkkkkrua
        25
    kkkkkrua   361 天前
    不想在数据库做处理就用分布式锁,或者吧这个 insert 动作丢给队列。一个一个处理
    dilu
        26
    dilu   361 天前   ♥ 1
    1. 插入前锁全表 开发成本最低,但是数据库开销最大并且有可能会影响业务 如果业务无所谓这种方法最合适
    2. 设置一个唯一索引 开发成本低但是数据库开销大,如果本来就有一个字段需要加索引这种方法最合适
    3. 用 redis 等缓存做分布式锁,拿到锁的进程 insert 别的进程返回。开发成本适中,反正分布式锁你后你也会用的。
    4. 消息队列,直接把 insert 操作扔进去 消费者来做就行了。但是开发成本很高了。
    5. 分布式事务 这种成本最高 了解一下就 OK
    bk201
        27
    bk201   361 天前
    幻读,事务调到 SERIALIZABLE 级别
    petelin
        28
    petelin   361 天前 via iPhone
    都跟你说了 select for update。不存在会锁住的
    mmdsun
        29
    mmdsun   361 天前 via Android
    select lock in share mode 就行了吧。
    wmhack
        30
    wmhack   361 天前 via iPhone
    @xomix 这些方案感觉可行的,很好的一些建议
    wmhack
        31
    wmhack   361 天前 via iPhone
    @dilu 这些思路很好,感谢了🙏
    wmhack
        32
    wmhack   361 天前 via iPhone
    哪位大神如果有更好的方案,欢迎提出来额。大伙表示感谢啦
    kaid97
        33
    kaid97   361 天前
    在同个事务下,select for update 会用 next-key lock 锁住索引不让插入
    zhenjiachen
        34
    zhenjiachen   361 天前 via iPhone
    重复提交问题,把请求的参数 md5 后存到 redis,然后设置一个超时时间,第二次来了从 redis 中先判断是否有现在的 md5 值有就判断为重复提交,没有就通过
    Leigg
        35
    Leigg   361 天前 via iPhone
    思路都差不多,在客户端和数据库中间加一层中间件做控制。锁的实现最好避免在数据库端实现,利用 redis/MQ 实现,实现高效的锁。
    akira
        36
    akira   360 天前
    INSERT IGNORE . 直接忽略后面的插入操作。 但是这种操作不是很严谨,个人还是比较倾向于使用队列
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   788 人在线   最高记录 5168   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 25ms · UTC 21:10 · PVG 05:10 · LAX 13:10 · JFK 16:10
    ♥ Do have faith in what you're doing.