首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
V2EX  ›  问与答

OpenvSwitch port 在大流量时候消失的 troubleshooting 方法,思路求教。

  •  
  •   littlewey · 2018-01-14 13:04:12 +08:00 · 1202 次点击
    这是一个创建于 638 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我一直没有系统编程的经验,欠缺这方面的方法论,这次遇到 ovs 的 port 丢失问题,Google 相关 troubleshoot 的东西都是 data flow 层面的信息,实在没办法了上来提问,期待大家帮忙,mentoring 哈。

    因为是半生产环境,所以不是方便一直连上去重现,所以要自己多研究一下才能去做尝试。

    刚刚也把问题发在了 stackoverflow: https://stackoverflow.com/questions/48246801/openvswitch-port-missing-in-large-load-long-poll-interval-observed

    如果大家有帮助思路烦请直接去那里回答或者麻烦两边都添加回复,抱歉带来这样的麻烦。


    ISSUE description

    I have a OpenStack system with HA management network (VIP) via ovs (Open vSwitch) port, it's found in this system, with high load (concurrently volume-from-glance-image creation), the VIP port (an ovs port) will be missing.

    Analysis

    For now, with default log level from log file, the only thing observed is as below the Unreasonably long 62741ms poll interval.

    2017-12-29T16:40:38.611Z|00001|timeval(revalidator70)|WARN|Unreasonably long 62741ms poll interval (0ms user, 0ms system)
    

    Idea for now

    I will turn debug log on for file and try reproducing the issue:

    sudo ovs-appctl vlog/set file:dbg
    

    Question

    • What else should I do during/after of the issue reproduction please?
    • Is this issue typical? Caused by what if yes?

    I googled OpenvSwitch trouble shoot or other related key words while information was all on data flow/table level instead of this ovs-vswitchd level ( am I right? )

    Many thanks! BR//Wey

    3 回复  |  直到 2018-01-17 14:19:33 +08:00
        1
    alcarl   2018-01-14 13:48:37 +08:00 via Android   ♥ 1
    猜一发,操作系统的 limit 设置中 openfiles 太小,高并发时连接数多了超过 openfiles 上限,然后监听线程 accept 是报错退出了,所以 listen 没有了
        2
    littlewey   2018-01-14 13:58:15 +08:00
    @alcarl #1 多谢 多谢,不过我那个 high load 其实是大的 bandwidth 占用,好像不是连接数的 high
        3
    littlewey   2018-01-17 14:19:33 +08:00
    @alcarl update,我查了一下,host 和 guest 系统里都没有设定 nofile 的 limitation。 再次感谢。
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   4169 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 23ms · UTC 08:23 · PVG 16:23 · LAX 01:23 · JFK 04:23
    ♥ Do have faith in what you're doing.