V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
bigpigeon
V2EX  ›  问与答

k8s 的日志收集有什么推荐的方案吗

  •  
  •   bigpigeon · 2020-03-09 18:37:24 +08:00 · 2024 次点击
    这是一个创建于 1501 天前的主题,其中的信息可能已经有所发展或是发生改变。
    目前我们用的是 filebeat 直接到 elasticsearch 的方案

    但 filebeat 的多行匹配规则非常难用,而且 include_lines/exclude_lines 这些正则匹配很难 debug

    我想看看有什么其他的收集方案试试
    6 条回复    2020-11-06 15:34:28 +08:00
    Illusionary
        1
    Illusionary  
       2020-03-09 18:41:06 +08:00
    我也是 efk 方案,多行匹配就是简单粗暴的时间戳开头就为新一行日志
    optional
        2
    optional  
       2020-03-09 18:42:23 +08:00
    多行匹配一直是问题, 因为 buffer 的问题, 经常会被下一条日志截断
    zhoudaiyu
        3
    zhoudaiyu  
       2020-03-09 21:31:29 +08:00
    fluentd kafka es kibana 我们用的这种
    lqy2575395
        4
    lqy2575395  
       2020-03-10 09:56:19 +08:00
    @Illusionary 我们也是这样,你们日志有做字段拆分吗
    aidengongzhongqi
        5
    aidengongzhongqi  
       2020-09-01 10:49:32 +08:00
    @lqy2575395 如何做到不同应用拆分打 tag ?
    lqy2575395
        6
    lqy2575395  
       2020-11-06 15:34:28 +08:00
    @aidengongzhongqi 有个 @tag 的配置加一下就可以了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   947 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 21:37 · PVG 05:37 · LAX 14:37 · JFK 17:37
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.