V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
meowoo
V2EX  ›  Python

想写一个日志分析工具,有没有好的轮子

  •  
  •   meowoo · 2018-09-11 16:04:12 +08:00 · 3546 次点击
    这是一个创建于 2025 天前的主题,其中的信息可能已经有所发展或是发生改变。

    主要内容就是,分析应用重启阶段的日志,判断是否有异常之类的。

    要正则匹配关键字处理么? 看了几个都是这样简单的处理的。

    大家有什么好想法么, 或者有什么现成的轮子用。

    limbo0
        1
    limbo0  
       2018-09-11 16:16:46 +08:00 via Android
    多大的日志,试试 logstash
    meowoo
        2
    meowoo  
    OP
       2018-09-11 16:19:28 +08:00
    @limbo0 一般都是几 M 到几十 M 应用的重启日志,spring bot,weblogic,tomcat,等中间件的日志

    我先看下 谢谢
    billzhuang
        3
    billzhuang  
       2018-09-11 16:22:28 +08:00
    ELK 或者用 EL + Grafana
    meowoo
        4
    meowoo  
    OP
       2018-09-11 16:31:24 +08:00
    @billzhuang 感觉有些庞大了,现在的工具是远程执行重启命令,打印出来的内容会保存在本地,然后分析这份重启日志判断应用是否正常启动。有没有轻量级的推荐,主要想要的就是,给一个 log 文件,分析是否有报错,谢谢
    qq976739120
        5
    qq976739120  
       2018-09-11 16:38:26 +08:00
    filebeat+es+kibana logstash 实在是太重了
    gulu
        6
    gulu  
       2018-09-11 19:45:23 +08:00 via Android
    只是需要分析报错的话,要不试试 sentry ?
    exiaohao
        7
    exiaohao  
       2018-09-11 19:47:46 +08:00
    d0m2o08
        8
    d0m2o08  
       2018-09-11 20:35:48 +08:00 via iPhone
    轻量的 graylog 了解一下,elk 实在太笨重,数据量不大没必要
    baojiweicn2
        9
    baojiweicn2  
       2018-09-11 20:46:41 +08:00 via iPhone
    senty,elk 都挺好的
    aimiyooo
        10
    aimiyooo  
       2018-09-11 21:38:10 +08:00
    elk+1
    xpresslink
        11
    xpresslink  
       2018-09-11 22:34:16 +08:00
    就这么简单的事情还要轮子。

    直接用 python 撸个脚本就可以了,直接 os.popen('grep -E "regex" filename') 或者 os.popen('zgrep -e "regex" filename.gz')

    其实这样弄比直接用 python 处理要快得多,grep/zgrep 是 C 写的还支持文件通配。

    推荐 open falcon,ELK
    meowoo
        12
    meowoo  
    OP
       2018-09-12 02:25:54 +08:00 via iPhone
    @xpresslink 我自己是准备这样搞得,就想看看有没有好轮子用
    Livid
        13
    Livid  
    MOD
       2018-09-12 02:43:46 +08:00 via iPhone
    geelaw
        14
    geelaw  
       2018-09-12 03:36:47 +08:00
    Get-Item '你的日志文件' | Select-String '你的正则表达式' | Out-GridView
    hearfish
        15
    hearfish  
       2018-09-12 03:48:47 +08:00
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1168 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 18:28 · PVG 02:28 · LAX 11:28 · JFK 14:28
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.