V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
ufo22940268
V2EX  ›  Hadoop

怎么把 elasticsearch 里面的数据导入到 hadoop 里面

  •  
  •   ufo22940268 · 2017-03-02 13:37:01 +08:00 · 3388 次点击
    这是一个创建于 2583 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我又 tm 不要脸地来问了,因为研究了很久还是搞不明白。

    好像有这个项目,但是不知道怎么导数据,求大神给个链接或者指导下。现在数据都放在 es 里面,然后 es 分析数据的能力不够想导入到 hadoop 里面分析试试。

    4 条回复    2019-03-20 16:55:16 +08:00
    knightdf
        1
    knightdf  
       2017-03-02 14:25:22 +08:00
    先从 es 里导到硬盘上去呗,你每次从 es 里读那得多慢啊
    bbx
        2
    bbx  
       2017-03-02 14:26:32 +08:00
    不太懂你在说什么。不过从你提供的链接来看,貌似你是想用 mapreduce 来读 es 的数据。其实很简答,你网上找个可用的 inputformat (你链接上的),然后写个 mapreduc 程序就行了。。貌似我说了和没说一样,不过你那个链接里面已经说的很清楚了
    onesuper
        3
    onesuper  
       2017-03-03 10:40:34 +08:00
    LZ 提到的 elasticsearch-hadoop 这个项目把 ES 作为一个 storage 层直接访问。

    在 ES 里做简单的分析( aggregation ),参考这个项目: https://github.com/onesuper/pandasticsearch
    37Y37
        4
    37Y37  
       2019-03-20 16:55:16 +08:00
    当我把这个问题解决后,写了一篇详细的操作文档
    https://mp.weixin.qq.com/s/qOw1a83pQImXiDRRZ0e9Aw
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2703 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 15:36 · PVG 23:36 · LAX 08:36 · JFK 11:36
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.