V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
SunshineJohn
V2EX  ›  问与答

大数据多维度数据分析问题请教

  •  
  •   SunshineJohn · 2017-08-03 09:51:26 +08:00 · 1822 次点击
    这是一个创建于 2494 天前的主题,其中的信息可能已经有所发展或是发生改变。

    从一张用户表(字段包括:日期、业务 id、渠道、版本、uid ;已 groupby,表记录是唯一的)进行数据分析,维度包括:日期、业务 id、渠道、版本。当前端查看结果,筛选条件可以是多个维度的各种组合,不同的业务 id、渠道、版本,uid 可以相同,因此根据条件做 sum 肯定不能满足需求的,请问如何实现?现在知道的一个笨方法是:每种组合都分析一遍。请大神指点,谢谢!

    WhoMercy
        1
    WhoMercy  
       2017-08-03 10:05:01 +08:00 via Android
    1.分析热点数据,进行预统计;(如前一天、七天、三十天)
    2.缓存数据组合,提高组合数据命中率;(一级缓存、二级缓存)
    ……
    rockyou12
        2
    rockyou12  
       2017-08-03 11:05:50 +08:00
    给用户看还是给自己人看?给自己人看的话直接倒进 elasticsearch,用 kibana 去看,啥都不用写
    SunshineJohn
        3
    SunshineJohn  
    OP
       2017-08-03 11:25:28 +08:00
    SunshineJohn
        4
    SunshineJohn  
    OP
       2017-08-03 11:27:39 +08:00
    @WhoMercy 谢谢回复,刚刚从别人那里得到好像可以用 Cube 实现。正在研究。

    @rockyou12 自己内部开发,所有前后端自己做。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   890 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 21:48 · PVG 05:48 · LAX 14:48 · JFK 17:48
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.