V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Aliberter
V2EX  ›  Java

Java 有没有轻量级的跟大数据的统计、排序、缓存等这些关键字相关的高性能框架?

  •  
  •   Aliberter · 50 天前 · 1469 次点击
    这是一个创建于 50 天前的主题,其中的信息可能已经有所发展或是发生改变。

    抛开大数据本身那些什么 hadoop 、spark 的不谈,那些都太重量级,比如我面临的场景也就几十万,几百万,顶多千万的数据,有什么相关的轻量级框架去处理这些吗? 比如我了解的有 springbatch 框架,但好像不支持各个维度的统计各种自定义排序啥的,也不支持从大量数据中快速检索等,就是支持大量数据一边读一边写而已。 老哥们有了解其他的流行的或小众的开源框架吗,欢迎推荐,多谢!

    12 条回复    2021-07-31 11:20:44 +08:00
    zoharSoul
        1
    zoharSoul   50 天前   ❤️ 1
    轻量级不需要这些框架

    几十万还处理个毛的大数据. mysql 直接就扛了
    arbit
        2
    arbit   50 天前
    现在用的 mongodb,一个大表 collection 也有上亿数据,根据业务建好对应字段索引,感觉检索和排序的速度可以满足系统要求
    potatowish
        3
    potatowish   50 天前 via iPhone
    上 es
    chendy
        4
    chendy   50 天前
    几千万 db 就搞定了
    nanjingwuyanzu
        5
    nanjingwuyanzu   50 天前   ❤️ 1
    我理解楼主的意思应该是处理,高性能框架 。更什么数据库没啥关系
    ikas
        6
    ikas   50 天前
    矛盾...大数据,轻量级,除非是做 ppt
    young1lin
        7
    young1lin   50 天前   ❤️ 1
    就用 Spring Batch 就行了,几千万数据自定义排序什么的,上 Es 。Spring Batch 官网学不到什么,还得看《 Spring Batch 权威指南》,而且这个好像是 Pivotal 团队贡献了 JSR 352 的规范,有能力的话可以把这个搭配下 Velocity 之类的模版框架,开源个 DashBoard 出来。这个 Spring Cloud Data Flow 我用了,我还提了个 issue,有代理会启动不了,Spring Batch Admin 已经不维护了,Spring Cloud Data Flow 官方就是强推 Maven 仓库 + K8s,本地启动,有点麻烦。
    GrayXu
        8
    GrayXu   50 天前
    @ikas +1 轻量级就别叫大数据了。单点的统计排序的策略也很多。
    zhenjiachen
        9
    zhenjiachen   50 天前 via iPhone
    apache flink ?可以 main 方法直接运行
    littlewing
        10
    littlewing   50 天前
    这点数据量放内存里暴力搜索没啥区别
    zmzeng12
        11
    zmzeng12   50 天前
    用 spark 就行,不需要部署,执行时候会自动在本地拉起 standalone 部署,运行结束后自动销毁。
    abcbuzhiming
        12
    abcbuzhiming   49 天前
    没有,Java 拖着一个虚拟机就不可能轻量,数据量小建议直接搞个脚本语言开搞,重型框架只有数据量足够大的时候才有价值
    关于   ·   帮助文档   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   3001 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 05:32 · PVG 13:32 · LAX 22:32 · JFK 01:32
    ♥ Do have faith in what you're doing.