Zackkkk 最近的时间轴更新 Zackkkk 最近的时间轴更新 |
ZackkkkV2EX 第 267382 号会员，加入于 2017-11-16 09:34:54 +08:00今日活跃度排名 8157 |
Zackkkk 最近回复了
47 天前 回复了 5200 创建的主题 › 程序员 › 2019 快过了，各位现在公司用的什么数据库呢，分别对应什么应用场景？ |
更正下 druid 不适合有太多高基数字符串字段（如 uid 这种），不是低基
47 天前 回复了 5200 创建的主题 › 程序员 › 2019 快过了，各位现在公司用的什么数据库呢，分别对应什么应用场景？ |
我们的数据量在 PB 级，目前我的项目用到的数据库：
Mysql：业务 OLTP，数据量太大，后迁至 TiDB
TiDB：业务 OLTP，不需要分库分表，前期坑比较多，需要专门的人维护。
Presto/Hive：大数据量的离线数据存储，数据仓库，数据可导到 Druid 与 ClickHourse。简单可以通过 Presto 直接查询 Hive，不过效率比较低。
Druid：统计数据可预计算，不适合数据检索，但不能有太多低基字段，否则存储成本高。我们用在数据统计计算
ClickHourse：适合统计与数据检索，性能在 Presto 与 Druid 之间，但不能作为持久存储，一般 TTL 半年，否则存储成本太高。若需要大数据量的检索则选这个比较合适，目前我们用在前端数据上报。
Mysql：业务 OLTP，数据量太大，后迁至 TiDB
TiDB：业务 OLTP，不需要分库分表，前期坑比较多，需要专门的人维护。
Presto/Hive：大数据量的离线数据存储，数据仓库，数据可导到 Druid 与 ClickHourse。简单可以通过 Presto 直接查询 Hive，不过效率比较低。
Druid：统计数据可预计算，不适合数据检索，但不能有太多低基字段，否则存储成本高。我们用在数据统计计算
ClickHourse：适合统计与数据检索，性能在 Presto 与 Druid 之间，但不能作为持久存储，一般 TTL 半年，否则存储成本太高。若需要大数据量的检索则选这个比较合适，目前我们用在前端数据上报。
47 天前 回复了 yellowmarlboro 创建的主题 › 程序员 › 多源数据融合，建数仓，数据统计分析一般有哪些架构和技术？区别是什么？ |
我们的做法，所有源数据放在 Hive(数仓)上，查询要求不高的，直接通过 Presto 引擎查询 Hive 数据，TB 级别的复杂查询会在分钟级。
需要比较实时高效的查询分析，把 hive 数据导到 Clickhourse/Druid，或者直接上报到 Clickhourse/Druid，查 Clickhourse/Druid 数据。
需要比较实时高效的查询分析，把 hive 数据导到 Clickhourse/Druid，或者直接上报到 Clickhourse/Druid，查 Clickhourse/Druid 数据。
52 天前 回复了 Zackkkk 创建的主题 › 程序员 › 网易裁员的事情未过，名创优品威胁病危员工又来？ |
@zsy979 你居然把这种事情当作负能量，是谁的负能量呢？受害者的负能量？受害者勇敢站出来发声，希望得到认可与关注，甚至是获取公正公义，这是负能量？这怎么看都是抗争不公的正能量吧，只有你这种人发表“这又能怎样”的言论才是负能量吧。
52 天前 回复了 Zackkkk 创建的主题 › 程序员 › 网易裁员的事情未过，名创优品威胁病危员工又来？ |
@weiruanniubi 我明白你无奈的意思。但想改变其实也别想得那么高大上，那么困难，要什么勇敢的站出来。就像现在的讨论，看一下文章也是一种支持的方式。
52 天前 回复了 Zackkkk 创建的主题 › 程序员 › 网易裁员的事情未过，名创优品威胁病危员工又来？ |
@weiruanniubi 当事情发生在你身上的时候，你会觉得无聊吗？
88 天前 回复了 debuginn 创建的主题 › Blogger › 程序猿有多少有自己站点的，有的话可以友联一下么，欢迎留言。 |
99 天前 回复了 deep777blue 创建的主题 › 程序员 › 碰到这样的开发，你想说什么？ |
所以是在黑 java 程序员吗？
Select Language