这是一个创建于 1877 天前的主题，其中的信息可能已经有所发展或是发生改变。
JavaPairRDD<String, Map<String, String>> 结构的 RDD，input data 约在 1T 作用，使用常规的 reducebykey 的 excutor 内存会不够， 目前，spark.executor.memory 设置的 4G，准备继续往上加到 8G 再试， 这种情况下除了 加 executor.memory 还有其他 有效解决方式吗？ 小弟 spark 菜鸡，希望各位大佬给点指导。
 |
1
decken 2019-03-04 19:30:34 +08:00
内存不够时间来凑 可以用 reparation 将数据分成更多分区
|
 |
2
ijk0 2019-03-04 20:46:34 +08:00
增加 executer 数
|
 |
3
bsidb 2019-03-04 21:42:43 +08:00
用 Spark 的 DataFrame 的 API 来完成聚合操作。DataFrame API 在处理超大规模数据时，性能比 RDD 的 reduceByKey 高非常多。
|
 |
4
sampeng 2019-03-04 22:48:14 +08:00 via iPhone
你这个怎么感觉就跟 500m 内存怎么分析一个 T 数据一个故事呢…内存不够时间来凑…
|
 |
7
burby 2019-03-04 23:37:35 +08:00 via iPad
google bigquery
|
Select Language