V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  kex0916  ›  全部回复第 2 页 / 共 3 页
回复总数  53
1  2  3  
2018-09-28 09:53:32 +08:00
回复了 Nirlan 创建的主题 Hadoop 关于 Spark 读取预分区 Hbase 问题
自己实现个 RDD,partition 按照你预分区的划分 200 个,一个 partition 对应一个预分区,每个分区都是计算该分区对应的预分区的数据,对应的 startrow=该分区对应的预分区号+2018092800 + 0000 + 0000 + 000000,endrow=该分区对应的预分区号+2018092899 + 0000 + 0000 +000000,这样 200 个 region 在资源允许的情况可以并发的读取,也方便后面使用 spark 的算子。
2018-09-27 13:38:39 +08:00
回复了 itskingname 创建的主题 推广 如果你不知道做什么,那就学一门杂学吧 [文末送书活动]
分母
@forever139 2 年大数据经验的可以吗
成都大数据有坑吗
2018-06-14 09:44:13 +08:00
回复了 qqq8724 创建的主题 问与答 请教个问题,关于 Spark 累加器的
@qqq8724 🙂
2018-06-11 13:52:58 +08:00
回复了 qqq8724 创建的主题 问与答 请教个问题,关于 Spark 累加器的
光看你说的情况不太好定位,最好搞个 demo 测下,如果还是有问题可以把 demo 放出来。
2018-06-10 23:36:56 +08:00
回复了 qqq8724 创建的主题 问与答 请教个问题,关于 Spark 累加器的
map 外访问?没有 action 算子吗?
2018-04-09 18:04:01 +08:00
回复了 hbsfxlz 创建的主题 程序员 大数据萌新问个 spark 的问题
rdd 里面没有只添加一条记录的算子
你可以构造个 sumRDD,再把 rdd 和 sumRDD union
具体的最好根据你的数据量来确定方案
2018-04-07 20:42:59 +08:00
回复了 biubiuGolang 创建的主题 成都 求大佬指点下成都房子
成都 it 行业主要集中在高新南区,刚需的话成都摇号刚出台刚需优先摇号的政策,中奖几率比较大;
如果是准备买高新南区的房子或者天府新区的话需要小心下社保或落户地了,高新南区的户口可以买除天府新区外其余的限购区房子,天府新区的户口可以买除高新南区外的其余限购区房子,如果不想买高新南区的房子可以落天府新区,这样除了高新南区其余限购区的房子你都能买,刚需最方便的就是通过学历落户到集体户然后摇号买房。
2018-03-20 20:00:48 +08:00
回复了 simonqian 创建的主题 问与答 有没有兴趣一起做 spark 开发的(兼职)
有兴趣
kap
刚刚看了下,这个的 spark 版本有点老,redis 版本 v2.8.12 and v3.0.3,scala2.10 ,可能版本不太合适了
2018-03-12 09:43:05 +08:00
回复了 zoobop 创建的主题 MacBook Pro 16 款 MBP 喇叭问题
@zoobop 我是 17 款也遇到了,现在调整的左平衡,还没拿去修
2018-01-09 10:00:54 +08:00
回复了 wqlin 创建的主题 Scala Scala's types of types 译文
很赞👍
spark 的日志可以分为 driver 端和 executor 端的日志,你说的 spark 的 console 输出应该主要指的是 yarn client 模式吧
executor 端日志由于你本身是在 yarn 上执行的,可以配置 yarn.log-aggregation-enable=true 来开启日志聚合,这个功能会把 container 的日志收集到 hdfs 上,开启后可以通过 yarn logs -applicationId 命令来获取 yarn 应用的日志,也就能得到 spark on yarn 应用的 executor 端日志
driver 端日志(这里主要是 yarn client 模式)可以定制 HdfsAppender 在 log4j 里配置该 appender 可以保存到 hdfs。
另外可以配置 history server 里面可以看到已经执行应用的信息
更专业点可以考虑用 flume 来收集日志
怎么预定
2017-12-25 16:04:10 +08:00
回复了 easychen 创建的主题 程序员 试着写了段大概只有程序员才能看懂的相声 😂
看完了,666
2017-12-20 13:30:07 +08:00
回复了 WendellSun 创建的主题 分享创造 撸了个看 NBA 文字直播的命令行程序
膜拜膜拜
1  2  3  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1422 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 90ms · UTC 17:17 · PVG 01:17 · LAX 10:17 · JFK 13:17
Developed with CodeLauncher
♥ Do have faith in what you're doing.