V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  jakson  ›  全部回复第 2 页 / 共 2 页
回复总数  40
1  2  
2019-01-20 22:23:59 +08:00
回复了 belcher 创建的主题 Hadoop spark 的 shuffle 算子一定会产生宽依赖吗?
个人看法:
shuffle 一定是宽依赖,源码中对宽窄依赖,是根据算子的名称来定的(我记得源码里面是这样的,宽窄依赖也是这样定的)。
他的意思是即使是宽依赖,但不一定会有数据的网络传输吧
1. 知识储备够吗
2. 人脉资源够吗
3. 资金够吗
不满足就老老实实打工吧
前期不要谈工资!大雁打下来才有肉吃
说实话,近视还真的是可逆的,前几年生病住院,然后差不多 20 天没带眼睛,天天是休息,看天花板,感觉从 300 降到了 100
2019-01-04 16:41:42 +08:00
回复了 baiyi 创建的主题 分享发现 网易云音乐年度听歌报告出了
有和我一样,听得最多的是渡口吗?
2019-01-03 13:07:29 +08:00
回复了 hahiru 创建的主题 职场话题 我再帮同事开发办公软件我就是狗。
我和楼主一样,主要原因是我们不够韬晦,给公司做了很多提升效率的工具,在别人看来,就是太能了。
2019-01-02 23:00:57 +08:00
回复了 SsuchingYu 创建的主题 职场话题 入职互联网公司之后要不要送人情?
人情是要送的,鉴于你这种,建议请吃个饭,送点家乡特产(淘宝)啥的
2019-01-02 22:49:50 +08:00
回复了 zedakira 创建的主题 程序员 太冷了!冬天敲代码有什么暖手方案吗?
强烈推荐暖手饼,彩虹牌的,时间就,够热,陪伴了我高中三年和大学 4 年,毕业 3 年了没用,昨天用了一下还没坏!
2018-12-29 13:18:54 +08:00
回复了 hackxing 创建的主题 职场话题 请假被拒了。。。。。。
SB 公司,更重要的是,SB 领导
2018-12-26 17:06:22 +08:00
回复了 y335061 创建的主题 酷工作 [北京][大数据研发工程师] 待遇 15-40K
兄嘚,改成算法工程师吧,好招人点
2018-12-26 17:00:44 +08:00
回复了 936585519 创建的主题 问与答 计算机专业面临选方向,想请各位前辈给一点建议
没有特别喜欢的就 1、数据与智能工程吧
加个微信吧,"a2Fpc2h1bmthaXNodW4=" base64 加密
@revival83 同 T1DM,可以一起做,不过最近比较忙
2018-12-24 11:00:36 +08:00
回复了 dielianxiang 创建的主题 数据库 技术咨询: Mysql 查询优化
或者,在业务上另外想一个办法,再加一张表,专门用来维护
2018-12-24 10:58:11 +08:00
回复了 dielianxiang 创建的主题 数据库 技术咨询: Mysql 查询优化
个人觉得,分表分库可能没有用,首先,这个是做了索引的,查询是会比较快的,慢是因为对索引过滤的这一部分数据进行 group by 汇聚的时候慢,楼主可以看看慢的时候,不进行 group by,看看有多少条数据。
如果过滤出的数据比较大,2-5 秒,也是比较正常。

对于这种解决办法,一般都是想着硬件上的优化了,分库,采用分布式的可能有用,在多台服务器上,各自 group by 一部分,然后再对各个服务器上 group by 后的再进行汇聚。 不过这个也不一定快,万一各自 group by 后,各自的电脑的数据量还是很大,这样会有大量的网络 IO。
具体的情况,还得根据具体的数据情况来看
2018-12-24 10:49:31 +08:00
回复了 dielianxiang 创建的主题 数据库 技术咨询: Mysql 查询优化
兄弟,你这个语句在 mysql 的 sql 层次优化不了,我估计这个查出来的数目比较多,即使用了索引,查询是很快,但是对查出的数据进行 sum 等聚合操作,就是慢,也没得办法。
没事,下班到点走就 OK
2018-12-18 13:07:36 +08:00
回复了 IsaacYoung 创建的主题 问与答 有没有好的跨省搬家解决方案?
北京到深圳,用的德邦物流
2018-12-17 18:06:59 +08:00
回复了 nellace 创建的主题 阅读 今年读了几本书?
读了 10 来本纸质的吧(超过 40%),电子的超过 30%也有个 10 来本。
2018-12-11 19:54:36 +08:00
回复了 mmdsun 创建的主题 问与答 桌面比较好的 Linux 系统有哪些?
用过 mint,ubuntu, deepin 个人更喜欢 mint,其次是 ubuntu
1  2  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3760 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 34ms · UTC 04:18 · PVG 12:18 · LAX 21:18 · JFK 00:18
Developed with CodeLauncher
♥ Do have faith in what you're doing.