首页 注册 登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  dhairoot  ›  全部回复第 3 页 / 共 3 页
回复总数  53
1  2  3  
❮ ❯
2018-12-09 18:37:09 +08:00
回复了 dhairoot 创建的主题 › Hadoop › 有很多 xml 文件，如何按照文件去并行，而不是一个大文件切分成小块来做并行计算呢？
@ls2995 加油，搞完了可以写篇文章
2018-12-07 09:31:27 +08:00
回复了 dhairoot 创建的主题 › Hadoop › 有很多 xml 文件，如何按照文件去并行，而不是一个大文件切分成小块来做并行计算呢？
@ls2995 我后来就是在每一台电脑上分别跑处理程序
2018-12-03 10:50:14 +08:00
回复了 dhairoot 创建的主题 › Hadoop › 有很多 xml 文件，如何按照文件去并行，而不是一个大文件切分成小块来做并行计算呢？
@ls2995 兄弟你是做什么项目呀
2018-11-25 07:47:12 +08:00
回复了 dhairoot 创建的主题 › Hadoop › 有很多 xml 文件，如何按照文件去并行，而不是一个大文件切分成小块来做并行计算呢？
@kex0916 文件都是本地的，每台电脑有一部分，这样的也可以吗
2018-11-24 12:22:38 +08:00
回复了 xypcn 创建的主题 › 程序员 › golang 何时干掉 Java
@cmuler 同样觉得 Java 的设计很优雅，go 连一个好的包管理工具都没有很难受
2018-11-15 15:03:02 +08:00
回复了 dhairoot 创建的主题 › Hadoop › 大量 zip 压缩包，每一个都很小， 10M 以内，如何利用 MapReduce 实现快速解压呢？
@dawncold 我现在测试在本地多线程解压，但是因为都是小文件，每秒 io 次数很多，但是读写速度只能达到 10mb/s
2018-11-15 15:01:32 +08:00
回复了 dhairoot 创建的主题 › Hadoop › 大量 zip 压缩包，每一个都很小， 10M 以内，如何利用 MapReduce 实现快速解压呢？
@est hdfs 上和本地上的文件是一样的
2018-11-15 10:00:49 +08:00
回复了 dhairoot 创建的主题 › Hadoop › 大量 zip 压缩包，每一个都很小， 10M 以内，如何利用 MapReduce 实现快速解压呢？
@dawncold 现在的情况是总共有 16T 文件，通过手动的把文件分开放在不同电脑上，开多线程去解压就已经非常耗时了，所以才想通过上传到 hdfs，利用 MapReduce 解压，。但是目前发现解压速度太慢了，完全不知道因为什么。
2018-11-15 09:58:13 +08:00
回复了 dhairoot 创建的主题 › Hadoop › 大量 zip 压缩包，每一个都很小， 10M 以内，如何利用 MapReduce 实现快速解压呢？
@Vamposine 但是目前解压速度远远没到磁盘 io 的瓶颈
2018-11-15 09:47:56 +08:00
回复了 dhairoot 创建的主题 › Hadoop › 大量 zip 压缩包，每一个都很小， 10M 以内，如何利用 MapReduce 实现快速解压呢？
@ym1ng 我是参考这个博主写的代码实现解压的，http://cutler.io/2012/07/hadoop-processing-zip-files-in-mapreduce/
2018-11-15 09:46:28 +08:00
回复了 dhairoot 创建的主题 › Hadoop › 大量 zip 压缩包，每一个都很小， 10M 以内，如何利用 MapReduce 实现快速解压呢？
@ym1ng 自己实现了解压工作，但是现在的问题是速度异常慢
2018-09-07 07:07:57 +08:00
回复了 KevinOfNeu 创建的主题 › 程序员 › 手拉手一起来实现一门运行在 JVM 上的语言
m
2018-08-02 21:41:48 +08:00
回复了 JiaZombie 创建的主题 › 程序员 › 自己写了个 V2EX 的小程序，可惜过不了审~
@sansansan333 个人怎么获取企业认证的
1  2  3  
❮ ❯
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   927 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 17ms · UTC 23:02 · PVG 07:02 · LAX 16:02 · JFK 19:02
Developed with CodeLauncher
♥ Do have faith in what you're doing.