发微博，报警。
在这里发效果不大

@afpro 效果应该会好一些，但是可能还是不太符合性能上的要求。

我用 pp 库把 CPU 跑满了，最后可以跑出来，但是消耗的时间依然很久，感觉用集群处理比较合适。

准备看看怎么搞一下

楼主自己搞个 app 贴上去，基本上就证明可以干活了

如果再给我机会我肯定选户口……

楼主还是妹子，果断要户口～

@laqow 问题应该是在加解密这里，读取存储试了一下如果没有加解密还是挺快的


@scys 感谢，回头试一下


@numoone 对，瓶颈是这里，很费资源，该考虑换一种方式了




@likuku 还能这样，我赶紧搜一下


@fiht 呜呜，服务器现在还是 py2.6 呢。。装 2.7 都得给运帷打申请


@jhdxr 那尝试一下 java 好了。。

@laxenade #35

- -。要是可以的话也想试试，先跑一下看看
用 pp 试了一下总是提示变量未定义

@laxenade 服务器上跑的话，如果这样算，也只能尝试多几用几个核了……


@scys 用的 pycrypto …有什么推荐的模块么


@est 刚刚试了一下 dask

```
from dask import delayed
#import dask.bag as db
L = []
for fn in en_files:
# b = db.read_text(fn)
a = delayed(fun_name)(fn) # Delay execution of function
L.append(a)
result = delayed(L)
result.compute()
```
使用这种方式处理，发现和下面这种方式处理效率相似，看了看 cpu 占用率也很相似，大概都是单核 100%左右

```
#pool = ThreadPool(20)
#pool.map(decrypt_file, encrypt_files)
#pool.close()
#pool.join()
```

话说这是我使用方式的问题，还是什么？

@scys 嗯，主要是数据处理这里，我处理的是加解密，瓶颈应该是在这里… pypy 无力，在服务器上，装个软件都是运帷去搞

在想办法提高看看怎么并行处理一下


@aru 嗯，瓶颈应该是解密这里了…目前还没有找到好的办法

楼上说的 dask 还有我尝试的 pp 居然都碰到了错误…… pyspark 环境也有问题，想死

@gamexg 经你这么一说，仿佛明白了一些，做的解密处理…应该是这个原因

去掉解密，只读写没什么问题，很快…


@laqow 解析倒是没啥问题，只是 split 一下；问题应该在处理对过程，我做的解密处理…


@sunchen 现在用了这个，效果不太好。 试了一下 pp 想并行一下，结果出现了题目里对错误


@billion 这么一说更觉得是我处理过程导致的速度慢了，我做的解密处理……

@pathbox 唔，还不会写 go


@princelai 我去搜一下


@sunchen 这个速度很快了啊，多进程用的什么库呢


@laqow 纯文本。读取后处理的过程用到了 py 的库……所以目前想看看使用 py 有没有什么解决办法


@hasdream 公司服务器…我装个什么东西都得审批，周末是没什么希望了


@Wicked 对，感觉其他语言重写可能也达不到我要求对速度。 不是 windows，跑在服务器上，后期还要搞成定时任务…所以要求肯定要一天内跑完

@FindHao 目前用了一些 py 的库，再改 C 的话感觉时间来不及…捉急

@tonghuashuai 感觉是读取后处理文件比较慢…所以尝试分成了小文件，然后发现速度也没快，囧

@laxenade 刚刚试了试。。妈蛋服务器上 spark 环境有问题

@runjvm 大概不到 1kw 行的数据，现在的速度是 1h 处理 5-6w … 要求的速度是不到一天处理完

话说为什么不能 append 了…

再说具体一些吧，就是把文件内容读出来做一些处理然后存到另外的文件去。

不知哪位处理过类似的需求

@oaix 话说使用 eclipse 打了一个 jar 包，也不行 - -

@qiyuey 依赖缺失会存在部分命令可执行的情况么？刚接触 Hive 和 Java 这些，有点迷糊

@oaix 同时编译的时候已经指定了使用的 jar 包

@oaix

第三方的包的确是没有打到 jar 包中，不过 jar 包内存的是编译后的 class 文件，这样有影响么？