这是一个创建于 1048 天前的主题，其中的信息可能已经有所发展或是发生改变。
现在的环境
windows2008 r2 +mongodb4.0 +node.js+JAVA
因为服务器上已经有好几个项目，不要影响其他正常的运行的项目。
软件要求：
每天定时自动下载并且解压（我提供帐号密码去下载），解压后大概每天有 1.5 亿行数据，每天新增 10 万行左右，3 分钟内提取新增行，反正越快越好。
提取新增行后，自动按关键字（关键字数量 2-100 个左右，我每天手动修改）提取，调用我现在的 API 完成。
（我不懂能不能实现，因为下载要 7 分钟，我想所有操作 10 分钟内完成，反正越快越好，最好不要升级服务器就能实现，因为太麻烦了）
请有能力有时间的 大神 联系我 qq，感谢
49 六一 47 九五三
windows2008 r2 +mongodb4.0 +node.js+JAVA
因为服务器上已经有好几个项目，不要影响其他正常的运行的项目。
软件要求：
每天定时自动下载并且解压（我提供帐号密码去下载），解压后大概每天有 1.5 亿行数据，每天新增 10 万行左右，3 分钟内提取新增行，反正越快越好。
提取新增行后，自动按关键字（关键字数量 2-100 个左右，我每天手动修改）提取，调用我现在的 API 完成。
（我不懂能不能实现，因为下载要 7 分钟，我想所有操作 10 分钟内完成，反正越快越好，最好不要升级服务器就能实现，因为太麻烦了）
请有能力有时间的 大神 联系我 qq，感谢
49 六一 47 九五三
第 1 条附言 · 2021-06-15 18:06:40 +08:00
我新发一帖，这帖终结
 |
1
fourstone OP 源文件解压后是 纯文本，4 列，我只需要提取 1 列里面的新增数据
|
 |
2
ChevalierLxc 2021-06-12 11:02:26 +08:00
首先你的这个文件每天都在新增，下载时间越来越长，你时间怎么能不增加呢？
|
 |
3
wdmwdm20088 2021-06-12 11:14:21 +08:00
@ChevalierLxc 只要你完工收钱时在 10 分钟内就好了啊。至于数据越来越多时，楼主会再找外包干活呢
|
|
4
fourstone OP @ChevalierLxc 不是的，每天新增，同时每天删除，最后维持在差不多的大小
|
|
5
fourstone OP @wdmwdm20088 下载大小不变的，源数据有增有减，每天下载时间固定的。
|
 |
6
ymmud 2021-06-12 15:47:11 +08:00
时间跟硬件也有关
|
|
8
fourstone OP 觉得预算不够，可以再谈的，关键希望有技术员愿意花时间帮个忙，以后项目合作还会有的。
|
 |
9
joynvda 2021-06-13 10:09:58 +08:00
我的理解，这个下载的数据源类似一个大 bufffer ？然后另外有进程维护大小。
楼主的需求是在大的 buffer 里面捞出新增的数据，再把相对目标系统新增的数据，调用现有 API 处理。 |
|
10
fourstone OP @joynvda 太专业了。。。其实所有难点就是在提取数据上面，今天和昨天的数据对比，提取新的。
其他步骤我相信对 v2 的大神都是基础的。 |
|
11
fourstone OP 另外没有什么开发语言限制，我能用就行，最好能我现在项目并存，不然我就新租一台服务器专门跑这个。
|
|
14
fourstone OP 觉得预算不够，可以再谈的，关键希望有技术员愿意花时间帮个忙，以后项目合作还会有的。
|
 |
15
RangerWolf 2021-06-15 09:20:27 +08:00
环境可以安装其他的东西吗？比如 Python
|
|
16
fourstone OP @RangerWolf 这我不懂啊，我现在反正是 2008 r2，能吗？不行我可以专门新租服务器的
|
Select Language