V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  vibbow  ›  全部回复第 188 页 / 共 190 页
回复总数  3784
1 ... 180  181  182  183  184  185  186  187  188  189 ... 190  
2011-12-24 21:09:21 +08:00
回复了 vibbow 创建的主题 分享发现 密码泄漏搜索工具
蛋疼了。加上17173的数据,总共有8千多万条数据,我觉得没个两三天是建立不完索引的了...
算了,还是继续文本搜索吧...
2011-12-24 17:20:42 +08:00
回复了 vibbow 创建的主题 分享发现 密码泄漏搜索工具
@liruqi 就我这服务器速度,再加上还限制了并发数量,想批量恶意查询还不如自己把数据库下下来快...
一般查询,随他们去了。
2011-12-24 16:31:02 +08:00
回复了 vibbow 创建的主题 分享发现 密码泄漏搜索工具
好吧,貌似这样来速度也可以:
SELECT * FROM password WHERE keyword LIKE '%keyword1%' OR keyword LIKE '%keyword2%';
2011-12-24 16:19:16 +08:00
回复了 vibbow 创建的主题 分享发现 密码泄漏搜索工具
可是建完全文索引后貌似不能同时查多个关键字了...
不可以用 SELECT * FROM password WHERE keyword LIKE IN ('%keyword1%', '%keyword2%);
或者有其他sql语句可以用?
2011-12-24 16:12:03 +08:00
回复了 vibbow 创建的主题 分享发现 密码泄漏搜索工具
@liruqi MySQL建完全文索引是快了很多啊,我自己查询文本过一次需要23秒,mysql 11秒就搞定了。
2011-12-24 16:06:01 +08:00
回复了 vibbow 创建的主题 分享发现 密码泄漏搜索工具
@laiwei sqlite索引不行啊,如果关键字是从中间开始查那么一点效果都没有啊。目前在缓慢的用mysql给csdn库加全文索引中...
2011-12-24 15:26:33 +08:00
回复了 vibbow 创建的主题 分享发现 密码泄漏搜索工具
@liruqi 好吧,我先试试效率。不过先得把原来导入的csdn库从text类型转换成varchar类型...
2011-12-24 05:31:57 +08:00
回复了 vibbow 创建的主题 分享发现 密码泄漏搜索工具
继续优化了代码,全文搜索时间从4分多钟降到了2分钟,同时添加上了mop的库(虽然感觉这个库很奇怪,很假...)
2011-12-23 21:52:43 +08:00
回复了 vibbow 创建的主题 分享发现 密码泄漏搜索工具
因为国内的服务器在搜索完成后回调国外的服务器失败(这个时段,你懂的…),所以之前给一些用户发送了可能错误的“搜索结果为空”email。因为我也不确定具体什么时间开始失败的,所以我按照缓存的记录,给之前所有搜索结果为空的用户重新搜索并且发送了邮件。
在此对再次收到我“垃圾邮件”的用户表示抱歉。
2011-12-23 19:50:08 +08:00
回复了 vibbow 创建的主题 分享发现 密码泄漏搜索工具
@delectate 现在的硬盘连续读取应该都在80M/s以上了吧... 大约30秒就能把2G文件遍历一遍...
2011-12-23 19:30:38 +08:00
回复了 vibbow 创建的主题 分享发现 密码泄漏搜索工具
怎么优化都是4分钟,应该是到strstr函数的极限了...
2011-12-23 19:07:13 +08:00
回复了 vibbow 创建的主题 分享发现 密码泄漏搜索工具
擦...服务器开始自动备份了...速度瞬间降低...
2011-12-23 18:53:00 +08:00
回复了 vibbow 创建的主题 分享发现 密码泄漏搜索工具
@delectate 目前还在优化算法... 已经降低了1分钟用时了。全当学习了~
2011-12-23 17:48:47 +08:00
回复了 vibbow 创建的主题 分享发现 密码泄漏搜索工具
2011-12-23 17:42:17 +08:00
回复了 vibbow 创建的主题 分享发现 密码泄漏搜索工具
哈,用Process Explorer看了下服务器的运行状况,硬盘今天爽high了~
2011-12-23 17:35:45 +08:00
回复了 roquin 创建的主题 信息安全 Yet Another 查询服务
果然不是全文搜索...
按密码没搜到我帐号...
2011-12-23 10:46:57 +08:00
回复了 vibbow 创建的主题 V2EX v2ex被spam了,截图留念~
@carry 另一个听歌的服务......
2011-12-23 10:37:39 +08:00
回复了 vibbow 创建的主题 分享发现 密码泄漏搜索工具
@carry 完全不精通搜索,服务端都是用PHP写的,先全部转小写然后用strstr比较... 要不然效率也不至于这么低了...
2011-12-23 06:00:23 +08:00
回复了 vibbow 创建的主题 分享发现 密码泄漏搜索工具
因为修改代码时失误,导致给8位用户(应该都是v2ex的吧)发送了一封垃圾邮件,在此表示抱歉。
2011-12-23 05:33:29 +08:00
回复了 vibbow 创建的主题 分享发现 密码泄漏搜索工具
我了个去,发现一个严峻的问题:现在性能瓶颈居然不是硬盘,而是CPU...
1 ... 180  181  182  183  184  185  186  187  188  189 ... 190  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5666 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 49ms · UTC 07:55 · PVG 15:55 · LAX 00:55 · JFK 03:55
Developed with CodeLauncher
♥ Do have faith in what you're doing.