V2EX › xjay 的所有回复 › 第 7 页 / 共 7 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7

❮

❯

2012-12-16 14:11:25 +08:00

回复了 kenneth 创建的主题 › Python › 想爬取hao123上的所有网站，有没有好的方法？

scrapy 你值得拥有，呵呵。
用CrawlSpider，写好rules规则，然后在parse_item里面就可以处理你要的数据了，再实现一个pipeline数据管道，把你要的数据保存起来，就ok了。

2012-12-15 02:21:33 +08:00

回复了 talentsnail 创建的主题 › MySQL › tags的数据库设计问题

@gfreezy 流量高对系统架构要求更高，什么缓存，什么cdn，都不可信，一旦缓存命中不到，或者cdn抽风，你的系统是不是随时准备挂掉了？表结构清晰是好，但是如果数据量过大，单表查询问题不大，链表的话，很耗时的。如果topic的tag量不大可以直接保存到topic表，那就是相当于数据库端的缓存，一旦你前端缓存命中不到的时候，后端缓存还可以用的上。而many2many的结构也需要，主要是用来做备份，一旦tag缓存字段出问题了，那么这个many2many还可以用得上，可以用来恢复数据等。

2012-12-12 14:52:05 +08:00

回复了 talentsnail 创建的主题 › MySQL › tags的数据库设计问题

1.尽量避免join
2.可以把tagids以及tagnames一起存放进topic表内
3.你的设计表结构还是可以不变

2012-12-11 11:51:19 +08:00

回复了 underone 创建的主题 › 酷工作 › 求兼职Python 程序一枚，我可没说什么改变世界的事儿啊...

逛了一下ermiao.com，发觉都是一张萌猫图，然后下面好多猫头像回复好萌好有爱好好玩。

2012-12-11 10:55:32 +08:00

回复了 tioover 创建的主题 › 设计 › 你确定要取消吗确定/取消

你他妈的确定要取消吗？他妈的确定/取消他妈的

2012-12-06 09:32:20 +08:00

回复了 gracechen 创建的主题 › 分享创造 › 我们团队的创业产品#声声#正式上线App Store，求改进意见

跟我们在做的一个产品类似了。汗。

1 2 3 4 5 6 7

❮

❯