V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  hakono  ›  全部回复第 33 页 / 共 38 页
回复总数  751
1 ... 25  26  27  28  29  30  31  32  33  34 ... 38  
2019-04-21 16:47:50 +08:00
回复了 kristpan 创建的主题 程序员 如何从 Nginx 日志中识别爬虫的访问?
一个是请求频率,再一个是请求路径是否正常
请求频率这个没啥好说的
路径这个,比如如果一个 ip 按着 /book/1 /book/2 /book/3 这种普通用户不会采用的访问姿势路访问下去,那 100%是爬虫。或者在页面里放入蜜罐地址,爬虫识别的到但用户看不到,有时候写爬虫的可能不在乎这点就掉坑里了

再一个非常有效的方法就是后台偷偷换个新 api,但保留旧 api。
前端使用新 api,而旧 api 因为没有被关闭,爬虫还能正常读取,如果不是直接从页面里提取 api 的爬虫,代码不会立刻更新,那么更新上线后依旧在用旧 api 的 100%是爬虫。

再一个就是上面说的,检测 js css favo.ico 这些文件。没采用 headless 浏览器的爬虫,用这方式检测一抓一个准
2019-04-21 00:19:12 +08:00
回复了 shanlan 创建的主题 程序员 能说说为什么你要是使用 Linux 系统开发吗?
别折腾了,乖乖 Windows 开发然后部署到 linux 就行了。
2019-04-20 21:07:00 +08:00
回复了 scola 创建的主题 问与答 使用 Tab 键切换网页表单
@scola 针对这种特定的网页,你直接写个 js,一键自动填数字进去就好了。
2019-04-20 20:53:09 +08:00
回复了 kaiccc 创建的主题 Python Django 启动时如何启动一个新线程
如果只是单纯想要启动时创建个进程的话,直接在对应的 app 的 apps.py 里创建不就好了

apps.py 的对应 AppConfig 类里的 ready()方法会自动被调用,在 ready()方法里创建进程就行了

不过有点要注意的是,python manage.py runserver 会启动两个 django 进程,另一个进程是用来监视代码变更动态重启服务的,这个进程也会调用 ready()方法。这里需要自己处理选择检测下,别多次创建进程
2019-04-20 10:55:39 +08:00
回复了 moyupoi 创建的主题 职场话题 能加班的是兄弟,不能的是狗屎
所以到底是哪家公司
2019-04-20 10:52:28 +08:00
回复了 seed12345 创建的主题 宽带症候群 上海电信新的提速活动来了,还是有点坑~
@justs0o
所以电信到底哪里炸了和我这个用户有关吗?电信连国外服务器线路要求特别高,连线路不好的服务器(这里线路好差的定义是走不走 cn2 这些)的服务器卡的要死,不第一个直觉怪到国际出口上?

当然如果的确不是国际出口的问题,那我的确错了我道歉。可是,电信连国外服务器卡特别挑线路是事实
2019-04-19 21:44:13 +08:00
回复了 seed12345 创建的主题 宽带症候群 上海电信新的提速活动来了,还是有点坑~
电信那狗屎一样的国际出口,谁用谁知道。连个国外服务,线路不好就卡成狗
光一个劲说提速了,你敢提国际出口带宽的速度吗
2019-04-19 12:07:51 +08:00
回复了 cxbanana 创建的主题 问与答 是否真的需要办信用卡
@wangxiaoaer 信用卡因为常用我一般都是单独和钱包分离直接放口袋里,一掏就出来。而且超市便利店刷卡(额,单指日本的情况)大部分都是直接磁条或 ic 芯片一刷直接走人,不用签名的。
对了,有个经验我上面忘记提了,买 VPS 用信用卡得考虑下 VPS 服务商跑路风险。如果 PayPal 付款买 VPS,服务商跑路的话,可以开争议退款。信用卡的话退不了。

@ruimz 你都说了是一部分国产手机嘛。对不用国产手机或者系统没这个功能或者不用国产 rom 的人来说是没区别的。
2019-04-19 11:54:10 +08:00
回复了 cxbanana 创建的主题 问与答 是否真的需要办信用卡
@bankroft emmm,一看就是用的少。你一定不知道,有的服务是要审查你的卡的信用的。而借记卡就算有 visa 标,但因为不是信用卡,信用审查是根本过不去的
@hakono 发现错了,那个页游的 wasm 最后解出来代码 200M+ ………… 估计和那代码是从 C#编译过去的有关
其实我觉得今后 WebAssembly 应该是前端最大的发展方向。
如果 WebAssembly 能完善且流行起来,意味着可以彻底抛开 JavaScript,后端将也有轻松攻入前端的能力。

现在 WebAssembly 应用最多的应该就是 Unity 引擎的游戏了。曾经想反向一个 Unity 引擎页游的加密算法,结果打开调试工具我就陷入了 40MB 之巨的 wasm 汇编的汪洋大海……………… 从此发现,越来越多的页游上了 Unity 而且都用到了 WebAssembly ……
2019-04-19 00:49:03 +08:00
回复了 cxbanana 创建的主题 问与答 是否真的需要办信用卡
没有信用卡(这里指 visa 万事达 这类的),想要买个国外服务都得麻烦死
虽说有 paypal,但还是没有信用卡简单方便

作为一个程序员,冲这点就必须得半个信用卡不是吗(再重申是 visa 万事达 这类多币种信用卡)
再其次,我在日本,平时能用信用卡就用信用卡,因为信用卡实在是太方便了。支持信用卡的超市,便利店,买完东西信用卡一刷就走人。不用找零。
啥国内的微信支付宝也方便? 光是我掏出手机打开支付宝点开付款界面,输入支付密码这点时间,就够我信用卡结完账走出门口了…………
去年高点入的手,600+ 8G 看着你们,心里吃了一万个柠檬
2019-04-17 21:50:01 +08:00
回复了 hakono 创建的主题 Python 怪了, Python 算出来的组合的结果为什么是错的
@ayase252
@wheeler
原来如此,感谢解答,原来是精度问题。
2019-04-14 16:50:40 +08:00
回复了 51300520 创建的主题 问与答 爬虫选 xpath 还是 css selector?
正则就算了吧。。。。写出来过段时间都不知道写的表达式是什么玩意。。。加注释也没用

老老实实 css 选择器就行,稳定性这个无解。因为你不知道对方网站前端下次会把网页结构改成什么样子

解决办法其实挺简单的,把 css 选择器的字符串从代码中剥离,塞入单独的文件里,txt 啊,json 啊,数据库啊都行,从这些地方读取提取规则再匹配

实现起来是比直接写死在代码里复杂了那么点,但之后维护起来那就很爽了
啊,好像是不同部门的?
我记得不是上次有明说除非 GitHub 上叱诧风云级别的,非 985 的不用想着报名能过简历关吗?
2019-04-12 12:51:57 +08:00
回复了 Sanko 创建的主题 问与答 编译原理到底该怎么学?
如果我这时候说从计算机原理的自动机开始学会不会被打。。。。
2019-04-12 12:49:26 +08:00
回复了 wuhongwei 创建的主题 问与答 欠钱不还因该咋办?
同学群,朋友圈,对方公司门口贴告示,xxxx 欠钱不还老无赖,让对方名声臭了就好

再损一点挂上 vpn 去男同论坛,网站发信息(这个搞不好会犯罪,所以不建议,做好安全工作

次一点的就是拿广告去轰炸了
1 ... 25  26  27  28  29  30  31  32  33  34 ... 38  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2720 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 33ms · UTC 10:29 · PVG 18:29 · LAX 03:29 · JFK 06:29
Developed with CodeLauncher
♥ Do have faith in what you're doing.