V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  oldshensheep  ›  全部回复第 3 页 / 共 25 页
回复总数  489
1  2  3  4  5  6  7  8  9  10 ... 25  
@Aitisikuoliv1d
@vigoss
@zzzzzzzzsafdasd
@cdwyd
水深火热已经更新 https://www.v2ex.com/t/955731 在水深火热节点……
或者看这个 https://oldshensheep.github.io/v2ex_scrapy 这个是统计的水深火热,网页版的
289 天前
回复了 richangfan 创建的主题 云计算 怎么会有 CloudFlare 这么良心的厂商
Cloudflare 的 Free Plan 已经有了 10 几年了,应该不存在说收割的问题
来源:Cloudflare 官方 Discord 的一次直播中别人问的问题
@wxf666 应该只能爬全部主题,虽然评论有唯一 ID ,但是好像没有接口
@Livid 站长回复了!受宠若惊
@xFrank 收藏数的话要登录才能爬,我这个没有登录。以后有时间全量再爬一次吧。
@czfy 肯定不是防止爬虫😁🐶
@LokiSharp 这个 API 有速率限制,一小时 600 ,按那样要爬几千小时。
而且也不能获取别的用户信息,
@bshu @christin 你俩好,请不要继续争论这个了。不准确的统计数据是有可能带来危害,但是这种统计是不会有的。
这种东西离网暴也差很远,请不要继续这个话题。
@sillydaddy 大概快接近 100 小时吧,可能 80-90 。
是个不错的想法。感觉也可以做个聚类啥的,相同的用户一般经常评论同一个帖子。


感觉水深火热没有爬挺可惜的……登陆爬不知道会不会封我号……
@guog 我又用爬虫爬 https://www.v2ex.com/member/x86/replies 这个页面的评论,发现总共只有 10227 条评论,说明 v 站的那个评论数是包含了隐藏的评论的。可能是帖子、评论删除了,帖子在水深火热等等。
@bshu 这个是统计数据,没有总结任何结果,不需要任何解释。准确性的问题,在开头的 爬取相关数据说明 我已经提到了。
修正一下每月新评论数折线图,应该是下面这个
https://github.com/oldshensheep/v2ex_scrapy/blob/main/image/t/1688470738877.png?raw=true
其实差别不大,看花了
需要注意一下,因为爬虫是用公开的信息爬取的,如果一个用户没有评论也没有发帖,那么他就不会被爬到。所以这里统计的总用户数只有 20 万
可以的,在客户端建立连接后,客户端发个 ID ,然后服务端读取 ID 查数据库得到 remote IP ,再建立连接也行。
大概这样吧
public void start() {
NetServer server = vertx.createNetServer();

server.connectHandler(clientSocket -> {
String[] remote = { "" };

clientSocket.handler(b -> {
var id = b.getBytes(0, 1);
// 查数据库的到 remote IP
remote[0] = "1.1.1.1";
});

vertx.createNetClient().connect(REMOTE_PORT, remote[0], targetSocket -> {
if (!targetSocket.succeeded()) {
// ?
}
var remoteSocket = targetSocket.result();
remoteSocket.pipeTo(clientSocket);
clientSocket.pipeTo(remoteSocket);
});
});
server.listen(LOCAL_PORT);
}
修正一下应该是这样的:
remoteSocket.pipeTo(clientSocket);
clientSocket.pipeTo(remoteSocket);
其他的错误处理,连接关闭代码我没写
vertx 非常简单,几行代码吧,
public class TcpProxyServer extends AbstractVerticle {

private static final int LOCAL_PORT = 8888;
private static final String REMOTE_HOST = "1.1.1.1";
private static final int REMOTE_PORT = 80;

@Override
public void start() {
NetServer server = vertx.createNetServer();

server.connectHandler(clientSocket -> {

vertx.createNetClient().connect(REMOTE_PORT, REMOTE_HOST, targetSocket -> {
if (!targetSocket.succeeded()) {
// ?
}
var remoteSocket = targetSocket.result();
remoteSocket.pipeTo(clientSocket);
clientSocket.pipeTo(clientSocket);
});
});
server.listen(LOCAL_PORT);
}
}
用 caddy ,全自动,3 行配置搞定
abc.abc.com {
reverse_proxy 127.0.0.1:8080
}
账号密码给我,我帮你免费下载🐶
299 天前
回复了 username321 创建的主题 分享发现 最可悲的现状
你没用过 Android 的 NearBy Share 吗,可以分享文件,剪切板等。现在 Windows 上也有 Google 开发的 NearBy Share 可以和 Android 互传文件和剪切板,而且速度非常快。
NearBy Share 在国内的系统上可能没有。

kde connect 也可以传文件,看通知,同步剪切板,不过只能在手机和电脑上同步。
有,一般网络卡时出现,不过最近没遇到过。我是网页版的
1  2  3  4  5  6  7  8  9  10 ... 25  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5362 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 27ms · UTC 06:59 · PVG 14:59 · LAX 23:59 · JFK 02:59
Developed with CodeLauncher
♥ Do have faith in what you're doing.