V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
Austin2035
V2EX  ›  分享创造

[开源]各大平台热榜聚合-实时更新-By LookCos

  •  
  •   Austin2035 ·
    ausitn2035 · 2019-07-20 18:22:56 +08:00 · 4048 次点击
    这是一个创建于 1713 天前的主题,其中的信息可能已经有所发展或是发生改变。

    各大平台热榜聚合-实时更新

    kap.png

    00.简介

    最近几天逛了一下 V 站,发现不少人分享自己做的榜单聚合,评论不少要求开源学习的,但是却少有人开源! 分享是互联网的精神之一。自己闲的没事,今天也写了一下!自己也是菜鸡,而写的又略仓促,欢迎大家指出错误。现在发出来给大家耍一耍。

    演示地址: http://bangdan.lookcos.cn

    源码地址: https://github.com/LookCos/hotspot-online

    我暑假空闲比较多,可以加群 8805926,咱们一起交流编程技术,这里的代码看不懂的地方,直接群里 @我一下,我就出来解答了。下面说一下运行流程。

    共三个文件:data_spider.py 、hotapi.php 、index.html

    01.采集数据 Python 每十分钟更新一次数据(可自由设置时间,例如每秒一次)

    1. requests 模块发送请求获得网页数据,

    2. lxml 模块解析 html 并清洗出自己想要的数据

    3. 本地化处理(写入到本地 json 文件[不是标准 json 格式])

    02.处理并返回数据

    接口文件 hotapi.php 会将本地 json 文件读取并按照需求返回为 json 格式接口 返回格式如下: jspn.png

    03.前端展示

    前端采用 Bootstrap4 来展示,用 jsonp 从远程接口获取数据,来渲染页面。 所以,你可以直接将 html 拿去做前端,直接填写我的接口地址就行。

    jieping.png

    9 条回复    2019-08-08 09:27:40 +08:00
    Austin2035
        1
    Austin2035  
    OP
       2019-07-20 18:27:23 +08:00
    说是各大平台,其实我就写了五六个,这个比较容易扩展。
    kukumao
        2
    kukumao  
       2019-07-21 20:11:46 +08:00
    支持一下开源!
    赞!
    yjxjn
        3
    yjxjn  
       2019-07-22 10:40:23 +08:00   ❤️ 2
    支持,但是我推荐一个 app,web,iOS,Android 都有
    今日热榜 https://tophub.today/
    lauix
        4
    lauix  
       2019-07-22 11:52:33 +08:00
    Austin2035
        5
    Austin2035  
    OP
       2019-07-22 12:25:38 +08:00
    @yjxjn 关键是你不开源啊 [笑哭]
    yjxjn
        6
    yjxjn  
       2019-07-22 15:06:16 +08:00
    @lookcos 不是,不是,我也是用户,我不是开发者。
    HuberyPang
        7
    HuberyPang  
       2019-07-24 10:28:59 +08:00
    我分享的,只做了爬取程序的分享,没做页面渲染的。https://github.com/pangxiaobin/CrawlerHot
    cnyang
        8
    cnyang  
       2019-08-07 04:25:29 +08:00   ❤️ 1
    @lookcos
    cookie 没改,可以登录你的知乎,知乎热榜可以用这个 https://www.zhihu.com/api/v3/feed/topstory/hot-lists/total?limit=50&desktop=true
    采集程序里加个换行去除 soup_a.text.replace("\n", ""),v2 的标题太长前端会错乱
    Austin2035
        9
    Austin2035  
    OP
       2019-08-08 09:27:40 +08:00
    @cnyang 非常感谢
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1128 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 18:47 · PVG 02:47 · LAX 11:47 · JFK 14:47
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.