首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
V2EX  ›  分享创造

金头条 - 股票即时新闻爬虫

  •  1
     
  •   vitovan · 2016-08-08 09:33:39 +08:00 · 3917 次点击
    这是一个创建于 1163 天前的主题,其中的信息可能已经有所发展或是发生改变。

    跳过正文:

    http://new.jtoutiao.com

    公众号:

    预览:

    能干啥:

    • 添加自选股,获得即时新闻。

    • 其他附加功能(全网热点、限售解禁预警、机构内参、异动个股等等)

    技术栈:

    • 爬虫: Python 3 - Celery - re2 - BS4 - Supervisord - Elixir

    • 后端: Python 3 - Tornado - PostgreSQL

    • 前端: Angular 2 - SystemJS

    项目状态:

    beta ,服务器随时挂掉 :-D

    缺钱、缺人,聊一聊?邮件(base64): YXdlc29tZXZpdG9AbGl2ZS5jb20=

    技术坑:

    • Angular 2 毛病多多呀,用作 Production 很是费劲:

    • PostgreSQL

      • 想不起来有什么可吐槽的,就是 XX 云的 RDS 太贵了,性能也不敢恭维。
    • Celery

      • Pros: 爽!分布式任务调度,加上 Flower 这个控制台,很方便呀~
      • Cons: 我是不知道为什么, worker 莫名的就那么消失了,要不然也不会非要再用什么 Supervisord 。
    • Tornado

      • Pros: @gen.coroutine 好用!
      • Cons: 没什么不好的,刚接触 ioloop 概念的时候很不适应,这个是 Tornado 自创的么(挖鼻孔)?
    • Elixir

      • Pros: erlang 美化版,好用呀~ 文档什么的也赞爆了:Kernel – Elixir v1.3.2
      • Cons: 不知道为什么写着写着就恶心了,感觉语言中人为干预的太多了,预设模式太多了。可能设计出来的语言就有这毛病吧。尤其是用Postgrex这个库的时候越用越难受,也说不上为啥。
      • 总结:瞎折腾这些新鲜玩意儿,有这功夫咋不用 Java 呢?咋不去上天呢?

    讨论:

    大家有啥想聊的一起聊一聊,瞎吵吵架呗~

    41 回复  |  直到 2016-08-24 10:51:07 +08:00
        1
    vimffs   2016-08-08 09:56:40 +08:00 via Android   ♥ 1
    感谢分享! 1024
        2
    GreatMartial   2016-08-08 09:58:49 +08:00 via Android
    一个人做的吗?
        3
    GhostEX   2016-08-08 09:59:15 +08:00
    新闻抓取的范围是哪些网站?
        4
    shaohuifan   2016-08-08 10:00:56 +08:00 via iPhone
    楼主,想找人一起玩?
        5
    vitovan   2016-08-08 10:02:18 +08:00
    r#2 @GreatMartial 一个技术(Me)+ 一个产品兼前端(Partener)
        6
    vitovan   2016-08-08 10:03:15 +08:00
    r#3 @GhostEX 这......几乎全网的中文金融网站吧,大大小小一百多个。
        7
    vitovan   2016-08-08 10:05:57 +08:00
    r#4 @shaohuifan 不知道呀,缺钱缺人的迷茫期么,发上来随便聊聊。
        8
    tkpc   2016-08-08 10:09:01 +08:00
    @vitovan 和选股宝 华尔街见闻的 差异点在哪呢
    从网站没看出来
        9
    vitovan   2016-08-08 10:16:20 +08:00
    r#8 @tkpc 哈哈哈哈!哈哈哈哈!

    我竟无言以对(转身捂脸状)。
        10
    shaohuifan   2016-08-08 10:31:58 +08:00 via iPhone
    @vitovan 现在股市不好,把期货带上吧
        11
    vitovan   2016-08-08 10:37:10 +08:00
    r#10 @shaohuifan 期货是不是新闻不多?
        12
    duolai798   2016-08-08 10:45:31 +08:00
    这东西是创业路子吗?感觉离实用还很远,怎么熬到赚钱的时间点是个问题。如果只是玩玩基本上只能自己玩玩了。
        13
    GhostEX   2016-08-08 10:47:52 +08:00 via iPhone
    @duolai798 大多数类似创业项目都是不盈利的....
        14
    GreatMartial   2016-08-08 10:54:31 +08:00
    @vitovan 不容易,支持楼主。 不知道你们的产品和其他家比优势在哪呢?
        15
    vitovan   2016-08-08 11:15:53 +08:00
    r#14 @GreatMartial 哈哈哈哈~我也说不上来呀,或许是不上心吧,也不是在用生命去做这件事,成不成随便了~
        16
    xujif   2016-08-08 11:25:05 +08:00
    我们也在做这个
        17
    vitovan   2016-08-08 11:26:37 +08:00
    r#16 @xujif 自己烧钱呢?
        18
    duolai798   2016-08-08 11:38:22 +08:00
    @vitovan 创业项目不盈利不代表没有规划如何盈利以及在哪个时间点盈利 你这个只能算是玩票性质 如果没有经验 这东西基本做不下去 这类 2C 的产品前期就是要做用户量 估计你等不到那一天就没兴趣和信心了
        19
    GreatMartial   2016-08-08 11:41:05 +08:00
    @vitovan 额,股市数据的集合类应用应该很多了。
    如果你们能加上数据分析,通过数据给小白荐股,还是有市场的。
    不过估计技术方面相当难了, 2333

    可以换个思路,有没有兴趣做个足彩的数据聚合,通过历史数据分析,然后给用户推荐购买,这个比起你们现在的项目,可行性更高,而且有市场空白,个人觉得。
        20
    vitovan   2016-08-08 11:42:27 +08:00
    r#18 @duolai798 我觉得,你讲得很对。
        21
    vitovan   2016-08-08 11:44:04 +08:00
    r#19 @GreatMartial 足彩不跟国内股票一样是瞎胡闹么?不知道有没有实用价值呀(对彩民)?
        22
    tkpc   2016-08-08 11:47:32 +08:00
    @vitovan 足彩就是骗局 在冠军杯期间就看出来了 赔率高的大热门的队都输掉了 伤心的不要不要的 而且还是国内足彩 你懂的...
        23
    tkpc   2016-08-08 11:48:12 +08:00
    @GreatMartial 足彩类的才多 你以为 500.com 怎么来的
        24
    GreatMartial   2016-08-08 13:06:10 +08:00
    @vitovan 我有朋友玩足彩,而且足彩有很多人是玩外盘,赔率比国内良心很多。
    有人分析,足彩的庄家设计赔率,通过动态调整,引导用户,保证有一个大概率的收益平衡,而且收益率远没有摇号的彩票那么高。
    一个单场一定有赢的玩家,规模化的输多赢少,庄家就有了稳定的收益了。
    如果能做到跟着庄家走,赚钱的概率应该就很稳定了。
    以上是我的个人理解,求各位轻拍。
        25
    GreatMartial   2016-08-08 13:08:03 +08:00
    @tkpc 我知道 500 ,没有用过,不知道有没有推荐的业务...
        26
    mahone3297   2016-08-08 13:40:56 +08:00
    @vitovan >这......几乎全网的中文金融网站吧,大大小小一百多个。
    请教,这么多网站,一个个抓?累不累?
        27
    tony1016   2016-08-08 16:00:56 +08:00
    不好意思,我一点,不小心点挂了
        28
    yakiang   2016-08-08 17:01:09 +08:00
    话说为什么国内不同股票网站会有不同的交易数据呢,比如新浪、同花顺、东方财富等网站对于同一支股票的大单交易的明细和数量是不同的,都不知道哪个靠谱了
        29
    noder   2016-08-08 17:31:14 +08:00
    为什么不试试 riotjs
        30
    vitovan   2016-08-08 17:36:42 +08:00
    r#27 @tony1016 哈哈,不碍事~
        31
    vitovan   2016-08-08 17:37:33 +08:00
    r#28 @yakiang 时间差问题吧~很难说谁的更及时。
        32
    vitovan   2016-08-08 17:37:57 +08:00
    r#29 @noder 没用过,去看看。
        33
    vitovan   2016-08-08 17:40:15 +08:00
    r#26 @mahone3297 还好吧,写好每个网站的适配模型,平时维护一下就好了,网站不改版或者改变防抓策略的话,维护工作不算大。
        34
    ob   2016-08-08 23:46:02 +08:00 via Android
    不错啊,只支持 a 股?
        35
    vitovan   2016-08-09 05:05:56 +08:00
    r#34 @ob 嗯~
        36
    xujif   2016-08-09 07:38:59 +08:00 via iPhone
    @vitovan 老板掏钱,不要荐股,有法律风险
        37
    vitovan   2016-08-09 07:44:50 +08:00
    r#36 @xujif 多谢。
        38
    yfmir   2016-08-09 09:24:43 +08:00
    @GreatMartial 其实有这东西了,硬广一下,球球是道
        39
    GreatMartial   2016-08-09 23:26:05 +08:00 via Android
    @yfmir 额,我去关注一下,谢谢
        40
    aaronrzh   2016-08-10 23:45:44 +08:00
    关注一下
        41
    kunee   2016-08-24 10:51:07 +08:00
    没看懂价值在哪里?
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2609 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 61ms · UTC 14:28 · PVG 22:28 · LAX 07:28 · JFK 10:28
    ♥ Do have faith in what you're doing.