V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
abcbuzhiming
V2EX  ›  云计算

以后的时代,大量数据都会存放在服务商提供的存储上了吗?那我们岂不是面对黑盒子编程?

  •  
  •   abcbuzhiming · 2018-10-21 10:33:40 +08:00 · 4310 次点击
    这是一个创建于 1986 天前的主题,其中的信息可能已经有所发展或是发生改变。
    这两天看到说 Hadoop 要死的新闻 。据说 Hadoop 已经落后,而大量数据存放在诸如亚马逊 S3、微软 Azure Blob Storage 和 Google Cloud Storage 上的话,成本据说比 HDFS 便宜 5 倍。但是作为一个比较传统的程序员,我有如下疑问:

    * 如果所有数据都上了这些云,那我们不是在面对黑盒子编程?毕竟这些云的技术细节不会告诉你
    * 在关系数据库时代,我们对数据还是有设计和掌控能力的,如果所有数据都上云,我们会不会失去这个技能?
    * 以后是不是再也不可能自己在本地搭建在技术上对自己透明的大型数据处理系统了。这个能力又会重新回到巨头手里?

    各位说说自己的看法
    26 条回复    2018-10-22 12:12:51 +08:00
    liprais
        1
    liprais  
       2018-10-21 10:40:20 +08:00   ❤️ 1
    真正有数据的公司不会用云的
    不划算
    PulpFunction
        2
    PulpFunction  
       2018-10-21 10:45:11 +08:00
    小公司有这样的需求,可能才产生了云服务
    likuku
        3
    likuku  
       2018-10-21 11:02:52 +08:00
    小型初创公司会主要用云,规模达到一定程度,自建云(高度定制,只做自己用到的)会更实惠。
    pythongo
        4
    pythongo  
       2018-10-21 11:13:04 +08:00
    不可能。
    一部分业务是可以放公有云,一部分是必须放私有云。
    未来必然是公有+ 私有, 私有的话怎么可能面对黑盒子,需要自己去维护的
    luojies
        5
    luojies  
       2018-10-21 11:16:41 +08:00
    看好 BigQuery
    otakustay
        6
    otakustay  
       2018-10-21 12:03:45 +08:00   ❤️ 1
    * 你现在也不知道操作系统的细节,不也对着这个黑盒子开开心心编程么
    * 在关系数据库时代的今天,我们早就不玩关系了,数据有条目( Record )就足够用业务逻辑表达一切了
    * 不如先说为什么需要自己搭建
    cigarzh
        7
    cigarzh  
       2018-10-21 12:58:12 +08:00 via iPhone
    混合云
    mytsing520
        8
    mytsing520  
       2018-10-21 13:58:34 +08:00
    敏感数据不上云
    l4ever
        9
    l4ever  
       2018-10-21 14:08:24 +08:00 via iPhone
    云服务器太贵了,我来公司的时候 一台 ecs 每月光带宽费用 1000 多,还有云盘。这还不算服务器费用。加一起一月开支 2500/ecs

    入职之后找了个电信机房租用,同样配置,100m 独,1800,硬盘要求换了全新做 raid0
    opengps
        10
    opengps  
       2018-10-21 14:20:49 +08:00 via Android
    这么说的,成长不到能自建 idc 规模的公司还是用云划算,一单规模达到,看看滴滴美团京东等不都是自建云,而且是公有云
    ladypxy
        11
    ladypxy  
       2018-10-21 14:41:08 +08:00 via iPhone
    除非超小型公司,不然大部分情况是自己建更便宜。
    ccnccy
        12
    ccnccy  
       2018-10-22 00:45:15 +08:00 via iPhone
    云哪里便宜了,贵的很
    t6attack
        13
    t6attack  
       2018-10-22 01:55:37 +08:00
    掌控的是数据本身,数据放在自己手里更安心,这跟技术没啥关系。
    之前你面对的也是黑盒子。你自建服务的技术,有几行代码是自己写的?大多数人,一行也没有。都不是自己编译的。都是拿过来直接用。这不是黑盒难道是白盒?
    少数大牛能看懂及改进源码,对他们来说才是白盒。如果挖到个 0day,好了,你的数据对人家来说全透明了。敢问你对此的,所谓的掌控能力在哪?
    natsukage
        14
    natsukage  
       2018-10-22 08:34:32 +08:00 via iPhone
    .net Frameworks 也是这么想的
    l00t
        15
    l00t  
       2018-10-22 08:51:29 +08:00
    你数据放哪里和是不是黑盒有什么关系?
    veightz
        16
    veightz  
       2018-10-22 09:07:58 +08:00
    从自搭数据库到购买云数据库,为啥就变成黑盒了?
    veightz
        17
    veightz  
       2018-10-22 09:09:59 +08:00
    @liprais 甚至还会自建机房。 除了性价比,还能快速支持自己的业务需求,给别人的厂商提需求,就不知道何年何月了。
    abcbuzhiming
        18
    abcbuzhiming  
    OP
       2018-10-22 09:38:14 +08:00
    各位,我的问题关键在于第三点上,如果 hadoop 真的死了,是否意味着中小型公司和我们这种一般水平的程序员。会失去接触大数据技术的能力,会失去自建云的技术可能性?
    bk201
        19
    bk201  
       2018-10-22 09:47:32 +08:00
    hadoop 爲什麽會死,這些大公司的產品還不是基於 hadoop?
    micean
        20
    micean  
       2018-10-22 10:03:32 +08:00
    又不是不让用?天天这么焦虑
    agdhole
        21
    agdhole  
       2018-10-22 10:05:54 +08:00 via Android
    @l4ever 电信机房在哪里找?能分享下路子吗
    cyspy
        22
    cyspy  
       2018-10-22 10:32:48 +08:00
    Hadoop 死不了,虽然 MapReduce 快被替代了,YARN 能替代的就不多,HDFS 一个能完全替代的都没有。其他所有的框架基本都建立在 Hadoop 上
    youxiachai
        23
    youxiachai  
       2018-10-22 10:43:52 +08:00
    云最大的作用是临时扩容.........

    没有临时扩容需求的..上云并不经济..
    artandlol
        24
    artandlol  
       2018-10-22 11:17:16 +08:00
    @cyspy Ceph 能不能替代 hdfs 不清楚,但是比 hdfs 主流,分布式 hadoop 可以走的路不长,谷歌发力 cncf cncf.io ,也快吞并分布式的领域了。
    artandlol
        25
    artandlol  
       2018-10-22 11:28:29 +08:00

    l4ever
        26
    l4ever  
       2018-10-22 12:12:51 +08:00 via iPhone
    @agdhole 因为接触互联网早,认识不少业内人士。现在租的 2k 佛山电信,酷狗,多玩也在这机房。为避免广告嫌疑,需要联系方式需要的话私信我一下。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   4399 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 05:32 · PVG 13:32 · LAX 22:32 · JFK 01:32
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.