首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
这是一个专门讨论 idea 的地方。

每个人的时间,资源是有限的,有的时候你或许能够想到很多 idea,但是由于现实的限制,却并不是所有的 idea 都能够成为现实。

那这个时候,不妨可以把那些 idea 分享出来,启发别人。
V2EX  ›  奇思妙想

黑洞照片数据交给码农处理?

  •  
  •   wzf611 · 45 天前 · 5091 次点击
    这是一个创建于 45 天前的主题,其中的信息可能已经有所发展或是发生改变。

    天文学家近日公布了第一张黑洞的照片,验证了广义相对论。

    这张黑洞照片使用了 5PB 的数据。 https://globalnews.qq.com/article/20190411A02SMU00

    一名参与该项目的 MIT 学生表示,“获得第一张照片将归功于为一个国际科学家小组,一个地球大小的望远镜和一个将照片最后完成的算法。” https://www.ted.com/talks/katie_bouman_what_does_a_black_hole_look_like/transcript?language=en#t-52468

    跟码农工作最接近的就是“一个将照片最后完成的算法”。

    具体到这个算法,根据介绍,关键是将分布在全球的 8 台望远镜数据整合到一起。 http://news.mit.edu/2016/method-image-black-holes-0606 Computational Imaging for VLBI Image Reconstruction https://dspace.mit.edu/handle/1721.1/103077

    类比一下,这个工作有点像现在的双 /三摄手机,将不同摄像头采集的影像合成为一张照片。但数据量、计算量远远大于双 /三摄照片合成(类似于从 8 个角度拍摄的照片,每张照片 7000TB,最后合成为一张)。

    我在想,如果把数据处理工作交给 IT 界,如何能够更加高效得完成这项工作?哪些工业界的技术(包括不限于计算、存储、通讯)能够应用到这项工作中?

    第 1 条附言  ·  45 天前
    谢谢各位回复~

    可能之前没说具体,举几个例子抛砖引玉:

    1. 这次存储用的是 HGST 的氦气 HDD,如果换成 SSD 呢?
    使用氦气硬盘: https://searchstorage.techtarget.com/news/4500254046/HGST-helium-drives-store-black-hole-research-data
    实际上,NASA 和 ESA 已经在尝试、研究在星载设备上使用 SSD:
    NASA 的火星探测器(虽然出了点问题)-“ This comes four years after NASA was able to salvage the rover from a near-death experience related to its flash memory solid-state drive.”
    https://www.neweggbusiness.com/smartbuyer/awesome/good-run-nasas-mars-rover-tells-us-ssd-life/

    ESA-“ the use of NAND flash in space applications is not as established as in the consumer market and is still under research ”
    https://www.esa.int/Our_Activities/Space_Engineering_Technology/Onboard_Computer_and_Data_Handling/Onboard_Storage

    星载设备对存储密度、环境适应的要求可能比地表设备高很多,maybe 或许航天使用 SSD 的经验可以借鉴到望远镜上。

    ![avatar]( https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1555645448&di=726192fcfaca9f066ae9d58baa87b70e&imgtype=jpg&er=1&src=http%3A%2F%2Fwx3.sinaimg.cn%2Flarge%2Fad83bc34ly1g1yt0v12ejj20c806vq83.jpg)

    2.接着上面的存储说,ConduIT Corp.基于 HGST 的 HDD 为此次黑洞成像工作打造了磁盘阵列架( chassis ),“ Each chassis contains eight HelioSeal HDDs configured in a RAID array for 96 TB of raw storage ”

    那么,9012 年的华为或许能接这个活?
    “在 IDC 最新公布的 2018 年 Q3 全球企业存储市场报告中,华为存储持续增长,市场收入位列全球第四”-https://zhuanlan.zhihu.com/p/52756869

    3.计算方面 类比黑洞成像和双摄成像可能的确不太妥当,举这个例子是因为双摄跟我们日常生活更接近。
    实际上,跟黑洞成像更接近的是合成孔径雷达(遥感测绘、军事用的比较多)、磁共振(医院里检查腰椎间盘突出的那个)和 CT
    “ VLBI image reconstruction has similarities with other spectral image reconstruction problems, such as Syn- thetic Aperture Radar (SAR), Magnetic Resonance Imaging (MRI), and Computed Tomography (CT)”-那个 MIT 小姐姐的论文 https://dspace.mit.edu/openaccess-disseminate/1721.1/103077

    所以算法大佬们或许在傅里叶变换、降噪等等技术上能够再针对性提高一下计算效率。比如,我注意到这次黑洞成像有 2 家工业界的合作伙伴( Industry Donors ),一家就是上面提到的 HGST,另一家是 Xilinx。官网-https://eventhorizontelescope.org/industry-donors
    所以猜测这次跑算法用了 FPGA ?

    4.通讯方面 处理数据花了 2 年时间,除了计算的时间,等待南极的那一台望远镜数据就等了半年,因为采集数据之后的半年南极的天气恶劣,以至于飞机无法起降。如果有适合的通讯技术能把偏远地区的大数据( 7000TB 量级)及时传送,也能有效提高黑洞成像的效率。
    第 2 条附言  ·  45 天前
    PS:黑洞成像的科学一面可能码农的确不懂,技术方面或许真能有所贡献。到时候中国有类似的项目,码农们或许能带着自己写的快速傅里叶变换在 FPGA 上实现的代码去贡献一点微薄之力。

    PS2:我觉得码农们不用妄自菲薄,诺贝尔奖得主 P. B. Medawar 老爷子回顾自己的科研经历时说“ Technicians often are, and always ought to be, better than "academic ” or teaching staff at certain theoretical or practical operations."《 Aspects of Scientific Life and Manners 》 p35
    42 回复  |  直到 2019-04-13 20:51:56 +08:00
        1
    CEBBCAT   45 天前 via Android
    歪个楼:先上个 Redis 把数据缓存了
        2
    lance6716   45 天前 via Android   ♥ 1
    现在工业界的地位这么高了吗,都能超过 MIT 了
        3
    murmur   45 天前   ♥ 1
    码农跨界天文学?
    这照片的难度不是在数据量大
    而是在 5pb 的数据找出能用来合成照片的部分
    你合成出的照片又要好看还得科学
        4
    whileFalse   45 天前
    5PB 的量对于码农来说问题不大。

    如 ls 所说,5PB 里面大部分是不需要的数据;首先要在每个文件中提取需要的部分,这一步可以滤掉大部分数据。第二步再把数据合并。

    使用 AWS 或其他云处理 PB 级数据是有很多先例的。
        5
    learnshare   45 天前   ♥ 1
    SETI@HOME https://setiathome.berkeley.edu/
    Galaxy Zoo http://zoo1.galaxyzoo.org/
    都是面向公众开放的项目,而且持续多年了

    天文学是一门以观测为主的科学,数据处理是比较日常的工作。论编程能力,应该比 IT 界高出不少了
        6
    celeron533   45 天前   ♥ 17
    楼主搞混了科学家、程序员和码农之间的区别
    科学家 1 使用计算机:编写特定(甚至是目前市面上不存在)的算法,完成某种科学计算任务
    科学家 2 使用计算机:写操作系统、数据库软件、并发处理调度机制软件等
    程序员:依据业务和实际需求,编写业务或者业务相关的框架、工具、实用部分程序。比如写了在线商城、相关的中间件、数据库访问层等
    码农:ctrl-c ctrl-v
        7
    Sylv   45 天前 via iPhone   ♥ 3
    2017 年的 Ted 演讲《 How to take a picture of a black hole 》
        8
    ipwx   45 天前   ♥ 1
    超算是性价比很低的大型科学计算设备,但也是最高效的。你工业界的并行计算只是权衡了成本和性能而已,一堆通讯开销。至于上超算,你可真是外行知道内行了,所以不要瞎起劲。
        9
    yanaraika   45 天前 via Android
    现代科学都是一个系统工程。cern 里几千位码农+一堆开源项目了解一下
        10
    lyshine   45 天前
    总结一句话就是班门弄斧, 祖师爷面前献丑. 自己有兴趣就玩玩. 你还 IT 界 ? 你知道你 IT 界的底层都是人家随手搞出来的吗
        11
    youngxu   45 天前 via Android
    笑死我了,你以为“ IT 届”、“工业界”在科学计算乃至技术领域比科研界厉害吗?
        12
    youngxu   45 天前 via Android
    WWW 只是 CERN 当年处理数据时随手创造的东西
        13
    keith1126   45 天前
    是不是太高估所谓的"工业界"了...残酷一点来说,不少人"学界"混不下去了才转去"工业界"
        14
    across   45 天前
    这是不是有点井蛙了,估计楼主都没看过计算机科学基础····

    计算机、算法之类的,最开始就是科学家研究的一个工具,叫他们“码农”,好比说诺贝尔是个挖洞工人,因为他搞鼓出的炸药,然后经常被用在工程里··
        15
    strive   45 天前
    想多了,NASA 里面随便走出来一个工程师都可以秒杀一大片。说个段子,苹果和谷歌的人员招聘最害怕的竞争对手就是 NASA
        16
    zzzzzzZ   45 天前
    @youngxu

    码农界差不多等同于科研界大佬随手创世时期打出来的一块破碎虚空里面的小界,修炼环境和修真天才都非常稀少
        17
    IanPeverell   45 天前
    你让码农去处理这些数据和让科学家去处理上千万级的并发的结果都是一样,就是浪费时间。不同领域的东西,即使你花费大量时间去解决了有什么用?做好自己领域的工作就得了。

    还有工业界不如学术界……这就像造桥工程师和桥梁科学家一样,你理论性不代表你就能实际造出来;你造出来不代表你就能在理论上有所建树。当然,如果只懂得复制粘贴那种,那就是搬砖的工人吧。
        18
    paperseller   45 天前 via Android
    这次的黑洞照片合并算法就是由七楼给的 ted 演讲者 Katie bouman 领导编写的
        19
    HackerOO7   45 天前
    居然类比为多摄手机。。 基本的物理知识都不具备嘛
        20
    zycpp   45 天前 via iPhone
    高看程序员了
        21
    7654   45 天前
    我们只是实践者,他们是开拓者
        22
    SeanChense   45 天前
    一叶障目不见泰山
        23
    SeanChense   45 天前
    给你几个积分公式就会大呼加估时也完不成
        24
    darmau   45 天前
    你问一下这里的人,技术主管和大学教授,他们愿意做哪个?为什么没去做教授

    ……因为水平不够啊
        25
    Yiki   45 天前
    码农- -?
    你太看得起码农了……
        26
    vincentzlt   45 天前
    这个根本不是多摄手机那回事儿。这个从无数可能的合成的照片中根据已有信息得到最可能那一张的办法。。。
        27
    amon   45 天前
    其实是用 8 台华为 P30 拍的。
        28
    bzi   45 天前
    明显书读得太少
        29
    jadec0der   45 天前   ♥ 1
    有些人想当然了,科学家能力确实更强,但是并不会把精力放在写代码上,只要能用就行,软件做的再好也比不上论文。

    我之前接触过 CERN 给 LHC 做的网格计算框架 Gaudi,做的也不错,但是没法和 Hadoop, Spark 比。
        30
    jadec0der   45 天前
    还有人用万维网举例并没有什么意义,物理学家用计算机用得早,所以捣鼓一个 www 出来用,不代表他们会一直把精力投入在计算机研究上,够用、能传递信息就行了。就像中国第一个接入互联网的单位是中科院高能所,他们当年工作需要就先搞了,但是主业还是物理学,后来的技术投入当然不能和互联网公司比。
        31
    waterboy   45 天前
    又是一个以为程序员天生高智商高能力的
    说个不严谨的,人家是科学,后面还有技术,高等级程序员可以归到技术里面,大多数码农,也就是个应用
        32
    notreami   45 天前
    5PB 嘛。。先整个 100PB 的内存
        33
    xgfan   45 天前
    1 先上 redis 缓存。
    2 然后找个开源框架。
    3 数据导进去,跑一下。
    4 看下结果。
    5 如果对结果不满意,调一下参数跳到 3。对结果非常不满意跳到 2。

    问题已经解决了,谁发 offer ? NASA 还是欧洲南方天文台。工资是面议还是怎么搞?在线等。
        34
    gavindexu   45 天前 via iPhone
    @xgfan #31 找……找个开源框架🤣🤣🤣
        35
    iVeego   45 天前 via Android
    @Sylv http://m.open.163.com/movie?plid=MCJKU9VA8&rid=MCJL0MKFU
    我来补充个有字幕的。讲的很棒,有点紧张,但是逻辑很清晰,我一个外行人都听懂了。
        36
    longbye0   45 天前
    应该算是 computing photography 的范畴吧,类似多光谱到伪 rgb ?
        37
    wzf611   45 天前
    @longbye0 是的,可能跟 InSAR 更接近一点,用多个观测的干涉。但接触过的高程( DEM )干涉一般也就用 2 个 sensor,没有望远镜这么多
        38
    CEBBCAT   44 天前
    @iVeego #33 这个视频有字幕呀,你点小齿轮看看。有三十多个语言的字幕可选呢
        39
    Taojun0714   44 天前 via iPhone
    @zzzzzzZ 学术界到七十年代都写不对一个快排
        40
    qianmeng   44 天前 via Android
    黑洞照片锐化不够
        41
    dabaibai   44 天前
    那么 下载地址呢
        42
    xiaojay   43 天前
    代码: https://github.com/achael/eht-imaging
    数据: http://vlbiimaging.csail.mit.edu
    感兴趣的自己去看看呗 :)
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2497 人在线   最高记录 5043   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 25ms · UTC 12:16 · PVG 20:16 · LAX 05:16 · JFK 08:16
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1