V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
est
V2EX  ›  Python

我跟你们说, UCBerkeley 做了个牛逼的 Python 分布式计算框架,上灭 Spark 下踩 MapReduce

  •  
  •   est ·
    est · 2018-01-19 22:53:51 +08:00 · 4991 次点击
    这是一个创建于 2260 天前的主题,其中的信息可能已经有所发展或是发生改变。

    标题只是打个广告。。。。灵感来自逼乎问题: 如何看 UCBerkeley RISELab 即将问世的 Ray,replacement of Spark ?

    项目在 github

    https://github.com/ray-project/ray

    里面有个 plasma 组件挺好用的。 zero copy 的共享内存对象存储引擎。

    https://arrow.apache.org/blog/2017/08/08/plasma-in-memory-object-store/

    第 1 条附言  ·  2018-01-23 09:54:21 +08:00

    具体对比:

    https://arxiv.org/pdf/1712.05889.pdf

    MapReduce, Apache Spark, Dryad, Dask, CIEL 的 throughput 和 latency 不行。

    TensorFlow, Naiad, MPI, Canary 无法实现动态图计算。

    Ray默认支持:

    • OpenAI gym
    • DeepMind Lab
    • Mujoco physics simulator
    • TensorFlow
    • Theano
    • PyTorch
    • Caffe

    等框架。

    5 条回复    2018-01-20 21:53:15 +08:00
    privil
        1
    privil  
       2018-01-19 22:55:10 +08:00
    前排围观,现在学 python 还来得及么,哈哈哈
    nooper
        2
    nooper  
       2018-01-19 23:13:54 +08:00 via iPad
    我用过了。看下性能。并没有那么理想
    bbx
        3
    bbx  
       2018-01-20 05:31:05 +08:00
    没仔细看,不过看到说用 arrow,如果 zero copy 是卖点,那么没啥新奇的,spark 也用了 arrow
    janxin
        4
    janxin  
       2018-01-20 07:35:18 +08:00 via iPhone
    看了下是分布深度学习框架?这个好像和 spark 差得远了点?
    rogerchen
        5
    rogerchen  
       2018-01-20 21:53:15 +08:00
    ray 是基于 actor model 做强化学习的分布式框架,框架确实解决了不少分布式机器学习的痛点。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1025 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 19:35 · PVG 03:35 · LAX 12:35 · JFK 15:35
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.