V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
oldbird
V2EX  ›  Python

怎么区分 io 密集型还是 cpu 密集型

  •  
  •   oldbird · 2019-11-29 13:54:12 +08:00 via Android · 5729 次点击
    这是一个创建于 1581 天前的主题,其中的信息可能已经有所发展或是发生改变。
    io 密集型用多线程,cpu 密集型用多进程,怎么区分是什么型?
    处理大影像,单进程内存占用 3g 多,cpu10%左右,想批处理,算什么型?
    11 条回复    2019-11-30 23:39:16 +08:00
    maichael
        1
    maichael  
       2019-11-29 13:59:03 +08:00
    不就看你是计算多还是 IO 多么。你这种一般算是 IO 密集型。
    ruandao
        2
    ruandao  
       2019-11-29 13:59:33 +08:00
    web 大多没什么计算,比较偏向 IO
    unixeno
        3
    unixeno  
       2019-11-29 15:14:37 +08:00 via Android
    大量网络,文件操作就是 io 密集型
    大量纯计算就是 CPU 密集型
    wuwukai007
        4
    wuwukai007  
       2019-11-29 15:15:25 +08:00 via Android
    用 pysnooper 分析下下耗时的分布,
    andylsr
        5
    andylsr  
       2019-11-29 15:17:07 +08:00
    处理影像应该算计算密集吧
    waterlaw
        6
    waterlaw  
       2019-11-29 16:02:48 +08:00 via Android
    cpu 密集型:cpu 占用越接近 100%, 耗费多个核或多台机器
    io: 网络占用,文件 io 多
    waterlaw
        7
    waterlaw  
       2019-11-29 16:04:42 +08:00 via Android
    图片处理应该计算密集型, 有 io 的话也可能有 io 密集型, 因此可以考虑 多进程 + 多线程
    zhoucan007
        8
    zhoucan007  
       2019-11-29 16:16:01 +08:00
    图像处理是两个都占了,对读写和计算都要求比较高。非要强行对比的话,可以这么理解,是要足够大的内存(读写速度)还是足够大的算力?算力可能更重要吧。
    tt67wq
        9
    tt67wq  
       2019-11-29 16:16:57 +08:00
    htop 看看不就知道了
    imn1
        10
    imn1  
       2019-11-29 16:18:59 +08:00
    你这个要具体分析一下,cpu10%不一定就不是计算密集,如果数据缓存加大,cpu 大幅飙升的话,很可能是 cpu 密集
    最好查一下瓶颈在哪
    shuaili19870320
        11
    shuaili19870320  
       2019-11-30 23:39:16 +08:00
    这两个概念是可以同时存在的,又不互斥。
    大视频渲染有可能是多段同时计算同时写入吧,前面那个说的对,可能两个都沾了。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   950 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 21:07 · PVG 05:07 · LAX 14:07 · JFK 17:07
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.