V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
piaochen0
V2EX  ›  Python

python3.5 关于编码的问题

  •  
  •   piaochen0 · 2018-01-01 21:08:48 +08:00 · 2607 次点击
    这是一个创建于 2278 天前的主题,其中的信息可能已经有所发展或是发生改变。

    用 scrapy 写了一个爬虫,之前在其他服务器上和本地都可以跑的很好
    今天换了个 ubuntu 服务器,发现报编码错误:
    print('############\u7ed3\u675f\u5566' + spider.name)
    UnicodeEncodeError: 'ascii' codec can't encode characters in position 12-14: ordinal not in range(128)

    这里连代码里写死的 print 语句,都显示不了中文,本来应该是:
    print('############开始啦'+spider.name)

    每个 py 文件的开头也都加了
    '# -- coding: utf-8 -- '
    查了 python3 的 getdefaultencoding 结果 utf-8

    以前在 python2.7 下这样好解决,但是 python3 怎么会这样... 麻烦问下这个可能是什么原因?

    10 条回复    2018-01-02 11:21:28 +08:00
    ipwx
        1
    ipwx  
       2018-01-01 21:13:21 +08:00
    因为 console 是字节流输出,不能输出 unicode 字符串,而 python3 的字符串常量是 unicode。当你 print 中文,python 内部会自动转码。而这个转码可能受很多因素影响,所以不好处理。

    试试 click.echo,或者 logging。
    ipwx
        2
    ipwx  
       2018-01-01 21:14:52 +08:00
    likuku
        3
    likuku  
       2018-01-01 21:49:59 +08:00
    @ipwx 字节流输出 ? 指 bytes 类型?那么得到的结果在 print 之前先作一次解码试试:

    _str_out = _raw_bytes_out.decode('utf-8')
    print(_str_out)
    noqwerty
        4
    noqwerty  
       2018-01-01 22:28:52 +08:00 via iPhone   ❤️ 2
    我之前在学校的上古服务器也遇到过这个问题,最后发现是 locale 出了问题,解决方法是在最开始加上:

    import locale
    locale.setlocale(locale.LC_ALL, 'en_US.UTF-8')
    ivechan
        5
    ivechan  
       2018-01-01 22:45:26 +08:00
    这个是终端的问题, 你终端不支持 Unicode, 但是 Python 里又是 Unicode 的输出, 就冲突了.
    ipwx
        6
    ipwx  
       2018-01-01 23:19:09 +08:00
    @likuku 对,正如 @ivechan 所述,大部分 console 都是字节输出。print 遇到这种情况,会把 unicode 转换成字节。

    但是这个编码不是 python 自己决定的,是根据操作系统和其他各种环境决定的。比如 @noqwerty 所述的 LC_ALL 环境变量。此外有些操作系统也有可能直接支持 unicode,我不太清楚,但是 windows 也许可以。

    总之情况非常复杂,所以与其自己处理,不如用类库。click.echo 自称做了很多工作。
    just1
        7
    just1  
       2018-01-01 23:23:01 +08:00 via Android
    我猜你用了 supervisor ?
    kmahyyg
        8
    kmahyyg  
       2018-01-01 23:25:12 +08:00 via Android
    str(byte object.encode('utf-8'))
    Sylv
        9
    Sylv  
       2018-01-02 00:33:33 +08:00 via iPhone
    终端的 locale 没设置好,导致 Python 对终端的输出编码识别为了 ascii,而 ascii 无法 encode Unicode,于是就报错了。
    mununo
        10
    mununo  
       2018-01-02 11:21:28 +08:00
    export LC_ALL='en_us.utf8' 添加到 ~/.bashrc 中。en_us.utf8 这种 locale 串分别是 [语言_地区.字符集], zh_cn.utf8 代表 zhongwen_China.utf8,虽然都是 UTF8 但是不同语言和地区的日期显示,金钱符,吧啦吧啦的显示不一样。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   993 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 19:51 · PVG 03:51 · LAX 12:51 · JFK 15:51
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.