V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
musclepanda
V2EX  ›  Python

Python 安装一个 Scrapy 快疯了,一个下午没了

  •  
  •   musclepanda · 2018-07-09 18:37:25 +08:00 · 7094 次点击
    这是一个创建于 2089 天前的主题,其中的信息可能已经有所发展或是发生改变。
    哎,新手想学习 scrapy,结果一个下午都耗费在安装上了
    先是在 pycharm 里面直接安装,提示安装不了,也不知道啥原因,一堆红字

    然后跑去下载了一个 Anaconda3,几百兆大小,下载好了之后,按照官方的教程
    conda install -c scrapinghub scrapy

    结果提示 conda 不存在,又去折腾设置环境变量,conda 能用了,scrapy 安装上也能用了

    用 cmd 玩了记下命令行的 scrapy 正常

    又跑回去 pycharm,结果 import scrapy 出错,提示 No module named 'scrapy'

    网上一堆百度 google,找到个设置 run 选项的,
    https://blog.csdn.net/l1336037686/article/details/78471856

    哎,还是不行,差不多快放弃了。。

    求 v 友安慰
    72 条回复    2018-07-20 15:43:51 +08:00
    xuegj1010
        1
    xuegj1010  
       2018-07-09 18:39:08 +08:00 via Android   ❤️ 4
    哈哈,不好意思,没忍住
    xuegj1010
        2
    xuegj1010  
       2018-07-09 18:43:05 +08:00 via Android
    在 pycharm 里面设置一下环境指向 anaconda 里面的 Python 就可以在 pycharm 中用你在 anaconda 里面装的 scrapy 了
    just1
        3
    just1  
       2018-07-09 18:46:52 +08:00
    你可以直接搜索如何安装 scrapy...
    或者看文档
    然后看看红字是什么,看不懂可以翻译嘛
    xuegj1010
        4
    xuegj1010  
       2018-07-09 18:46:53 +08:00 via Android
    折腾是正常的,想当年刚学 Python 就装了 Ubuntu,还各种扩展 Vim,系统不知道重装了多少次,差点就砸电脑了。
    riggzh
        5
    riggzh  
       2018-07-09 18:49:03 +08:00 via iPhone
    我为啥 pip install scrapy 就可以了
    musclepanda
        6
    musclepanda  
    OP
       2018-07-09 18:52:15 +08:00
    @xuegj1010 一句话点通我了。。pycharm 用的也不熟,不过设置了下环境,可以了,谢谢*1024
    est
        7
    est  
       2018-07-09 18:52:35 +08:00   ❤️ 4
    装不上主要是网络差。。网络差主要原因是。。。。

    拒绝反动脚本语言从我做起,支持国产中文编程。
    musclepanda
        8
    musclepanda  
    OP
       2018-07-09 18:54:58 +08:00
    @est 装 whl 也不行…………
    Leigg
        9
    Leigg  
       2018-07-09 18:55:16 +08:00 via iPhone
    都是这么过来的,只不过你的可能更坎坷一点
    WildCat
        10
    WildCat  
       2018-07-09 18:58:10 +08:00   ❤️ 5
    1. anaconda pip 都有国内源,你为什么不折腾下?
    2. TG Python 中文交流群问一句大家都愿意帮你,求什么安慰?
    3. PyCharm 你按 Alt + Enter 都会提示你安装 scrapy 的选项吧?
    4. 新手用什么 PyCharm ?尤其是你这种环境设置都不知道修改的?
    5. 心灵脆弱就不要来学编程
    6. 搜索和变通不仅仅是编程需要的技能,你想在这个世界好好活下去就需要。

    截图:

    chinvo
        11
    chinvo  
       2018-07-09 18:58:19 +08:00 via iPhone   ❤️ 1
    快速解决:装个 Linux 先
    WildCat
        12
    WildCat  
       2018-07-09 18:58:40 +08:00
    不要求安慰了,我当年自己搞 Android Eclipse 开发环境搞了三个月都没求安慰。
    WildCat
        13
    WildCat  
       2018-07-09 19:00:34 +08:00
    7. 另外,如果你这么喜欢看某搜索引擎和某 SDN 的话,强烈建议不要学编程了真的,这两个网站的内容质量呵呵哒。
    andylsr
        14
    andylsr  
       2018-07-09 19:03:16 +08:00 via Android   ❤️ 1
    https://www.lfd.uci.edu/~gohlke/pythonlibs/

    记住这个网址~你用的包人家早已帮你打包成了 whl~直接 pip 就可以了
    YehShs
        15
    YehShs  
       2018-07-09 19:04:16 +08:00
    从坑里爬出来了就好了,哈哈哈
    jiangnanyanyu
        16
    jiangnanyanyu  
       2018-07-09 19:05:11 +08:00 via Android
    这点就算受到打击了?
    zjp
        17
    zjp  
       2018-07-09 19:15:20 +08:00 via Android   ❤️ 2
    #10 说的可能不是很好听,但在理

    顺带吐槽 CSDN。下午谷歌搜了下一个库怎么配置,国内博客站清一色的使用类 A,特别有几篇 CSDN 文章还是新的。然而我发现根本就没有这个类。再往下翻,看到 10 年 StackOverflow 的提问:类 A 被标记过时了怎么办
    wnh3yang
        18
    wnh3yang  
       2018-07-09 19:18:29 +08:00 via Android   ❤️ 1
    你是用 windows 环境吧,参考这个帖子 http://www.zues.pub/archives/25/
    haon
        19
    haon  
       2018-07-09 19:21:14 +08:00
    常规操作
    40huo
        20
    40huo  
       2018-07-09 19:25:58 +08:00
    Windows 上装这个确实挺恶心的
    townmu
        21
    townmu  
       2018-07-09 20:17:05 +08:00 via Android
    @WildCat 别在新人面前秀你的优越感
    WildCat
        22
    WildCat  
       2018-07-09 20:23:24 +08:00
    @townmu 你的优越感?呵呵。
    saran
        23
    saran  
       2018-07-09 20:24:42 +08:00
    win 上想用上 python 里的 scrapy 就别想了,还是买台 MB 吧……
    ThirdFlame
        24
    ThirdFlame  
       2018-07-09 20:26:04 +08:00
    我觉得新手 不应该直接安装 python、pip 然后来先跑起来么? 直接安装这俩应该坑稍微少点吧。
    mimzy
        25
    mimzy  
       2018-07-09 20:26:54 +08:00
    @townmu #21 #10 其实回答了问题还提供了不少有用的信息…挺好的。
    xpresslink
        26
    xpresslink  
       2018-07-09 20:29:27 +08:00
    @saran 别瞎说,我就用的好好的。在 windows 上装其实就一个小坑是装 twisted。
    把这个 Twisted-17.9.0-cp36-cp36m-win_amd64.whl 下到本地用 pip 装就可以了
    golmic
        27
    golmic  
       2018-07-09 20:40:34 +08:00 via Android
    @WildCat 支持
    saran
        28
    saran  
       2018-07-09 21:01:18 +08:00
    @xpresslink 反正我怎么都没办法把 twisted 给装上,把 python 降回 2.7x 也没成功。
    musclepanda
        29
    musclepanda  
    OP
       2018-07-09 21:13:18 +08:00
    @WildCat TG Python 是啥?
    epicnoob
        30
    epicnoob  
       2018-07-09 21:19:47 +08:00
    答案都在红字里,在第一条路里就能解决。
    一般都是没有 VC++编译器
    kokutou
        31
    kokutou  
       2018-07-09 21:21:29 +08:00
    Twisted 装了,剩下的 pip 就行。
    F0nebula
        32
    F0nebula  
       2018-07-09 21:23:23 +08:00
    @musclepanda #29 Telegram Python 群
    crab
        33
    crab  
       2018-07-09 21:25:53 +08:00
    pip install scrapy

    不行吗?
    ranwu
        34
    ranwu  
       2018-07-09 21:34:29 +08:00
    命令行能跑就行了呗。干嘛偏要用 IDE
    WildCat
        35
    WildCat  
       2018-07-09 21:42:44 +08:00
    @musclepanda Telegram
    UNDEFlNED
        36
    UNDEFlNED  
       2018-07-09 22:32:16 +08:00
    把报错的包单独用 whl 装就行了
    mingyun
        37
    mingyun  
       2018-07-09 23:02:22 +08:00
    14 楼正解
    genius2k
        38
    genius2k  
       2018-07-10 00:00:09 +08:00
    python 用什么 ide。。。vim+pylint 解决一切
    whwq2012
        39
    whwq2012  
       2018-07-10 00:11:52 +08:00 via Android
    也许是你没有计算机的基础才装得这么辛苦吧,有的问题,比如环境变量的设置,pip 安装包,应该是常识的,但是你却需要临时搜。。。。没关系,被 cao 过几次,你就能举一反三了。
    TuxcraFt
        40
    TuxcraFt  
       2018-07-10 00:15:59 +08:00
    主要不是 scrapy 的问题
    而是你用的是 windows
    tempdban
        41
    tempdban  
       2018-07-10 00:55:52 +08:00 via Android
    新手用 Linux 反倒是最简单的
    Asterism
        42
    Asterism  
       2018-07-10 00:56:42 +08:00
    小哥,学编程不是来求安慰的。遇的坎解决它,记录下来问题,以后其他人遇到了,你也可以帮助其他人。
    20015jjw
        43
    20015jjw  
       2018-07-10 05:46:21 +08:00 via Android   ❤️ 1
    别用 windows 啊 游戏机系统搞开发就跟去 ps4 上炒股一样
    Geo200
        44
    Geo200  
       2018-07-10 07:14:17 +08:00 via iPhone
    @zjp @zjp csdn 上清一色都是互相抄,有些东西根本没实践过也能写出来,最近简书也有这样的趋势
    Lwf1995
        45
    Lwf1995  
       2018-07-10 07:17:18 +08:00 via Android
    Ubuntu 你先高个,一个 sudo apt — get install scrapy 就结束了
    tohearts
        46
    tohearts  
       2018-07-10 09:13:03 +08:00
    求你用 linux, 毕竟以后做开发部署大多数情况下都是 Linux。
    ioth
        47
    ioth  
       2018-07-10 09:57:18 +08:00
    高中没毕业,职校读一半吧。
    一下午搭环境也算事?
    tonghuashuai
        48
    tonghuashuai  
       2018-07-10 10:03:19 +08:00
    我曾经有个同事,想做 Python 开发,结果环境已经装不对,于是一怒之下去写 PHP 了……
    新手折腾 Python 遇到的问题,绝大多数是因为 Windows 系统……
    simapple
        49
    simapple  
       2018-07-10 10:06:22 +08:00
    开始折腾的时候,搭建环境确实是个费事费力的活
    lihongjie0209
        50
    lihongjie0209  
       2018-07-10 10:09:06 +08:00
    基本操作, 玩多了就熟悉了
    zhuangzhuang1988
        51
    zhuangzhuang1988  
       2018-07-10 10:12:15 +08:00
    1.好好先学英语
    2.再学基础 python
    3.再搞这个
    真用 linux 了,都不知道怎么死的
    LokiSharp
        52
    LokiSharp  
       2018-07-10 10:14:25 +08:00
    别用 Windows 啊
    jeremaihloo
        54
    jeremaihloo  
       2018-07-10 11:14:42 +08:00
    学编程别用 Windows
    还有,要有耐心
    RockShake
        55
    RockShake  
       2018-07-10 11:16:42 +08:00
    过两年你再回来看的时候肯定觉得搞笑的
    killerv
        56
    killerv  
       2018-07-10 11:17:33 +08:00
    如果你是个 Python 新手,建议不要一上来就折腾那些 IDE 和框架。Windows 上装 Scrapy 是没问题的,就是可能会有一些坑需要填一下。另外现在 wsl 貌似也比较稳定了,你可以试试这个。
    RicardoScofileld
        57
    RicardoScofileld  
       2018-07-10 11:22:28 +08:00
    conda create --name env
    soucre activate env
    conda install scrapy
    pycharm 配置环境解释器
    recall704
        58
    recall704  
       2018-07-10 11:29:07 +08:00
    之前搞 python 的时候,windows 就是最大的问题。
    wangyadong
        59
    wangyadong  
       2018-07-10 11:32:51 +08:00
    我还记得,我前老板说的那句话:遇到什么问题,别怕,弄就行,一次不行两次,总有弄好的时候,碰见能别你一下的问题才有意思,一帆风顺的学不到嘛
    yylucifer
        60
    yylucifer  
       2018-07-10 12:39:08 +08:00
    看到楼主的描述..

    我默默赞了一楼.
    xio
        61
    xio  
       2018-07-10 12:41:39 +08:00
    不要用 Windows
    q397064399
        62
    q397064399  
       2018-07-10 12:49:23 +08:00
    @zjp #17 都 8012 年了,,还用中文社区,,简直浪费时间
    tabris17
        63
    tabris17  
       2018-07-10 15:00:07 +08:00
    https://www.douban.com/note/664537261/

    按照这篇文章,即可成功
    qqjt
        64
    qqjt  
       2018-07-10 15:56:56 +08:00
    如果用的是 linux 系统或者虚拟机,会方便很多
    anhoo
        65
    anhoo  
       2018-07-10 15:58:23 +08:00
    膜拜大牛
    nancheng
        66
    nancheng  
       2018-07-10 16:13:55 +08:00
    用 pip 就好了,pyCharm 自带的解释器,和你 cmd 的解释器,如果指向不一样,就会有这种问题
    meisky6666
        67
    meisky6666  
       2018-07-10 16:35:03 +08:00
    路由器$$,装各种东西一步到位
    lyluyaoh
        68
    lyluyaoh  
       2018-07-10 16:45:32 +08:00   ❤️ 1
    Pycharm 根据你选的 Python 解释器创建一个虚拟环境 Conda 或者 virtualenv, 你需要在 settings-project 里面下载需要的包自动安装到你的虚拟环境. 大部分情况下跟用 Windows 还是 Linux 无关.
    另外不要在意很多老哥的几连问号和嘲笑, 什么不懂搜什么, 搜不到就问.
    tujin
        69
    tujin  
       2018-07-10 20:05:01 +08:00
    linux 吧,windows 下面新手基本都要被坑
    gordon797
        70
    gordon797  
       2018-07-10 22:44:56 +08:00 via Android
    Linux 就很方便 233
    JCZ2MkKb5S8ZX9pq
        71
    JCZ2MkKb5S8ZX9pq  
       2018-07-10 23:11:28 +08:00
    最初写爬虫也是直接下了 scrapy,结果现在全靠 requests 了。
    zhang0320
        72
    zhang0320  
       2018-07-20 15:43:51 +08:00
    推荐 装个虚拟机 manjaro 开发。。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   964 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 20:43 · PVG 04:43 · LAX 13:43 · JFK 16:43
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.