Windows下如何最省事最穩定的安裝Python與Scrapy
Scrapy是開發大型python爬蟲時十分有效的框架,可以將注意力集中在開發和邏輯上,而不用分心於底層。這篇文檔是親身實踐已經儘可能的將細節展現出來了,而且是最省事並且問題最少的方法,按此安裝應該是沒有問題的,若出現小問題百度一下均可解決。
一、 開發python爬蟲,首先就要安裝python環境,這一部分一般來說是沒什麼問題的,所以已經安裝好環境的可忽略這第一步
1、 下載python-3.5.4-32(或者64)位.exe
說明一下,現在是2018年1月,所以之後的版本我不太清楚,那迄今為止,有兩個版本的python可以使用,即python 2.X和python 3.X,其中3.5和2.7是相對應的比較穩定的版本,3系列版本比2系列版本速度更快,更加實用,尤其是在處理編碼上更加方便,不像2系列版本那麼麻煩。
而且注意2系列版本和3系列版本使用起來是有挺大不同的,不能將語句混淆使用,最重要的是3系列版本為了輕便是不兼容2系列版本的,所以安裝的時候要想好用哪一種。
兩個版本可以同時安裝,但是要將其中不常用的版本的python.exe改成其他名字(在」安裝目錄/python27(或python35)/」下).雙擊安裝文件時要記得勾選自動配置環境變數,就不用之後的環境變數配置了。
2、查看版本
安裝好後,win+r 調出小黑框框,輸入Python–V (大寫的V)查看版本確認安裝。
3、驗證安裝
在「開始」或者軟體安裝好的地方找到IDLE,這個和python在一個地方,打開後,輸入 print(「hello」),按F5運行,彈出框框輸出hello,表示python安裝成功。
二、 重要部分,Scrapy在安裝過程中會遇到各種各樣的問題,這一部分進行時可按照以下步驟。
1、安裝方式
使用本地安裝方式,就是下好需要安裝的東西,調用小黑框框進行安裝,也可以開一個VPN,沒多少錢,相較於所學的東西而言還是挺值的,而且之後也可以用。
2、升級pip
升級pip,注意Python2.X不帶pip,pip得自己安裝,但是3.X版本是自帶的,所以還是建議使用3.X版本,在小黑框框中輸入 python–m pip install –-upgrade pip ,回車,彈出升級好的信息。
3、 安裝lxml
登錄網站 https://www.lfd.uci.edu/~gohlke/pythonlibs/ ,找到想要的lxml文件,這個網站目前是可以訪問的,不知道以後會不會被封,但是這個文件有很多,可以自己到網路上找找(找資源:學習重要方法之一)。找到 lxml-4.1.1-cp35-cp35m-win32.whl文件,中間的cp表示對應的python版本,注意一定要與使用的版本相對應。然後運行小黑框框,cd到whl文件的目錄中,輸入pip install whl文件名字.whl 回車,顯示安裝成功信息。
4、安裝VC++庫
安裝Visual Studio 2015 專業版,注意不要安裝社區版,否則之後會有各種各樣的解決不了的錯誤,專業版是要錢的,所以怎樣找到可以使用的VS要靠自己,這裡不是不尊重知識產權,我國法律規定個人用於研究和學習是可以使用免費的付費軟體的。同時也請大家能夠尊重知識,尊重產權。其實這一步主要是為了安裝MicrosoftVisual C++庫,也就是說如果不用VS的話就不用破解軟體了。
5、 安裝scrapy
調出小黑框框,輸入pip install scrapy 等待安裝成功即可。
6、安裝其餘必要組件
其實到這裡已經安裝完了,但是scrapy項目卻會報一個win32api的錯誤,所以為了保險起見,調出小黑框框,輸入 pip install pypiwin32 等待安裝成功即可。
三、 可能會遇到的問題,安裝過程中可能會報各種錯誤,這裡總結了一下,以供參考
1、 VS安裝報出發生嚴重錯誤,可能是電腦缺少dll文件或者是其他環境(比如.NET framework)沒有具備,可以使用驅動軟體或者安全軟體檢測修一下補丁,或者看提示缺少什麼文件,網上下載放到指定目錄里。
2、 報whl和bat錯誤,檢查下whl文件和vs是否成功安裝。
3、 報版本錯誤,檢查下pip是否為最新版,總而言之就是要按照上面步驟來。
4、 運行項目時報win32api錯誤,按照上面的第六步執行即可。
這是用不同電腦配置了幾次後總結的感覺最佳辦法,其中有不合適或者不正確的地方歡迎指正,我的QQ號碼:2867221444(喬金明),謝謝,也可以相互交流下,備註信息隨意,只要能看得出是開發者或者學習者即可。
推薦閱讀:
※(做生物信息的)你們是怎麼知道Python裡面sys.argv和getopt這種函數的?
※用Python寫個迷你出門問問|10幾行代碼搞定
※用 Python 玩轉 Facebook 數據
※高顏值的Python編輯器:Visual Studio Code
※為什麼說浮點數缺乏精確性? python中浮點數運算問題
