缺手機壁紙？來看看：也來看看

這兩天在找手機壁紙，不過發現一張一張來效率太低。話不多說，爬蟲在手，天下我有！

爬取網站：http://sj.zol.com.cn/bizhi/

至於為什麼選這個 zol 的手機壁紙網站，沒辦法，某度搜索出來第一個，樹大招風！

代碼用 Python 寫的，第三方類庫只用了 requests。匹配只用了正則表達式。利用多進程提高爬取速度。

壁紙大小為 750 * 1334（iphone6 的解析度），大小可在代碼里自行更改，最高的解析度為 1080 * 1920（iphone6s plus 的解析度）。

總共爬取了 420 套，共 3941 張壁紙。

具體情況如下圖，以套圖為單位存放在不同的文件夾

囊括了各種風格的壁紙！！

然而，事情到這裡還沒有結束。這兩天看了 redis 的文檔，就想利用 redis 來搞個簡單的分散式爬蟲。前期工作的下載和配置 redis 我就不說了。核心邏輯是先將所有連接存入到本機的 redis 資料庫里，本機作為 master。然後其他 slave 連接到 master 分配任務幹活。但是，你以為我既沒有另外一台電腦也沒有錢購買虛擬主機這件事我會告訴你？最後就只用了本機爬... ，anyway，最後也同樣把所有的套圖都爬下來了。這部分代碼在 wallpaper_redis.py 里。

壁紙已打包上傳到百度雲里：鏈接: https://pan.baidu.com/s/1boZ6XTP 密碼: q8k6

Github地址：https://github.com/chenjiandongx/wallpaper

推薦閱讀：