利用python自動更新資料庫—總述

前言

本系列文章是基於本人在某大型互聯網公司的實踐，記錄下，以分享和交流，轉載時請註明出處，謝謝。

面向對象

資料庫維護人員、數據分析師、爬蟲開發工程師等，需要有一定python基礎，若對pandas、selenium兩個庫了解的話會更信手拈來。

背景

傳統數據更新流程為：人工登錄網站系統→選取點擊以及等待下載→數據處理→數據入庫→執行相關儲存過程(ETL)→通知相關人員已更新

以上過程存在明顯的問題：機械重複，佔用人力，耗時長。為了解決以上問題，筆者利用了python作為工具建立一套自動更新的體系，實現上述流程的自動化，具體如下：

根據上圖的設計思路，使得數據的更新效率有了較大的提高以及解放人力了。

後面幾篇文章會分成了五個小節描述下具體的實現操作，為儘可能讓更多人理解，內容由淺講起，望理解。