這是桂林SEO小編為大家準備的十個Python爬蟲項目。爬蟲入門簡單快速,練習Python爬蟲也非常適合給剛入門的小伙伴培養信心。所有鏈接指向GitHub。加油哦,小編在精神上支持你。
一、WechatSogou – 微信公眾號爬蟲。
基于搜狗微信搜索的微信公眾號爬蟲接口,可以擴展成基于搜狗搜索的爬蟲,返回結果是列表,每一項均是公眾號具體信息字典。
二、DouBanSpider– 豆瓣讀書爬蟲。
可以爬下豆瓣讀書標簽下的所有圖書,按評分排名依次存儲,存儲到Excel中,可方便大家篩選搜羅,比如篩選評價人數>1000的高分書籍。
可依據不同的主題存儲到Excel不同的Sheet ,采用User Agent偽裝為瀏覽器進行爬取,并加入隨機延時來更好的模仿瀏覽器行為,避免爬蟲被封。

三、zhihu_spider – 知乎爬蟲。此項目的功能是爬取知乎用戶信息以及人際拓撲關系,爬蟲框架使用scrapy,數據存儲使用mongo
四、bilibili-user – Bilibili用戶爬蟲。總數據數:20119918,抓取字段:用戶id,昵稱,性別,頭像,等級,經驗值,粉絲數,生日,地址,注冊時間,簽名,等級與經驗值等。抓取之后生成B站用戶數據報告。
五、SinaSpider – 新浪微博爬蟲。主要爬取新浪微博用戶的個人信息、微博信息、粉絲和關注。代碼獲取新浪微博Cookie進行登錄,可通過多賬號登錄來防止新浪的反扒。主要使用 scrapy 爬蟲框架。
六、distribute_crawler– 小說下載分布式爬蟲。使用scrapy,Redis, MongoDB,graphite實現的一個分布式網絡爬蟲,底層存儲MongoDB集群,分布式使用Redis實現,爬蟲狀態顯示使用graphite實現,主要針對一個小說站點。

七、CnkiSpider – 中國知網爬蟲。設置檢索條件后,執行src/CnkiSpider.py抓取數據,抓取數據存儲在/data目錄下,每個數據文件的第一行為字段名稱。
八、LianJiaSpider – 鏈家網爬蟲。爬取北京地區鏈家歷年二手房成交記錄。涵蓋鏈家爬蟲一文的全部代碼,包括鏈家模擬登錄代碼。
九、scrapy_jingdong – 京東爬蟲。基于scrapy的京東網站爬蟲,保存格式為csv。
十、QQ-Groups-Spider – QQ 群爬蟲。批量抓取 QQ 群信息,包括群名稱、群號、群人數、群主、群簡介等內容,最終生成 XLS(X) / CSV 結果文件。