掃二維碼與項目經(jīng)理溝通
我們在微信上24小時期待你的聲音
解答本文疑問/技術(shù)咨詢/運(yùn)營咨詢/技術(shù)建議/互聯(lián)網(wǎng)交流
網(wǎng)絡(luò)爬蟲
網(wǎng)絡(luò)爬蟲(web crawler)，以前經(jīng)常稱之為網(wǎng)絡(luò)蜘蛛(spider)，是按照一定的規(guī)則自動瀏覽萬維網(wǎng)并獲取信息的機(jī)器人程序(或腳本)，曾經(jīng)被廣泛的應(yīng)用于互聯(lián)網(wǎng)搜索引擎。使用過互聯(lián)網(wǎng)和瀏覽器的人都知道，網(wǎng)頁中除了供用戶閱讀的文字信息之外，還包含一些超鏈接。網(wǎng)絡(luò)爬蟲系統(tǒng)正是通過網(wǎng)頁中的超鏈接信息不斷獲得網(wǎng)絡(luò)上的其它頁面。正因如此，網(wǎng)絡(luò)數(shù)據(jù)采集的過程就像一個爬蟲或者蜘蛛在網(wǎng)絡(luò)上漫游，所以才被形象的稱為網(wǎng)絡(luò)爬蟲或者網(wǎng)絡(luò)蜘蛛。
爬蟲的應(yīng)用領(lǐng)域
在理想的狀態(tài)下，所有ICP(Internet Content Provider)都應(yīng)該為自己的網(wǎng)站提供API接口來共享它們允許其他程序獲取的數(shù)據(jù)，在這種情況下爬蟲就不是必需品，國內(nèi)比較有名的電商平臺(如淘寶、京東等)、社交平臺(如騰訊微博等)等網(wǎng)站都提供了自己的Open API，但是這類Open API通常會對可以抓取的數(shù)據(jù)以及抓取數(shù)據(jù)的頻率進(jìn)行限制。對于大多數(shù)的公司而言，及時的獲取行業(yè)相關(guān)數(shù)據(jù)是企業(yè)生存的重要環(huán)節(jié)之一，然而大部分企業(yè)在行業(yè)數(shù)據(jù)方面的匱乏是其與生俱來的短板，合理的利用爬蟲來獲取數(shù)據(jù)并從中提取出有商業(yè)價值的信息是至關(guān)重要的。當(dāng)然爬蟲還有很多重要的應(yīng)用領(lǐng)域，下面列舉了其中的一部分：
合法性和背景調(diào)研
爬蟲合法性探討
網(wǎng)絡(luò)爬蟲領(lǐng)域目前還屬于拓荒階段，雖然互聯(lián)網(wǎng)世界已經(jīng)通過自己的游戲規(guī)則建立起一定的道德規(guī)范(Robots協(xié)議，全稱是“網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”)，但法律部分還在建立和完善中，也就是說，現(xiàn)在這個領(lǐng)域暫時還是灰色地帶。
“法不禁止即為許可”，如果爬蟲就像瀏覽器一樣獲取的是前端顯示的數(shù)據(jù)(網(wǎng)頁上的公開信息)而不是網(wǎng)站后臺的私密敏感信息，就不太擔(dān)心法律法規(guī)的約束，因為目前大數(shù)據(jù)產(chǎn)業(yè)鏈的發(fā)展速度遠(yuǎn)遠(yuǎn)超過了法律的完善程度。
在爬取網(wǎng)站的時候，需要限制自己的爬蟲遵守Robots協(xié)議，同時控制網(wǎng)絡(luò)爬蟲程序的抓取數(shù)據(jù)的速度;在使用數(shù)據(jù)的時候，必須要尊重網(wǎng)站的知識產(chǎn)權(quán)(從Web 2.0時代開始，雖然Web上的數(shù)據(jù)很多都是由用戶提供的，但是網(wǎng)站平臺是投入了運(yùn)營成本的，當(dāng)用戶在注冊和發(fā)布內(nèi)容時，平臺通常就已經(jīng)獲得了對數(shù)據(jù)的所有權(quán)、使用權(quán)和分發(fā)權(quán))。如果違反了這些規(guī)定，在打官司的時候敗訴幾率相當(dāng)高。
Robots.txt文件
大多數(shù)網(wǎng)站都會定義robots.txt文件，下面以淘寶的robots.txt文件為例，看看該網(wǎng)站對爬蟲有哪些限制。
- User-agent: Baiduspider
- Allow: /article
- Allow: /oshtml
- Disallow: /product/
- Disallow: /
- User-Agent: Googlebot
- Allow: /article
- Allow: /oshtml
- Allow: /product
- Allow: /spu
- Allow: /dianpu
- Allow: /oversea
- Allow: /list
- Disallow: /
- User-agent: Bingbot
- Allow: /article
- Allow: /oshtml
- Allow: /product
- Allow: /spu
- Allow: /dianpu
- Allow: /oversea
- Allow: /list
- Disallow: /
- User-Agent: 360Spider
- Allow: /article
- Allow: /oshtml
- Disallow: /
- User-Agent: Yisouspider
- Allow: /article
- Allow: /oshtml
- Disallow: /
- User-Agent: Sogouspider
- Allow: /article
- Allow: /oshtml
- Allow: /product
- Disallow: /
- User-Agent: Yahoo! Slurp
- Allow: /product
- Allow: /spu
- Allow: /dianpu
- Allow: /oversea
- Allow: /list
- Disallow: /
- User-Agent: *
- Disallow: /
注意上面robots.txt第一段的最后一行，通過設(shè)置“Disallow: /”禁止百度爬蟲訪問除了“Allow”規(guī)定頁面外的其他所有頁面。因此當(dāng)你在百度搜索“淘寶”的時候，搜索結(jié)果下方會出現(xiàn)：“由于該網(wǎng)站的robots.txt文件存在限制指令(限制搜索引擎抓取)，系統(tǒng)無法提供該頁面的內(nèi)容描述”。百度作為一個搜索引擎，至少在表面上遵守了淘寶網(wǎng)的robots.txt協(xié)議，所以用戶不能從百度上搜索到淘寶內(nèi)部的產(chǎn)品信息。
相關(guān)工具介紹
HTTP協(xié)議
在開始講解爬蟲之前，我們稍微對HTTP(超文本傳輸協(xié)議)做一些回顧，因為我們在網(wǎng)頁上看到的內(nèi)容通常是瀏覽器執(zhí)行HTML語言得到的結(jié)果，而HTTP就是傳輸HTML數(shù)據(jù)的協(xié)議。HTTP和其他很多應(yīng)用級協(xié)議一樣是構(gòu)建在TCP(傳輸控制協(xié)議)之上的，它利用了TCP提供的可靠的傳輸服務(wù)實現(xiàn)了Web應(yīng)用中的數(shù)據(jù)交換。按照維基百科上的介紹，設(shè)計HTTP最初的目的是為了提供一種發(fā)布和接收HTML頁面的方法，也就是說這個協(xié)議是瀏覽器和Web服務(wù)器之間傳輸?shù)臄?shù)據(jù)的載體。關(guān)于這個協(xié)議的詳細(xì)信息以及目前的發(fā)展?fàn)顩r，大家可以閱讀阮一峰老師的《HTTP 協(xié)議入門》、《互聯(lián)網(wǎng)協(xié)議入門》系列以及《圖解HTTPS協(xié)議》進(jìn)行了解，下圖是我在四川省網(wǎng)絡(luò)通信技術(shù)重點(diǎn)實驗室工作期間用開源協(xié)議分析工具Ethereal(抓包工具WireShark的前身)截取的訪問百度首頁時的HTTP請求和響應(yīng)的報文(協(xié)議數(shù)據(jù))，由于Ethereal截取的是經(jīng)過網(wǎng)絡(luò)適配器的數(shù)據(jù)，因此可以清晰的看到從物理鏈路層到應(yīng)用層的協(xié)議數(shù)據(jù)。
HTTP請求(請求行+請求頭+空行+[消息體])：
HTTP響應(yīng)(響應(yīng)行+響應(yīng)頭+空行+消息體)：
說明：但愿這兩張如同泛黃的照片般的截圖幫助你大概的了解到HTTP是一個怎樣的協(xié)議。
相關(guān)工具
1.Chrome Developer Tools：谷歌瀏覽器內(nèi)置的開發(fā)者工具。
2.POSTMAN：功能強(qiáng)大的網(wǎng)頁調(diào)試與RESTful請求工具。
3.
4.HTTPie：命令行HTTP客戶端。
- $ http --header http://www.scu.edu.cn
- HTTP/1.1 200 OK
- Accept-Ranges: bytes
- Cache-Control: private, max-age=600
- Connection: Keep-Alive
- Content-Encoding: gzip
- Content-Language: zh-CN
- Content-Length: 14403
- Content-Type: text/html
- Date: Sun, 27 May 2018 15:38:25 GMT
- ETag: "e6ec-56d3032d70a32-gzip"
- Expires: Sun, 27 May 2018 15:48:25 GMT
- Keep-Alive: timeout=5, max=100
- Last-Modified: Sun, 27 May 2018 13:44:22 GMT
- Server: VWebServer
- Vary: User-Agent,Accept-Encoding
- X-Frame-Options: SAMEORIGIN
5.BuiltWith：識別網(wǎng)站所用技術(shù)的工具。
- >>> import builtwith
- >>> builtwith.parse('http://www.bootcss.com/')
- {'web-servers': ['Nginx'], 'font-scripts': ['Font Awesome'], 'javascript-frameworks': ['Lo-dash', 'Underscore.js', 'Vue.js', 'Zepto', 'jQuery'], 'web-frameworks': ['Twitter Bootstrap']}
- >>>
- >>> import ssl
- >>> ssl._create_default_https_context = ssl._create_unverified_context
- >>> builtwith.parse('https://www.jianshu.com/')
- {'web-servers': ['Tengine'], 'web-frameworks': ['Twitter Bootstrap', 'Ruby on Rails'], 'programming-languages': ['Ruby']}
6.python-whois：查詢網(wǎng)站所有者的工具。
- >>> import whois
- >>> whois.whois('baidu.com')
- {'domain_name': ['BAIDU.COM', 'baidu.com'], 'registrar': 'MarkMonitor, Inc.', 'whois_server': 'whois.markmonitor.com', 'referral_url': None, 'updated_date': [datetime.datetime(2017, 7, 28, 2, 36, 28), datetime.datetime(2017, 7, 27, 19, 36, 28)], 'creation_date': [datetime.datetime(1999, 10, 11, 11, 5, 17), datetime.datetime(1999, 10, 11, 4, 5, 17)], 'expiration_date': [datetime.datetime(2026, 10, 11, 11, 5, 17), datetime.datetime(2026, 10, 11, 0, 0)], 'name_servers': ['DNS.BAIDU.COM', 'NS2.BAIDU.COM', 'NS3.BAIDU.COM', 'NS4.BAIDU.COM', 'NS7.BAIDU.COM', 'dns.baidu.com', 'ns4.baidu.com', 'ns3.baidu.com', 'ns7.baidu.com', 'ns2.baidu.com'], 'status': ['clientDeleteProhibited https://icann.org/epp#clientDeleteProhibited', 'clientTransferProhibited https://icann.org/epp#clientTransferProhibited', 'clientUpdateProhibited https://icann.org/epp#clientUpdateProhibited', 'serverDeleteProhibited https://icann.org/epp#serverDeleteProhibited', 'serverTransferProhibited https://icann.org/epp#serverTransferProhibited', 'serverUpdateProhibited https://icann.org/epp#serverUpdateProhibited', 'clientUpdateProhibited (https://www.icann.org/epp#clientUpdateProhibited)', 'clientTransferProhibited (https://www.icann.org/epp#clientTransferProhibited)', 'clientDeleteProhibited (https://www.icann.org/epp#clientDeleteProhibited)', 'serverUpdateProhibited (https://www.icann.org/epp#serverUpdateProhibited)', 'serverTransferProhibited (https://www.icann.org/epp#serverTransferProhibited)', 'serverDeleteProhibited (https://www.icann.org/epp#serverDeleteProhibited)'], 'emails': ['[email protected]', '[email protected]'], 'dnssec': 'unsigned', 'name': None, 'org': 'Beijing Baidu Netcom Science Technology Co., Ltd.', 'address': None, 'city': None, 'state': 'Beijing', 'zipcode': None, 'country': 'CN'}
7.robotparser：解析robots.txt的工具。
- >>> from urllib import robotparser
- >>> parser = robotparser.RobotFileParser()
- >>> parser.set_url('https://www.taobao.com/robots.txt')
- >>> parser.read()
- >>> parser.can_fetch('Hellokitty', 'http://www.taobao.com/article')
- False
- >>> parser.can_fetch('Baiduspider', 'http://www.taobao.com/article')
- True
- >>> parser.can_fetch('Baiduspider', 'http://www.taobao.com/product')
- False
一個簡單的爬蟲
一個基本的爬蟲通常分為數(shù)據(jù)采集(網(wǎng)頁下載)、數(shù)據(jù)處理(網(wǎng)頁解析)和數(shù)據(jù)存儲(將有用的信息持久化)三個部分的內(nèi)容，當(dāng)然更為高級的爬蟲在數(shù)據(jù)采集和處理時會使用并發(fā)編程或分布式技術(shù)，這就需要有調(diào)度器(安排線程或進(jìn)程執(zhí)行對應(yīng)的任務(wù))、后臺管理程序(監(jiān)控爬蟲的工作狀態(tài)以及檢查數(shù)據(jù)抓取的結(jié)果)等的參與。
一般來說，爬蟲的工作流程包括以下幾個步驟：
下面的例子給出了一個從“搜狐體育”上獲取NBA新聞標(biāo)題和鏈接的爬蟲。