av激情亚洲男人的天堂国语,日韩欧美精品一中文字幕,无码av一区二区三区无码,国产又色又爽又刺激的a片,国产又色又爽又刺激的a片

網(wǎng)絡(luò)爬蟲框架Scrapy詳解之Request

介紹

成都創(chuàng)新互聯(lián)公司成立10多年來，這條路我們正越走越好，積累了技術(shù)與客戶資源，形成了良好的口碑。為客戶提供成都網(wǎng)站制作、成都做網(wǎng)站、網(wǎng)站策劃、網(wǎng)頁設(shè)計(jì)、國際域名空間、網(wǎng)絡(luò)營銷、VI設(shè)計(jì)、網(wǎng)站改版、漏洞修補(bǔ)等服務(wù)。網(wǎng)站是否美觀、功能強(qiáng)大、用戶體驗(yàn)好、性價(jià)比高、打開快等等，這些對(duì)于網(wǎng)站建設(shè)都非常重要，成都創(chuàng)新互聯(lián)公司通過對(duì)建站技術(shù)性的掌握、對(duì)創(chuàng)意設(shè)計(jì)的研究為客戶提供一站式互聯(lián)網(wǎng)解決方案，攜手廣大客戶，共同發(fā)展進(jìn)步。

Request類是一個(gè)http請(qǐng)求的類，對(duì)于爬蟲而言是一個(gè)很重要的類。通常在Spider中創(chuàng)建這樣的一個(gè)請(qǐng)求，在Downloader中執(zhí)行這樣的一個(gè)請(qǐng)求。同時(shí)也有一個(gè)子類FormRequest繼承于它，用于post請(qǐng)求。

在Spider中通常用法：   

 
 
 
    
  
  
  
  1. yield scrapy.Request(url = 'zarten.com') 
    2.

類屬性和方法有： 

 
 
 
      
  
  
  • url  
    • 
  
  
  
  • method  
    • 
  
  
  
  • headers  
    • 
  
  
  
  • body  
    • 
  
  
  
  • meta  
    • 
  
  
  
  • copy()  
    • 
  
  
  
  • replace([url, method, headers, body, cookies, meta, encoding, dont_filter, callback, errback]) 
    •

Request   

 
 
 
    
  
  
  
  1. class scrapy.http.Request(url[, callback, method='GET', headers, body, cookies, meta, encoding='utf-8', priority=0, dont_filter=False, errback, flags]) 
    2.

參數(shù)說明:

  •  url 請(qǐng)求的url
  •  callback 回調(diào)函數(shù)，用于接收請(qǐng)求后的返回信息，若沒指定，則默認(rèn)為parse()函數(shù)
  •  method http請(qǐng)求的方式，默認(rèn)為GET請(qǐng)求，一般不需要指定。若需要POST請(qǐng)求，用FormRequest即可
  •  headers 請(qǐng)求頭信息，一般在settings中設(shè)置即可，也可在middlewares中設(shè)置
  •  body str類型，為請(qǐng)求體，一般不需要設(shè)置（get和post其實(shí)都可以通過body來傳遞參數(shù)，不過一般不用）
  •  cookies dict或list類型，請(qǐng)求的cookie dict方式(name和value的鍵值對(duì))：   
 
 
 
    
  
  
  
  1. cookies = {'name1' : 'value1' , 'name2' : 'value2'} 
    2.

list方式：   

 
 
 
    
  
  
  
  1. cookies = [  
    2. 
  
  
  
  2.    {'name': 'Zarten', 'value': 'my name is Zarten', 'domain': 'example.com', 'path': '/currency'}  
    3. 
  
  
  
  3.    ] 
    4.
  •  encoding 請(qǐng)求的編碼方式，默認(rèn)為'utf-8'
  •  priority int類型，指定請(qǐng)求的優(yōu)先級(jí)，數(shù)字越大優(yōu)先級(jí)越高，可以為負(fù)數(shù)，默認(rèn)為0
  •  dont_filter 默認(rèn)為False，若設(shè)置為True，這次請(qǐng)求將不會(huì)過濾（不會(huì)加入到去重隊(duì)列中），可以多次執(zhí)行相同的請(qǐng)求
  •  errback 拋出錯(cuò)誤的回調(diào)函數(shù)，錯(cuò)誤包括404，超時(shí)，DNS錯(cuò)誤等，***個(gè)參數(shù)為Twisted Failure實(shí)例   
 
 
 
    
  
  
  
  1. from scrapy.spidermiddlewares.httperror import HttpError  
    2. 
  
  
  
  2.    from twisted.internet.error import DNSLookupError  
    3. 
  
  
  
  3.    from twisted.internet.error import TimeoutError, TCPTimedOutError  
    4. 
  
  
  
  4.    class ToScrapeCSSSpider(scrapy.Spider):  
    5. 
  
  
  
  5.        name = "toscrape-css"  
    6. 
  
  
  
  6.        # start_urls = [  
    7. 
  
  
  
  7.        #     'http://quotes.toscrape.com/',  
    8. 
  
  
  
  8.        # ]  
    9. 
  
  
  
  9.        start_urls = [  
    10. 
  
  
  
  10.            "http://www.httpbin.org/",  # HTTP 200 expected  
    11. 
  
  
  
  11.            "http://www.httpbin.org/status/404",  # Not found error  
    12. 
  
  
  
  12.            "http://www.httpbin.org/status/500",  # server issue  
    13. 
  
  
  
  13.            "http://www.httpbin.org:12345/",  # non-responding host, timeout expected  
    14. 
  
  
  
  14.            "http://www.httphttpbinbin.org/",  # DNS error expected  
    15. 
  
  
  
  15.        ]  
    16. 
  
  
  
  16.        def start_requests(self):  
    17. 
  
  
  
  17.            for u in self.start_urls:  
    18. 
  
  
  
  18.                yield scrapy.Request(u, callback=self.parse_httpbin,  
    19. 
  
  
  
  19.                                     errback=self.errback_httpbin,  
    20. 
  
  
  
  20.                                     dont_filter=True)  
    21. 
  
  
  
  21.        def parse_httpbin(self, response):  
    22. 
  
  
  
  22.            self.logger.info('Got successful response from {}'.format(response.url))  
    23. 
  
  
  
  23.            # do something useful here...  
    24. 
  
  
  
  24.        def errback_httpbin(self, failure):  
    25. 
  
  
  
  25.            # log all failures  
    26. 
  
  
  
  26.            self.logger.info(repr(failure))  
    27. 
  
  
  
  27.            # in case you want to do something special for some errors,  
    28. 
  
  
  
  28.            # you may need the failure's type:  
    29. 
  
  
  
  29.            if failure.check(HttpError):  
    30. 
  
  
  
  30.                # these exceptions come from HttpError spider middleware  
    31. 
  
  
  
  31.                # you can get the non-200 response  
    32. 
  
  
  
  32.                response = failure.value.response  
    33. 
  
  
  
  33.                self.logger.info('HttpError錯(cuò)誤 on %s', response.url)  
    34. 
  
  
  
  34.            elif failure.check(DNSLookupError):  
    35. 
  
  
  
  35.                # this is the original request  
    36. 
  
  
  
  36.                request = failure.request  
    37. 
  
  
  
  37.                self.logger.info('DNSLookupError錯(cuò)誤 on %s', request.url)  
    38. 
  
  
  
  38.            elif failure.check(TimeoutError, TCPTimedOutError):  
    39. 
  
  
  
  39.                request = failure.request  
    40. 
  
  
  
  40.                self.logger.info('TimeoutError錯(cuò)誤 on %s', request.url) 
    41.
  •  flags list類型，一般不會(huì)用到，發(fā)送請(qǐng)求的標(biāo)志，一般用于日志記錄
  •  meta 可用戶自定義從Request到Response傳遞參數(shù)，這個(gè)參數(shù)一般也可在middlewares中處理   
 
 
 
    
  
  
  
  1. yield scrapy.Request(url = 'zarten.com', meta = {'name' : 'Zarten'}) 
    2.

在Response中： 

 
 
 
    
  
  
  
  1. my_name = response.meta['name'] 
    2.

不過也有scrapy內(nèi)置的特殊key，也非常有用，它們?nèi)缦拢?/p>

  •  proxy 設(shè)置代理，一般在middlewares中設(shè)置

可以設(shè)置http或https代理 

 
 
 
    
  
  
  
  1. request.meta['proxy'] = 'https://' + 'ip:port' 
    2.
  •  downloadtimeout 設(shè)置請(qǐng)求超時(shí)等待時(shí)間（秒），通常在settings中設(shè)置DOWNLOADTIMEOUT，默認(rèn)是180秒（3分鐘）
  •  maxretrytimes ***重試次數(shù)（除去***次下載），默認(rèn)為2次，通常在settings中 RETRY_TIMES設(shè)置
  •  dont_redirect 設(shè)為True后，Request將不會(huì)重定向
  •  dont_retry 設(shè)為True后，對(duì)于http鏈接錯(cuò)誤或超時(shí)的請(qǐng)求將不再重試請(qǐng)求
  •  handlehttpstatuslist http返回碼200-300之間都是成功的返回，超出這個(gè)范圍的都是失敗返回，scrapy默認(rèn)是過濾了這些返回，不會(huì)接收這些錯(cuò)誤的返回進(jìn)行處理。不過可以自定義處理哪些錯(cuò)誤返回：   
 
 
 
    
  
  
  
  1. yield scrapy.Request(url= 'https://httpbin.org/get/zarten', meta= {'handle_httpstatus_list' : [404]}) 
    2.

在parse函數(shù)中可以看到處理404錯(cuò)誤：     

 
 
 
    
  
  
  
  1. def parse(self, response):  
    2. 
  
  
  
  2.     print('返回信息為：',response.text) 
    3.
  •  handlehttpstatusall 設(shè)為True后，Response將接收處理任意狀態(tài)碼的返回信息
  •  dontmergecookies scrapy會(huì)自動(dòng)保存返回的cookies，用于它的下次請(qǐng)求，當(dāng)我們指定了自定義cookies時(shí)，如果我們不需要合并返回的cookies而使用自己指定的cookies，可以設(shè)為True
  •  cookiejar 可以在單個(gè)spider中追蹤多個(gè)cookie，它不是粘性的，需要在每次請(qǐng)求時(shí)都帶上       
 
 
 
    
  
  
  
  1. def start_requests(self):  
    2. 
  
  
  
  2.            urls = ['http://quotes.toscrape.com/page/1',  
    3. 
  
  
  
  3.                    'http://quotes.toscrape.com/page/3',  
    4. 
  
  
  
  4.                    'http://quotes.toscrape.com/page/5',  
    5. 
  
  
  
  5.                    ]  
    6. 
  
  
  
  6.            for i ,url in enumerate(urls):  
    7. 
  
  
  
  7.                yield scrapy.Request(urlurl= url, meta= {'cookiejar' : i})  
    8. 
  
  
  
  8.        def parse(self, response):  
    9. 
  
  
  
  9.            next_page_url = response.css("li.next > a::attr(href)").extract_first()  
    10. 
  
  
  
  10.            if next_page_url is not None:  
    11. 
  
  
  
  11.                yield scrapy.Request(response.urljoin(next_page_url), meta= {'cookiejar' : response.meta['cookiejar']}, callback= self.parse_next)  
    12. 
  
  
  
  12.        def parse_next(self, response):  
    13. 
  
  
  
  13.            print('cookiejar:', response.meta['cookiejar']) 
    14.
  •  dont_cache 設(shè)為True后，不會(huì)緩存
  •  redirect_urls 暫時(shí)還不清楚具體的作用，知道的小伙伴們歡迎在評(píng)論留言
  •  bindaddress 綁定輸出IP
  •  dontobeyrobotstxt 設(shè)為True，不遵守robots協(xié)議，通常在settings中設(shè)置
  •  downloadmaxsize 設(shè)置下載器***下載的大?。ㄗ止?jié)），通常在settings中設(shè)置DOWNLOADMAXSIZE，默認(rèn)為1073741824 (1024MB=1G)，若不設(shè)置***的下載限制，設(shè)為0
  •  download_latency 只讀屬性，獲取請(qǐng)求的響應(yīng)時(shí)間（秒）       
 
 
 
    
  
  
  
  1. def start_requests(self):  
    2. 
  
  
  
  2.            headers = {  
    3. 
  
  
  
  3.                'user-agent' : 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'  
    4. 
  
  
  
  4.            }  
    5. 
  
  
  
  5.            yield scrapy.Request(url= 'https://www.amazon.com', headersheaders= headers)  
    6. 
  
  
  
  6.        def parse(self, response):  
    7. 
  
  
  
  7.            print('響應(yīng)時(shí)間為：', response.meta['download_latency']) 
    8.
  •  downloadfailon_dataloss 很少用到，詳情看這里
  •  referrer_policy 設(shè)置Referrer Policy

FormRequest

FormRequest 類為Request的子類，用于POST請(qǐng)求

這個(gè)類新增了一個(gè)參數(shù) formdata，其他參數(shù)與Request一樣，詳細(xì)可參考上面的講述

一般用法為:   

 
 
 
    
  
  
  
  1. yield scrapy.FormRequest(url="http://www.example.com/post/action",  
    2. 
  
  
  
  2.                        formdata={'name': 'Zarten', 'age': '27'},  
    3. 
  
  
  
  3.                        callback=self.after_post)  
    4.

本文名稱：網(wǎng)絡(luò)爬蟲框架Scrapy詳解之Request
分享路徑：http://uogjgqi.cn/article/dpopcii.html
掃二維碼與項(xiàng)目經(jīng)理溝通

我們?cè)谖⑿派?4小時(shí)期待你的聲音

解答本文疑問/技術(shù)咨詢/運(yùn)營咨詢/技術(shù)建議/互聯(lián)網(wǎng)交流