隨后Googlebot就能夠看到HTML source code并根此生成DOM tree;之后再使用JavaScript engine去render DOM tree并渲染整個(gè)web page;

一、百度搜索引擎是怎么抓取頁面的？

1. 百度搜索引擎采用了“蜘蛛”(Spider)的方法來實(shí)現(xiàn)對Web頁面的自動(dòng)化采集。

目前成都創(chuàng)新互聯(lián)已為上千多家的企業(yè)提供了網(wǎng)站建設(shè)、域名、網(wǎng)絡(luò)空間、網(wǎng)站托管維護(hù)、企業(yè)網(wǎng)站設(shè)計(jì)、囊謙網(wǎng)站維護(hù)等服務(wù)，公司將堅(jiān)持客戶導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長，共同發(fā)展。

2. 這個(gè)過程就是所謂的“機(jī)器人”或者說“機(jī)器人行為”，即通過特定的代理服務(wù)器向目標(biāo)站發(fā)出HTTP請求，以便從中得到想要信息。

3. 當(dāng)然，在此之前必須先解決如何找到目標(biāo)站上存在的新聞、圖片、文件或其它信息。

4. 針對這一問題，網(wǎng)站會(huì)通過不同方式將URL告訴Googlebot, 比如XML Sitemap, Robots.txt, Link Element in HTML Headers 等。

5. Googlebot會(huì)根據(jù)Robots Exclusion Protocol (REP)去遵循并根據(jù)Sitemaps XML文件中聲明好的URLs去釋出Crawl Request來釋出Crawl Request來釋出Crawl Request來處理整個(gè)流程。

6. 具體而言，當(dāng)Googlebot發(fā)送HTTP request時(shí)，web server會(huì)將HTML response作為response body回復(fù)Googlebot;隨后Googlebot就能夠看到HTML source code并根此生成DOM tree;之后再使用JavaScript engine去render DOM tree并渲染整個(gè)web page;最后Googlebot就能看到final rendered web page了。

7. 有時(shí)候也會(huì)針對AJAX requests發(fā)送POST request去fetch dynamic content;考慮到大部分AJAX requests都是GET request, Google bot也會(huì)針對GET AJAX requests發(fā)送request去fetch dynamic content;

8 . 另外一方面，當(dāng)Google bot遵循link element in HTML headers時(shí)( ) ；google bot也能夠follow link elements and fetch the next pages of a paginated series of webpages or blog posts etc.;

9 . 最后要注意的是: Google Bot不會(huì)馬上indexing fetched URLs , 還要考視crawled URL's relevance to user query before indexing it into its search results database ;

10 . 此外 , 由于 google bot 高度依賴 robots exclusion protocol ( REP ) , 所以 website owners 必須在 robots txt file 配置好 google bots 的 crawling rules ；

二、總體來說：

1 . 由于google bot 高度依賴robots exclusion protocol (REP), website owners必須在robots txt file中正確地聲明google bots crawling rules ; 2 . google bot使用spider technology 根???urls list from sitemaps xml files & link elements in html headers to crawl target websites ; 3 . google bots send http requests to target sites & receive html responses as response bodies ; 4 . after that , they generate dom trees by looking at html source codes & render them with javascript engines so as to get final rendered web pages ; 5 . sometimes they also send post/get ajax requests for dynamic contents if necessary ; 6 . finally , they will assess crawled url's relevance to user queries before indexing them into their search results databases

以上就是關(guān)于百度搜索引擎是怎么抓去頁面的?的相關(guān)知識，如果對你產(chǎn)生了幫助就關(guān)注網(wǎng)址吧。

名稱欄目：百度搜索引擎是怎么抓去頁面的?
文章網(wǎng)址：http://uogjgqi.cn/article/cdpipdj.html