Elasticsearch 是一款功能強(qiáng)大的開(kāi)源分布式搜索與數(shù)據(jù)分析引擎，目前國(guó)內(nèi)諸多互聯(lián)網(wǎng)大廠都在使用，包括攜程、滴滴、今日頭條、餓了么、360 安全、小米、vivo 等。

除了搜索之外，結(jié)合 Kibana、Logstash、Beats，Elastic Stack 還被廣泛運(yùn)用在大數(shù)據(jù)近實(shí)時(shí)分析領(lǐng)域，包括日志分析、指標(biāo)監(jiān)控、信息安全等多個(gè)領(lǐng)域。

它可以幫助你探索海量結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，按需創(chuàng)建可視化報(bào)表，對(duì)監(jiān)控?cái)?shù)據(jù)設(shè)置報(bào)警閾值，甚至通過(guò)使用機(jī)器學(xué)習(xí)技術(shù)，自動(dòng)識(shí)別異常狀況。

今天，我們先自上而下，后自底向上的介紹ElasticSearch的底層工作原理，并試圖回答以下問(wèn)題：

• 為什么我的搜索 *foo-bar* 無(wú)法匹配 foo-bar ?
• 為什么增加更多的文件會(huì)壓縮索引(Index)?
• 為什么 ElasticSearch 占用很多內(nèi)存?

圖解 ElasticSearch

elasticsearch 版本: elasticsearch-2.2.0。

①云上的集群

如下圖：

②集群里的盒子

云里面的每個(gè)白色正方形的盒子代表一個(gè)節(jié)點(diǎn)——Node。

③節(jié)點(diǎn)之間

在一個(gè)或者多個(gè)節(jié)點(diǎn)直接，多個(gè)綠色小方塊組合在一起形成一個(gè) ElasticSearch 的索引。

④索引里的小方塊

在一個(gè)索引下，分布在多個(gè)節(jié)點(diǎn)里的綠色小方塊稱(chēng)為分片——Shard。

⑤Shard=Lucene Index

一個(gè) ElasticSearch 的 Shard 本質(zhì)上是一個(gè) Lucene Index。

Lucene 是一個(gè) Full Text 搜索庫(kù)(也有很多其他形式的搜索庫(kù))，ElasticSearch 是建立在 Lucene 之上的。

接下來(lái)的故事要說(shuō)的大部分內(nèi)容實(shí)際上是 ElasticSearch 如何基于 Lucene 工作的。

圖解 Lucene

Mini 索引：Segment

在 Lucene 里面有很多小的 Segment，我們可以把它們看成 Lucene 內(nèi)部的 mini-index。

Segment 內(nèi)部

Segment 內(nèi)部有著許多數(shù)據(jù)結(jié)構(gòu)，如上圖：

• Inverted Index
• Stored Fields
• Document Values
• Cache

最最重要的 Inverted Index

如下圖：

Inverted Index 主要包括兩部分：

• 一個(gè)有序的數(shù)據(jù)字典 Dictionary(包括單詞 Term 和它出現(xiàn)的頻率)。
• 與單詞 Term 對(duì)應(yīng)的 Postings(即存在這個(gè)單詞的文件)。

當(dāng)我們搜索的時(shí)候，首先將搜索的內(nèi)容分解，然后在字典里找到對(duì)應(yīng) Term，從而查找到與搜索相關(guān)的文件內(nèi)容。

①查詢(xún)“the fury”

如下圖：

②自動(dòng)補(bǔ)全(AutoCompletion-Prefix)

如果想要查找以字母“c”開(kāi)頭的字母，可以簡(jiǎn)單的通過(guò)二分查找(Binary Search)在 Inverted Index 表中找到例如“choice”、“coming”這樣的詞(Term)。

③昂貴的查找

如果想要查找所有包含“our”字母的單詞，那么系統(tǒng)會(huì)掃描整個(gè) Inverted Index，這是非常昂貴的。

在此種情況下，如果想要做優(yōu)化，那么我們面對(duì)的問(wèn)題是如何生成合適的 Term。

④問(wèn)題的轉(zhuǎn)化

如下圖：

對(duì)于以上諸如此類(lèi)的問(wèn)題，我們可能會(huì)有幾種可行的解決方案：

• * suffix→xiffus *，如果我們想以后綴作為搜索條件，可以為 Term 做反向處理。
• (60.6384, 6.5017)→ u4u8gyykk，對(duì)于 GEO 位置信息，可以將它轉(zhuǎn)換為 GEO Hash。
• 123→{1-hundreds, 12-tens, 123}，對(duì)于簡(jiǎn)單的數(shù)字，可以為它生成多重形式的 Term。

⑤解決拼寫(xiě)錯(cuò)誤

一個(gè) Python 庫(kù)為單詞生成了一個(gè)包含錯(cuò)誤拼寫(xiě)信息的樹(shù)形狀態(tài)機(jī)，解決拼寫(xiě)錯(cuò)誤的問(wèn)題。

⑥Stored Field 字段查找

當(dāng)我們想要查找包含某個(gè)特定標(biāo)題內(nèi)容的文件時(shí)，Inverted Index 就不能很好的解決這個(gè)問(wèn)題，所以 Lucene 提供了另外一種數(shù)據(jù)結(jié)構(gòu) Stored Fields 來(lái)解決這個(gè)問(wèn)題。

本質(zhì)上，Stored Fields 是一個(gè)簡(jiǎn)單的鍵值對(duì) key-value。默認(rèn)情況下，ElasticSearch 會(huì)存儲(chǔ)整個(gè)文件的 JSON source。

⑦Document Values 為了排序，聚合

即使這樣，我們發(fā)現(xiàn)以上結(jié)構(gòu)仍然無(wú)法解決諸如：排序、聚合、facet，因?yàn)槲覀兛赡軙?huì)要讀取大量不需要的信息。

所以，另一種數(shù)據(jù)結(jié)構(gòu)解決了此種問(wèn)題：Document Values。這種結(jié)構(gòu)本質(zhì)上就是一個(gè)列式的存儲(chǔ)，它高度優(yōu)化了具有相同類(lèi)型的數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)。

為了提高效率，ElasticSearch 可以將索引下某一個(gè) Document Value 全部讀取到內(nèi)存中進(jìn)行操作，這大大提升訪(fǎng)問(wèn)速度，但是也同時(shí)會(huì)消耗掉大量的內(nèi)存空間。

總之，這些數(shù)據(jù)結(jié)構(gòu) Inverted Index、Stored Fields、Document Values 及其緩存，都在 segment 內(nèi)部。

搜索發(fā)生時(shí)

搜索時(shí)，Lucene 會(huì)搜索所有的 Segment 然后將每個(gè) Segment 的搜索結(jié)果返回，最后合并呈現(xiàn)給客戶(hù)。

Lucene 的一些特性使得這個(gè)過(guò)程非常重要：

• Segments 是不可變的(immutable)：Delete?當(dāng)刪除發(fā)生時(shí)，Lucene 做的只是將其標(biāo)志位置為刪除，但是文件還是會(huì)在它原來(lái)的地方，不會(huì)發(fā)生改變。

Update?所以對(duì)于更新來(lái)說(shuō)，本質(zhì)上它做的工作是：先刪除，然后重新索引(Re-index)。

• 隨處可見(jiàn)的壓縮：Lucene 非常擅長(zhǎng)壓縮數(shù)據(jù)，基本上所有教科書(shū)上的壓縮方式，都能在 Lucene 中找到。
• 緩存所有的所有：Lucene 也會(huì)將所有的信息做緩存，這大大提高了它的查詢(xún)效率。

緩存的故事

當(dāng) ElasticSearch 索引一個(gè)文件的時(shí)候，會(huì)為文件建立相應(yīng)的緩存，并且會(huì)定期(每秒)刷新這些數(shù)據(jù)，然后這些文件就可以被搜索到。

隨著時(shí)間的增加，我們會(huì)有很多 Segments，如下圖：

所以 ElasticSearch 會(huì)將這些 Segment 合并，在這個(gè)過(guò)程中，Segment 會(huì)最終被刪除掉。

這就是為什么增加文件可能會(huì)使索引所占空間變小，它會(huì)引起 Merge，從而可能會(huì)有更多的壓縮。

舉個(gè)栗子

有兩個(gè) Segment 將會(huì) Merge：

這兩個(gè) Segment 最終會(huì)被刪除，然后合并成一個(gè)新的 Segment，如下圖：

這時(shí)這個(gè)新的 Segment 在緩存中處于 Cold 狀態(tài)，但是大多數(shù) Segment 仍然保持不變，處于 Warm 狀態(tài)。

以上場(chǎng)景經(jīng)常在 Lucene Index 內(nèi)部發(fā)生的，如下圖：

在 Shard 中搜索

ElasticSearch 從 Shard 中搜索的過(guò)程與 Lucene Segment 中搜索的過(guò)程類(lèi)似。

與在 Lucene Segment 中搜索不同的是，Shard 可能是分布在不同 Node 上的，所以在搜索與返回結(jié)果時(shí)，所有的信息都會(huì)通過(guò)網(wǎng)絡(luò)傳輸。

需要注意的是：1 次搜索查找 2 個(gè) Shard=2 次分別搜索 Shard。

對(duì)于日志文件的處理：當(dāng)我們想搜索特定日期產(chǎn)生的日志時(shí)，通過(guò)根據(jù)時(shí)間戳對(duì)日志文件進(jìn)行分塊與索引，會(huì)極大提高搜索效率。

當(dāng)我們想要?jiǎng)h除舊的數(shù)據(jù)時(shí)也非常方便，只需刪除老的索引即可。

在上種情況下，每個(gè) Index 有兩個(gè) Shards。

如何 Scale

如下圖：

Shard 不會(huì)進(jìn)行更進(jìn)一步的拆分，但是 Shard 可能會(huì)被轉(zhuǎn)移到不同節(jié)點(diǎn)上。

所以，如果當(dāng)集群節(jié)點(diǎn)壓力增長(zhǎng)到一定的程度，我們可能會(huì)考慮增加新的節(jié)點(diǎn)，這就會(huì)要求我們對(duì)所有數(shù)據(jù)進(jìn)行重新索引，這是我們不太希望看到的。

所以我們需要在規(guī)劃的時(shí)候就考慮清楚，如何去平衡足夠多的節(jié)點(diǎn)與不足節(jié)點(diǎn)之間的關(guān)系。

節(jié)點(diǎn)分配與 Shard 優(yōu)化：

• 為更重要的數(shù)據(jù)索引節(jié)點(diǎn)，分配性能更好的機(jī)器。
• 確保每個(gè) Shard 都有副本信息 Replica。

路由 Routing：每個(gè)節(jié)點(diǎn)，每個(gè)都存留一份路由表，所以當(dāng)請(qǐng)求到任何一個(gè)節(jié)點(diǎn)時(shí)，ElasticSearch 都有能力將請(qǐng)求轉(zhuǎn)發(fā)到期望節(jié)點(diǎn)的 Shard 進(jìn)一步處理。

一個(gè)真實(shí)的請(qǐng)求

如下圖：

①Q(mào)uery

如下圖：

Query 有一個(gè)類(lèi)型 filtered，以及一個(gè) multi_match 的查詢(xún)。

②Aggregation

如下圖：

根據(jù)作者進(jìn)行聚合，得到 top10 的 hits 的 top10 作者的信息。

③請(qǐng)求分發(fā)

這個(gè)請(qǐng)求可能被分發(fā)到集群里的任意一個(gè)節(jié)點(diǎn)，如下圖：

④上帝節(jié)點(diǎn)

如下圖：

這時(shí)這個(gè)節(jié)點(diǎn)就成為當(dāng)前請(qǐng)求的協(xié)調(diào)者(Coordinator)，它決定：

• 根據(jù)索引信息，判斷請(qǐng)求會(huì)被路由到哪個(gè)核心節(jié)點(diǎn)。
• 以及哪個(gè)副本是可用的。
• 等等。

⑤路由

如下圖：

⑥在真實(shí)搜索之前

ElasticSearch 會(huì)將 Query 轉(zhuǎn)換成 Lucene Query，如下圖：

然后在所有的 Segment 中執(zhí)行計(jì)算，如下圖：

對(duì)于 Filter 條件本身也會(huì)有緩存，如下圖：

但 Queries 不會(huì)被緩存，所以如果相同的 Query 重復(fù)執(zhí)行，應(yīng)用程序自己需要做緩存。

所以：

• Filters 可以在任何時(shí)候使用。
• Query 只有在需要 Score 的時(shí)候才使用。

⑦返回

搜索結(jié)束之后，結(jié)果會(huì)沿著下行的路徑向上逐層返回，如下圖：

作者：Richaaaard

編輯：陶家龍

出處：http://dwz.date/c3fC

網(wǎng)站欄目：圖解ElasticSearch原理，你可收好了!
標(biāo)題路徑：http://uogjgqi.cn/article/cdheddo.html