Spark 的持續(xù)性存儲(chǔ)是指在進(jìn)行數(shù)據(jù)處理時(shí)，中間結(jié)果的存儲(chǔ)選項(xiàng)，Apache Spark 提供了多種持久化機(jī)制來(lái)優(yōu)化內(nèi)存使用和提高計(jì)算效率，以下是 Spark 中可用的幾種主要持續(xù)性存儲(chǔ)選項(xiàng)：

創(chuàng)新互聯(lián)主要從事做網(wǎng)站、成都網(wǎng)站制作、網(wǎng)頁(yè)設(shè)計(jì)、企業(yè)做網(wǎng)站、公司建網(wǎng)站等業(yè)務(wù)。立足成都服務(wù)天峻,十載網(wǎng)站建設(shè)經(jīng)驗(yàn),價(jià)格優(yōu)惠、服務(wù)專(zhuān)業(yè),歡迎來(lái)電咨詢(xún)建站服務(wù):18982081108

1. 內(nèi)存持久化（MEMORY）

內(nèi)存持久化是最快的存儲(chǔ)級(jí)別，因?yàn)樗鼘?shù)據(jù)保存在 JVM 堆空間中，從而允許快速的讀取操作，這種方式的缺點(diǎn)是如果內(nèi)存不足，可能會(huì)導(dǎo)致一些數(shù)據(jù)被移除以騰出空間，進(jìn)而可能影響任務(wù)的穩(wěn)定性。

2. 磁盤(pán)持久化（DISK）

當(dāng)數(shù)據(jù)量過(guò)大不適合全部放入內(nèi)存中時(shí)，可以選擇磁盤(pán)持久化，這會(huì)將數(shù)據(jù)寫(xiě)入磁盤(pán)，雖然速度比內(nèi)存慢，但是可以處理更大數(shù)據(jù)量且不會(huì)因?yàn)閮?nèi)存限制而出現(xiàn)數(shù)據(jù)丟失的問(wèn)題。

3. 序列化后復(fù)制（SERIALIZED）

在這種模式下，Spark 會(huì)將數(shù)據(jù)序列化后存儲(chǔ)在節(jié)點(diǎn)的內(nèi)存或磁盤(pán)上，序列化后的數(shù)據(jù)通常占用的空間較小，但會(huì)帶來(lái)額外的序列化和反序列化的開(kāi)銷(xiāo)。

4. 外部存儲(chǔ)（OFF_HEAP）

有時(shí)為了避免內(nèi)存溢出或者優(yōu)化資源使用，可以將數(shù)據(jù)存儲(chǔ)在 JVM 之外的地方，如 Tachyon、Alluxio 或者 Hadoop 分布式文件系統(tǒng)（HDFS），這些存儲(chǔ)系統(tǒng)能夠提供可靠的數(shù)據(jù)備份和恢復(fù)機(jī)制。

5. 堆外內(nèi)存存儲(chǔ)（OFF_HEAP）

與外部存儲(chǔ)類(lèi)似，堆外內(nèi)存存儲(chǔ)將數(shù)據(jù)保存在 JVM 堆外內(nèi)存中，這種存儲(chǔ)方式適用于那些需要長(zhǎng)時(shí)間存活的對(duì)象，以避免頻繁的垃圾回收對(duì)性能的影響。

6. 非序列化復(fù)制（NONE）

這是一個(gè)特殊的存儲(chǔ)級(jí)別，不進(jìn)行任何持久化操作，在這種模式下，如果一個(gè)節(jié)點(diǎn)失效，那么該節(jié)點(diǎn)上的所有分區(qū)都必須重新計(jì)算，它通常只在有高容錯(cuò)保障的環(huán)境中使用，比如所有數(shù)據(jù)都可以從源頭快速重新獲取。

7. 堆外內(nèi)存序列化（OFF_HEAP_SERIALIZED）

結(jié)合了堆外內(nèi)存和非序列化的特點(diǎn)，數(shù)據(jù)會(huì)被序列化并存儲(chǔ)在堆外內(nèi)存中，這種方式有助于減少內(nèi)存的使用量，但會(huì)增加讀寫(xiě)數(shù)據(jù)的開(kāi)銷(xiāo)。

選擇正確的持久化策略

在選擇適合的持久化策略時(shí)，需要考慮以下因素：

1、有效內(nèi)存: 考慮集群中的可用內(nèi)存大小。

2、數(shù)據(jù)重用頻率: 如果數(shù)據(jù)集需要多次使用，則應(yīng)優(yōu)先考慮內(nèi)存中的持久化。

3、成本: 持久化操作可能會(huì)帶來(lái)額外的計(jì)算和存儲(chǔ)成本。

4、穩(wěn)定性與容錯(cuò)性: 分析作業(yè)對(duì)于節(jié)點(diǎn)故障的敏感度。

根據(jù)不同的應(yīng)用場(chǎng)景和資源情況，開(kāi)發(fā)者需要權(quán)衡利弊，選擇最合適的持久化級(jí)別。

相關(guān)問(wèn)題與解答

Q1: 什么情況下應(yīng)該選擇使用堆外內(nèi)存存儲(chǔ)？

A1: 當(dāng)需要減少 JVM 堆內(nèi)壓力，或者處理大量不需要頻繁訪(fǎng)問(wèn)的數(shù)據(jù)時(shí)，可以考慮使用堆外內(nèi)存存儲(chǔ)。

Q2: SERIALIZED 和 OFF_HEAP_SERIALIZED 的區(qū)別是什么？

A2: SERIALIZED 是將數(shù)據(jù)序列化后存儲(chǔ)在 JVM 堆內(nèi)，而 OFF_HEAP_SERIALIZED 是將數(shù)據(jù)序列化后存儲(chǔ)在 JVM 堆外，后者可以更好地防止內(nèi)存溢出。

Q3: 在什么情況下應(yīng)該避免使用 MEMORY 存儲(chǔ)級(jí)別？

A3: 當(dāng)處理的數(shù)據(jù)量超過(guò)可用內(nèi)存容量，或者有其他重要任務(wù)同時(shí)運(yùn)行在同一個(gè) JVM 上，可能導(dǎo)致內(nèi)存競(jìng)爭(zhēng)時(shí)，應(yīng)該避免使用 MEMORY 存儲(chǔ)級(jí)別。

Q4: 是否所有的節(jié)點(diǎn)都需要有持久化數(shù)據(jù)？

A4: 不是，只有那些執(zhí)行了持久化操作的任務(wù)所在的節(jié)點(diǎn)才會(huì)保存持久化數(shù)據(jù)，當(dāng)某個(gè)節(jié)點(diǎn)發(fā)生故障時(shí)，只需要在該節(jié)點(diǎn)上重新執(zhí)行相應(yīng)的任務(wù)即可。

當(dāng)前文章：Spark的持續(xù)性存儲(chǔ)有哪些選項(xiàng)
路徑分享：http://uogjgqi.cn/article/ccehcds.html