掃二維碼與項(xiàng)目經(jīng)理溝通
我們?cè)谖⑿派?4小時(shí)期待你的聲音
解答本文疑問/技術(shù)咨詢/運(yùn)營(yíng)咨詢/技術(shù)建議/互聯(lián)網(wǎng)交流
一、CPU Cache
創(chuàng)新互聯(lián)公司是創(chuàng)新、創(chuàng)意、研發(fā)型一體的綜合型網(wǎng)站建設(shè)公司，自成立以來公司不斷探索創(chuàng)新，始終堅(jiān)持為客戶提供滿意周到的服務(wù)，在本地打下了良好的口碑，在過去的十多年時(shí)間我們累計(jì)服務(wù)了上千家以及全國(guó)政企客戶，如成都石雕等企業(yè)單位，完善的項(xiàng)目管理流程，嚴(yán)格把控項(xiàng)目進(jìn)度與質(zhì)量監(jiān)控加上過硬的技術(shù)實(shí)力獲得客戶的一致稱贊。
存儲(chǔ)設(shè)備往往是速度越快價(jià)格越昂貴，速度越快價(jià)格越低廉。
在計(jì)算機(jī)中，CPU 的速度遠(yuǎn)高于主存的速度，而主存的速度又遠(yuǎn)高于磁盤的速度。為了解決不同存儲(chǔ)部件的速度不對(duì)等問題，讓高速設(shè)備充分發(fā)揮性能，引入了多級(jí)緩存機(jī)制。
為了解決內(nèi)存和 CPU 的速度不匹配問題，相繼引入了 L1 Cache、L2 Cache、L3 Cache，數(shù)字越小，容量越小，速度越快，位置越接近 CPU。
現(xiàn)在的 CPU 都是由多個(gè)處理器，每個(gè)處理器由多個(gè)核心構(gòu)成。一個(gè)處理器對(duì)應(yīng)一個(gè)物理插槽，不同的處理器間通過 QPI 總線相連。
一個(gè)處理器間的多核共享 L3 Cache。一個(gè)核包含寄存器、L1 Cache、L2 Cache，下圖是Intel Sandy Bridge CPU架構(gòu)：
二、緩存行與偽共享
緩存中的數(shù)據(jù)并不是獨(dú)立的進(jìn)行存儲(chǔ)的，它的最小存儲(chǔ)單位是緩存行，緩存行的大小是2的整數(shù)冪個(gè)字節(jié)，最常見的緩存行大小是 64 字節(jié)。CPU 為了執(zhí)行的高效，會(huì)在讀取某個(gè)對(duì)象時(shí)，從內(nèi)存上加載 64 的整數(shù)倍的長(zhǎng)度，來補(bǔ)齊緩存行。
以 Java 的 long 類型為例，它是 8 個(gè)字節(jié)，假設(shè)我們存在一個(gè)長(zhǎng)度為 8 的 long 數(shù)組 arr，那么CPU 在讀取 arr[0] 時(shí)，首先查詢緩存，緩存沒有命中，緩存就會(huì)去內(nèi)存中加載。
由于緩存的最小存儲(chǔ)單位是緩存行，64 字節(jié)，且數(shù)組的內(nèi)存地址是連續(xù)的，則將 arr[0] 到 arr[7] 加載到緩存中。后續(xù) CPU 查詢 arr[6] 時(shí)候也可以直接命中緩存。
現(xiàn)在假設(shè)多線程情況下，線程 A 的執(zhí)行者 CPU Core-1 讀取 arr[1]，首先查詢緩存，緩存沒有命中，緩存就會(huì)去內(nèi)存中加載。
從內(nèi)存中讀取 arr[1] 起的連續(xù)的 64 個(gè)字節(jié)地址到緩存中，組成緩存行。由于從arr[1] 起，arr 的長(zhǎng)度不足夠 64 個(gè)字節(jié)，只夠 56 個(gè)字節(jié)。假設(shè)最后 8 個(gè)字節(jié)內(nèi)存地址上存儲(chǔ)的是對(duì)象 bar，那么對(duì)象 bar 也會(huì)被一起加載到緩存行中。
現(xiàn)在有另一個(gè)線程 B，線程 B 的執(zhí)行者 CPU Core-2 去讀取對(duì)象 bar，首先查詢緩存，發(fā)現(xiàn)命中了，因?yàn)?Core-1 在讀取 arr 數(shù)組的時(shí)候也順帶著把 bar 加載到了緩存中。
這就是緩存行共享，聽起來不錯(cuò)，但是一旦牽扯到了寫入操作就不妙了。
假設(shè) Core-1 想要更新 arr[7] 的值，根據(jù) CPU 的 MESI 協(xié)議，那么它所屬的緩存行就會(huì)被標(biāo)記為失效。因?yàn)樗枰嬖V其他的 Core，這個(gè) arr[7] 的值已經(jīng)被更新了，緩存已經(jīng)不再準(zhǔn)確了，你必須得重新去內(nèi)存拉取。但是由于緩存的最小單元是緩存行，因此只能把 arr[7] 所在的一整行給標(biāo)識(shí)為失效。
此時(shí) Core-2 就會(huì)很郁悶了，剛剛還能夠從緩存中讀取到對(duì)象 bar，現(xiàn)在再讀取卻被告知緩存行失效，必須得去內(nèi)存重新拉取，延緩了 Core-2 的執(zhí)行效率。
這就是緩存?zhèn)喂蚕韱栴}，兩個(gè)毫無關(guān)聯(lián)的線程執(zhí)行，一個(gè)線程卻因?yàn)榱硪粋€(gè)線程的操作，導(dǎo)致緩存失效。這兩個(gè)線程其實(shí)就是對(duì)同一緩存行產(chǎn)生了競(jìng)爭(zhēng)，降低了并發(fā)性。
三、Disruptor 緩存行填充
Disruptor 為了解決偽共享問題，使用的方法是緩存行填充。這是一種以空間換時(shí)間的策略，主要思想就是通過往對(duì)象中填充無意義的變量，來保證整個(gè)對(duì)象獨(dú)占緩存行。
舉個(gè)例子，以 Disruptor 中的 Sequence 為例，在 volatile long value 的前后各放置了 7 個(gè) long 型變量，確保 value 獨(dú)占一個(gè)緩存行。
- public class Sequence extends RhsPadding {
- private static final long VALUE_OFFSET;
- static {
- VALUE_OFFSET = UNSAFE.objectFieldOffset(Value.class.getDeclaredField("value"));
- ...
- }
- ...
- }
- class RhsPadding extends Value {
- protected long p9, p10, p11, p12, p13, p14, p15;
- }
- class Value extends LhsPadding {
- protected volatile long value;
- }
- class LhsPadding {
- protected long p1, p2, p3, p4, p5, p6, p7;
- }
如下圖所示，其中 V 就是 Value 類的 value，P 為 value 前后填充的無意義 long 型變量，U 為其它無關(guān)的變量。不論什么情況下，都能保證 V 不和其他無關(guān)的變量處于同一緩存行中，這樣 V 就不會(huì)被其他無關(guān)的變量所影響。
這里的 V 也不限定為 long 類型，其實(shí)只要對(duì)象的大小大于等于8個(gè)字節(jié)，通過前后各填充 7 個(gè) long 型變量，就一定能夠保證獨(dú)占緩存行。
此處以 Disruptor 的 RingBuffer 為例，最左邊的 7 個(gè) long 型變量被定義在頂級(jí)父類 RingBufferPad 中，最右邊的 7 個(gè) long 型變量被定義在 RingBuffer 的最后一行變量定義中，這樣所有的需要獨(dú)占的變量都被左右 long 型給包圍，確保會(huì)獨(dú)占緩存行。
- public final class RingBuffer
extends RingBufferFields implements Cursored, EventSequencer , EventSink { - public static final long INITIAL_CURSOR_VALUE = Sequence.INITIAL_VALUE;
- protected long p1, p2, p3, p4, p5, p6, p7;
- ...
- }
- abstract class RingBufferFields
extends RingBufferPad - {
- ...
- }
- abstract class RingBufferPad {
- protected long p1, p2, p3, p4, p5, p6, p7;
- }
四、@Contended
在 JDK 1.8 中，提供了 @sun.misc.Contended 注解，使用該注解就可以讓變量獨(dú)占緩存行，不再需要手動(dòng)填充了。另外，關(guān)注公眾號(hào)Java技術(shù)棧，在后臺(tái)回復(fù)：Java，可以獲取我整理的 Java 1.8 系列教程，非常齊全。
注意，JVM 需要添加參數(shù) -XX:-RestrictContended 才能開啟此功能。46張PPT弄懂JVM、GC算法和性能調(diào)優(yōu)，分享給你。
如果該注解被定義在了類上，表示該類的每個(gè)變量都會(huì)獨(dú)占緩存行；如果被定義在了變量上，通過指定 groupName，相同的 groupName 會(huì)獨(dú)占同一緩存行。
- // 類前加上代表整個(gè)類的每個(gè)變量都會(huì)在單獨(dú)的cache line中
- @sun.misc.Contended
- public class ContendedData {
- int value;
- long modifyTime;
- boolean flag;
- long createTime;
- char key;
- }
- // 同一 groupName 在同一緩存行
- public class ContendedGroupData {
- @sun.misc.Contended("group1")
- int value;
- @sun.misc.Contended("group1")
- long modifyTime;
- @sun.misc.Contended("group2")
- boolean flag;
- @sun.misc.Contended("group3")
- long createTime;
- @sun.misc.Contended("group3")
- char key;
- }
@Contended 在 JDK 源碼中已經(jīng)有所應(yīng)用，以 Thread 類為例，為了保證多線程情況下隨機(jī)數(shù)的操作不會(huì)產(chǎn)生偽共享，相關(guān)的變量被設(shè)置為同一 groupName。
- public class Thread implements Runnable {
- ...
- // The following three initially uninitialized fields are exclusively
- // managed by class java.util.concurrent.ThreadLocalRandom. These
- // fields are used to build the high-performance PRNGs in the
- // concurrent code, and we can not risk accidental false sharing.
- // Hence, the fields are isolated with @Contended.
- /** The current seed for a ThreadLocalRandom */
- @sun.misc.Contended("tlr")
- long threadLocalRandomSeed;
- /** Probe hash value; nonzero if threadLocalRandomSeed initialized */
- @sun.misc.Contended("tlr")
- int threadLocalRandomProbe;
- /** Secondary seed isolated from public ThreadLocalRandom sequence */
- @sun.misc.Contended("tlr")
- int threadLocalRandomSecondarySeed;
- ...
- }
五、速度測(cè)試
將 volatile long value 封裝為對(duì)象，四線程并行，每個(gè)線程循環(huán) 1 億次，對(duì) value 進(jìn)行更新操作，測(cè)試緩存行對(duì)速度的影響。
我們?cè)谖⑿派?4小時(shí)期待你的聲音
解答本文疑問/技術(shù)咨詢/運(yùn)營(yíng)咨詢/技術(shù)建議/互聯(lián)網(wǎng)交流
微信二維碼
微信二維碼
移動(dòng)版官網(wǎng)