av激情亚洲男人的天堂国语,日韩欧美精品一中文字幕,无码av一区二区三区无码,国产又色又爽又刺激的a片,国产又色又爽又刺激的a片

帶你吃透幾種大廠分布式ID設(shè)計方案

帶你吃透幾種大廠分布式id設(shè)計方案

作者：無聊 2021-06-04 20:09:19
網(wǎng)絡(luò)
通信技術(shù)
分布式 最近公司在擴招后端高級開發(fā)，有幸成為面試官之一，其中問的最多一個問題就是分布式ID的幾種解決方案，不客氣的說前身小公司的開發(fā)答得完整的很少。

創(chuàng)新互聯(lián)公司堅持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：成都網(wǎng)站建設(shè)、成都做網(wǎng)站、企業(yè)官網(wǎng)、英文網(wǎng)站、手機端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時代的元江縣網(wǎng)站設(shè)計、移動媒體設(shè)計的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！

本文轉(zhuǎn)載自微信公眾號「無聊學(xué)Java」，作者無聊。轉(zhuǎn)載本文請聯(lián)系無聊學(xué)Java公眾號。

前言

最近公司在擴招后端高級開發(fā)，有幸成為面試官之一，其中問的最多一個問題就是分布式ID的幾種解決方案，不客氣的說前身小公司的開發(fā)答得完整的很少。

于是就抽出了周末的時間整理了幾種主流的分布式ID生成方案，希望能夠幫助到你們。

開篇幾個問題

1. 為什么需要分布式全局唯一ID以及分布式ID的業(yè)務(wù)需求

在復(fù)雜分布式系統(tǒng)中，往往需要對大量的數(shù)據(jù)和消息進行唯一標識。

  • 如在美團點評的金融、支付、餐飲、酒店等業(yè)務(wù)場景
  • 貓眼電影等產(chǎn)品的系統(tǒng)中數(shù)據(jù)日漸增長，對數(shù)據(jù)分庫分表后需要有一個唯一ID來表示一條數(shù)據(jù)或者消息。
  • 特別一點的如訂單、騎手、優(yōu)惠劵也都需要一個唯一ID做為標識。

此時一個能生成唯一ID的系統(tǒng)是非常必要的。

2. ID生成規(guī)則部分硬性要求

  • 全局唯一：既然是唯一標識，那么全局唯一是最基本的要求。
  • 趨勢遞增：在MySQL的InnoDB引擎中使用的是聚集索引，由于多數(shù)RDBMS使用Btree的數(shù)據(jù)結(jié)構(gòu)來存儲索引數(shù)據(jù)，在主鍵的選擇上面我們應(yīng)該盡量使用有序的主鍵來保證寫入性能。
  • 單調(diào)遞增：保證下一個ID一定大于上一個ID，例如事務(wù)版本號、IM增量消息、排序等特殊需求。
  • 信息安全：如果ID是連續(xù)的，那么惡意用戶的扒取工作就非常容易做了，直接按照順序下載指定URL即可;如果是訂單號那么更加危險，競爭對手可以知道我們一天的單量;所以在一些應(yīng)用場景下，需要ID無規(guī)則不規(guī)則，讓競爭對手不好猜。
  • 含時間戳：這樣就能在開發(fā)中快速了解這個分布式ID的生成時間。

3. ID生成系統(tǒng)的可用性要求

  • 高可用：發(fā)一個獲取分布式ID的請求，服務(wù)器就要保證99.999%的情況下給我創(chuàng)建一個唯一分布式ID
  • 低延遲：發(fā)一個獲取分布式ID的請求，服務(wù)器就要快，極速
  • 高QPS：假如并發(fā)一口氣10萬個創(chuàng)建分布式ID請求同時過來，服務(wù)器需要頂?shù)米∏页晒?chuàng)建10萬個分布式ID

通用的幾種方案

隨著系統(tǒng)架構(gòu)以及業(yè)務(wù)的演變，分布式ID生成也是有N中解決方案，以下就簡單的列舉幾種。

1. UUID

這種方案估計大家都了解，最簡單的一種方案。

  
 
 
 
    
   
  
  
  
  1. public static void main(String[] args) { 
    2.    
  
  
  
  2.     String uuid = UUID.randomUUID().toString(); 
    3.    
  
  
  
  3.     System.out.println(uuid); 
    4.    
  
  
  
  4. } 
    5.

如果只是考慮唯一性，那么UUID基本可以滿足需求。

缺點

  • 無序：無法預(yù)測他的生成順序，不能生成遞增有序的數(shù)字
  • 主鍵：ID作為主鍵時在特定的環(huán)境下會存在一些問題，比如做DB主鍵的場景下，UUID非常不適用，MySQL官方有明確的建議主鍵要盡量越短越好，36位的UUID不合要求。
  • 索引：會導(dǎo)致B+樹索引的分裂。

2. 數(shù)據(jù)庫自增主鍵

此種方案有一定的局限性，在高并發(fā)集群上此策略不可用。

3. 基于Redis生成全局ID策略

  • 因為Redis是單線程，天生保證原子性，所以可以使用INCR和INCRBY來實現(xiàn)。
  • 集群分布式

在Redis集群下，同樣和MySQL一樣需要設(shè)置不同的增長步數(shù)，同時key需要設(shè)置有效期;可以使用Redis集群來獲取更高的吞吐量;假如一個集群中有五個Redis，那么初始化每臺Redis步長分別是1，2，3，4，5，然后步長都是5。

4. snowflake(雪花算法)

  • 推特的雪花算法生成ID能夠按照時間有序生成。
  • 雪花算法生成ID的結(jié)果是一個64bit大小的整數(shù)，為一個Long型(轉(zhuǎn)換為字符串后長度最多19)
  • 分布式系統(tǒng)內(nèi)不會產(chǎn)生ID碰撞(由datecenter和workerId作區(qū)分)，并且效率較高。

結(jié)構(gòu)

雪花算法的幾個核心組成部分如下圖：

號段解析

  • 1bit符號位：不用，因為二進制最高位是符號位，1表示負數(shù)，0表示正數(shù)，生成的id一般都是用正數(shù)，所以最高位固定位0
  • 41bit時間戳，用于記錄時間戳，毫秒級
    • 41位可以表示2^41 - 1個數(shù)字
    • 如果只用來表示正整數(shù)(計算機正數(shù)包含0)，可以表示的數(shù)值范圍是0-2^41 - 1，減一是因為可表示的數(shù)值范圍是從0開始算的，而不是1
    • 也就是說41位可以表示2^41 - 1個毫秒的值，轉(zhuǎn)換為單位年則是69年。
  • 10bit工作進程位，用于記錄工作機器id
    • 可以部署在2^10 = 1024個節(jié)點，包括五位datacenterId和五位workerId
    • 五位可以表示的最大整數(shù)位2^5 - 1 = 31，即可以使用0，1，2…31這32個數(shù)字來表示不同的datacenterId和workerId
  • 12bit序列號，序列號，用來記錄同毫秒內(nèi) 產(chǎn)生的不同的ID
    • 12bit可以表示的最大正整數(shù)位2^12 - 1 = 4095，即可以表示0，1….4094這4095個數(shù)字
    • 表示同一機器同一時間戳(毫秒)中產(chǎn)生的4095個ID序號

優(yōu)點

  • 所有生成的id按時間趨勢遞增
  • 整個分布式內(nèi)不會產(chǎn)生重復(fù)id，因為有datacenterId和workerId來做區(qū)分。
  • 毫秒數(shù)在高位，自增序列在低位，整個ID都是趨勢遞增的
  • 不依賴數(shù)據(jù)庫、redis等第三方系統(tǒng)，以服務(wù)的方式部署，穩(wěn)定性更高，生成ID的性能也是非常高的。
  • 可以根據(jù)自身業(yè)務(wù)分配bit位，非常靈活。

缺點

  • 依賴機器時鐘，如果機器時鐘回退，會導(dǎo)致重復(fù)ID生成
  • 在單機上是遞增的，但是由于設(shè)計到分布式環(huán)境，每臺機器上的時鐘不可能完全同步，有時候會出現(xiàn)不是全局遞增的情況。(此缺點可以認為蕪鎖胃，一般分布式ID只要求趨勢遞增，并不會嚴格要求遞增，90%的需求都只需要趨勢遞增)

源碼

  
 
 
 
    
   
  
  
  
  1. /** 
    2.    
  
  
  
  2.  * twitter的snowflake算法 -- java實現(xiàn) 
    3.    
  
  
  
  3.  *  
    4.    
  
  
  
  4.  * @author beyond 
    5.    
  
  
  
  5.  * @date 2016/11/26 
    6.    
  
  
  
  6.  */ 
    7.    
  
  
  
  7. public class SnowFlake { 
    8.    
  
  
  
  8.  
    9.    
  
  
  
  9.     /** 
    10.    
  
  
  
  10.      * 起始的時間戳 
    11.    
  
  
  
  11.      */ 
    12.    
  
  
  
  12.     private final static long START_STMP = 1480166465631L; 
    13.    
  
  
  
  13.  
    14.    
  
  
  
  14.     /** 
    15.    
  
  
  
  15.      * 每一部分占用的位數(shù) 
    16.    
  
  
  
  16.      */ 
    17.    
  
  
  
  17.     private final static long SEQUENCE_BIT = 12; //序列號占用的位數(shù) 
    18.    
  
  
  
  18.     private final static long MACHINE_BIT = 5;   //機器標識占用的位數(shù) 
    19.    
  
  
  
  19.     private final static long DATACENTER_BIT = 5;//數(shù)據(jù)中心占用的位數(shù) 
    20.    
  
  
  
  20.  
    21.    
  
  
  
  21.     /** 
    22.    
  
  
  
  22.      * 每一部分的最大值 
    23.    
  
  
  
  23.      */ 
    24.    
  
  
  
  24.     private final static long MAX_DATACENTER_NUM = -1L ^ (-1L << DATACENTER_BIT); 
    25.    
  
  
  
  25.     private final static long MAX_MACHINE_NUM = -1L ^ (-1L << MACHINE_BIT); 
    26.    
  
  
  
  26.     private final static long MAX_SEQUENCE = -1L ^ (-1L << SEQUENCE_BIT); 
    27.    
  
  
  
  27.  
    28.    
  
  
  
  28.     /** 
    29.    
  
  
  
  29.      * 每一部分向左的位移 
    30.    
  
  
  
  30.      */ 
    31.    
  
  
  
  31.     private final static long MACHINE_LEFT = SEQUENCE_BIT; 
    32.    
  
  
  
  32.     private final static long DATACENTER_LEFT = SEQUENCE_BIT + MACHINE_BIT; 
    33.    
  
  
  
  33.     private final static long TIMESTMP_LEFT = DATACENTER_LEFT + DATACENTER_BIT; 
    34.    
  
  
  
  34.  
    35.    
  
  
  
  35.     private long datacenterId;  //數(shù)據(jù)中心 
    36.    
  
  
  
  36.     private long machineId;     //機器標識 
    37.    
  
  
  
  37.     private long sequence = 0L; //序列號 
    38.    
  
  
  
  38.     private long lastStmp = -1L;//上一次時間戳 
    39.    
  
  
  
  39.  
    40.    
  
  
  
  40.     public SnowFlake(long datacenterId, long machineId) { 
    41.    
  
  
  
  41.         if (datacenterId > MAX_DATACENTER_NUM || datacenterId < 0) { 
    42.    
  
  
  
  42.             throw new IllegalArgumentException("datacenterId can't be greater than MAX_DATACENTER_NUM or less than 0"); 
    43.    
  
  
  
  43.         } 
    44.    
  
  
  
  44.         if (machineId > MAX_MACHINE_NUM || machineId < 0) { 
    45.    
  
  
  
  45.             throw new IllegalArgumentException("machineId can't be greater than MAX_MACHINE_NUM or less than 0"); 
    46.    
  
  
  
  46.         } 
    47.    
  
  
  
  47.         this.datacenterId = datacenterId; 
    48.    
  
  
  
  48.         this.machineId = machineId; 
    49.    
  
  
  
  49.     } 
    50.    
  
  
  
  50.  
    51.    
  
  
  
  51.     /** 
    52.    
  
  
  
  52.      * 產(chǎn)生下一個ID 
    53.    
  
  
  
  53.      * 
    54.    
  
  
  
  54.      * @return 
    55.    
  
  
  
  55.      */ 
    56.    
  
  
  
  56.     public synchronized long nextId() { 
    57.    
  
  
  
  57.         long currStmp = getNewstmp(); 
    58.    
  
  
  
  58.         if (currStmp < lastStmp) { 
    59.    
  
  
  
  59.             throw new RuntimeException("Clock moved backwards.  Refusing to generate id"); 
    60.    
  
  
  
  60.         } 
    61.    
  
  
  
  61.  
    62.    
  
  
  
  62.         if (currStmp == lastStmp) { 
    63.    
  
  
  
  63.             //相同毫秒內(nèi)，序列號自增 
    64.    
  
  
  
  64.             sequence = (sequence + 1) & MAX_SEQUENCE; 
    65.    
  
  
  
  65.             //同一毫秒的序列數(shù)已經(jīng)達到最大 
    66.    
  
  
  
  66.             if (sequence == 0L) { 
    67.    
  
  
  
  67.                 currStmp = getNextMill(); 
    68.    
  
  
  
  68.             } 
    69.    
  
  
  
  69.         } else { 
    70.    
  
  
  
  70.             //不同毫秒內(nèi)，序列號置為0 
    71.    
  
  
  
  71.             sequence = 0L; 
    72.    
  
  
  
  72.         } 
    73.    
  
  
  
  73.  
    74.    
  
  
  
  74.         lastStmp = currStmp; 
    75.    
  
  
  
  75.  
    76.    
  
  
  
  76.         return (currStmp - START_STMP) << TIMESTMP_LEFT //時間戳部分 
    77.    
  
  
  
  77.                 | datacenterId << DATACENTER_LEFT       //數(shù)據(jù)中心部分 
    78.    
  
  
  
  78.                 | machineId << MACHINE_LEFT             //機器標識部分 
    79.    
  
  
  
  79.                 | sequence;                             //序列號部分 
    80.    
  
  
  
  80.     } 
    81.    
  
  
  
  81.  
    82.    
  
  
  
  82.     private long getNextMill() { 
    83.    
  
  
  
  83.         long mill = getNewstmp(); 
    84.    
  
  
  
  84.         while (mill <= lastStmp) { 
    85.    
  
  
  
  85.             mill = getNewstmp(); 
    86.    
  
  
  
  86.         } 
    87.    
  
  
  
  87.         return mill; 
    88.    
  
  
  
  88.     } 
    89.    
  
  
  
  89.  
    90.    
  
  
  
  90.     private long getNewstmp() { 
    91.    
  
  
  
  91.         return System.currentTimeMillis(); 
    92.    
  
  
  
  92.     } 
    93.    
  
  
  
  93.  
    94.    
  
  
  
  94.     public static void main(String[] args) { 
    95.    
  
  
  
  95.         SnowFlake snowFlake = new SnowFlake(2, 3); 
    96.    
  
  
  
  96.  
    97.    
  
  
  
  97.         for (int i = 0; i < (1 << 12); i++) { 
    98.    
  
  
  
  98.             System.out.println(snowFlake.nextId()); 
    99.    
  
  
  
  99.         } 
    100.    
  
  
  
  100.  
    101.    
  
  
  
  101.     } 
    102.    
  
  
  
  102. } 
    103.

測試

  
 
 
 
    
   
  
  
  
  1. //測試使用雪花算法生成ID 
    2.    
  
  
  
  2. //構(gòu)造函數(shù)中傳入datacenterId和workerId 
    3.    
  
  
  
  3. SnowFlake snowFlake = new SnowFlake(1,1); 
    4.    
  
  
  
  4. for (int i = 0; i < 10; i++) { 
    5.    
  
  
  
  5.     long id = snowFlake.nextId(); 
    6.    
  
  
  
  6.     System.out.println("id：" + id + "\t" + String.valueOf(id).length() + "位"); 
    7.    
  
  
  
  7.     System.out.println("------------------------------------------"); 
    8.    
  
  
  
  8. } 
    9.

Spring Boot整合雪花算法

引入hutool-all，maven依賴引入如下：

  
 
 
 
    
   
  
  
  
  1.  
    2.    
  
  
  
  2.      
    3.    
  
  
  
  3.         cn.hutool 
    4.    
  
  
  
  4.         hutool-all 
    5.    
  
  
  
  5.         5.4.2 
    6.    
  
  
  
  6.      
    7.    
  
  
  
  7.      
    8.    
  
  
  
  8.         org.springframework.boot 
    9.    
  
  
  
  9.         spring-boot-starter-web 
    10.    
  
  
  
  10.         2.2.1.RELEASE 
    11.    
  
  
  
  11.      
    12.    
  
  
  
  12.      
    13.    
  
  
  
  13.         org.projectlombok 
    14.    
  
  
  
  14.         lombok 
    15.    
  
  
  
  15.         1.18.16 
    16.    
  
  
  
  16.      
    17.    
  
  
  
  17.  
    18.

創(chuàng)建一個SnowFlake配置類

  
 
 
 
    
   
  
  
  
  1. @Configuration 
    2.    
  
  
  
  2. public class SnowFlakeConfig { 
    3.    
  
  
  
  3.     @Value("${application.datacenterId}") 
    4.    
  
  
  
  4.     private Long datacenterId; 
    5.    
  
  
  
  5.     @Value("${application.workerId}") 
    6.    
  
  
  
  6.     private Long workerId; 
    7.    
  
  
  
  7.  
    8.    
  
  
  
  8.     /*** 
    9.    
  
  
  
  9.      * 注入一個生成雪花ID的對象 
    10.    
  
  
  
  10.      * @return 
    11.    
  
  
  
  11.      */ 
    12.    
  
  
  
  12.     @Bean 
    13.    
  
  
  
  13.     public Snowflake snowflake() { 
    14.    
  
  
  
  14.         return new Snowflake(workerId,datacenterId); 
    15.    
  
  
  
  15.     } 
    16.    
  
  
  
  16. } 
    17.

yml配置文件：

  
 
 
 
    
   
  
  
  
  1. application: 
    2.    
  
  
  
  2.   datacenterId: 2 
    3.    
  
  
  
  3.   workerId: 1 
    4.    
  
  
  
  4. server: 
    5.    
  
  
  
  5.   port: 7777 
    6.

service 層：

  
 
 
 
    
   
  
  
  
  1. @Service 
    2.    
  
  
  
  2. public class OrderService { 
    3.    
  
  
  
  3.     @Autowired 
    4.    
  
  
  
  4.     private Snowflake snowflake; 
    5.    
  
  
  
  5.  
    6.    
  
  
  
  6.     public String getIdBySnowFlake() { 
    7.    
  
  
  
  7.         return String.valueOf(snowflake.nextId()); 
    8.    
  
  
  
  8.     } 
    9.    
  
  
  
  9. } 
    10.

其他開源的解決方案

很多大廠都對雪花算法做出了改進，開源了一些改進方案，如下：

  • 百度開源的分布式唯一ID生成器UidGenerator
  • Leaf–美團點評分布式ID生成系統(tǒng)

分享題目：帶你吃透幾種大廠分布式ID設(shè)計方案
網(wǎng)站URL：http://uogjgqi.cn/article/copicii.html
掃二維碼與項目經(jīng)理溝通

我們在微信上24小時期待你的聲音

解答本文疑問/技術(shù)咨詢/運營咨詢/技術(shù)建議/互聯(lián)網(wǎng)交流