OpenStack使用Ceph存儲，Ceph到底做了什么?

作者：佚名 2018-05-22 08:37:02

存儲

存儲軟件

OpenStack Ceph是當(dāng)前非常流行的開源分布式存儲系統(tǒng)，具有高擴(kuò)展性、高性能、高可靠性等優(yōu)點，同時提供塊存儲服務(wù)(rbd)、對象存儲服務(wù)(rgw)以及文件系統(tǒng)存儲服務(wù)(cephfs)。目前也是OpenStack的主流后端存儲，和OpenStack親如兄弟，為OpenStack提供統(tǒng)一共享存儲服務(wù)。

1 背景知識

1.1 Ceph簡介

Ceph是當(dāng)前非常流行的開源分布式存儲系統(tǒng)，具有高擴(kuò)展性、高性能、高可靠性等優(yōu)點，同時提供塊存儲服務(wù)(rbd)、對象存儲服務(wù)(rgw)以及文件系統(tǒng)存儲服務(wù)(cephfs)。目前也是OpenStack的主流后端存儲，和OpenStack親如兄弟，為OpenStack提供統(tǒng)一共享存儲服務(wù)。使用Ceph作為OpenStack后端存儲，具有如下優(yōu)點：
所有的計算節(jié)點共享存儲，遷移時不需要拷貝根磁盤，即使計算節(jié)點掛了，也能立即在另一個計算節(jié)點啟動虛擬機(jī)（evacuate）。
利用COW（Copy On Write)特性，創(chuàng)建虛擬機(jī)時，只需要基于鏡像clone即可，不需要下載整個鏡像，而clone操作基本是0開銷，從而實現(xiàn)了秒級創(chuàng)建虛擬機(jī)。

Ceph RBD支持thin provisioning，即按需分配空間，有點類似Linux文件系統(tǒng)的sparse稀疏文件。創(chuàng)建一個20GB的虛擬硬盤時，最開始并不占用物理存儲空間，只有當(dāng)寫入數(shù)據(jù)時，才按需分配存儲空間。

Ceph的更多知識可以參考官方文檔，這里我們只關(guān)注RBD，RBD管理的核心對象為塊設(shè)備(block device)，通常我們稱為volume，不過Ceph中習(xí)慣稱之為image（注意和OpenStack image的區(qū)別）。Ceph中還有一個pool的概念，類似于namespace，不同的pool可以定義不同的副本數(shù)、pg數(shù)、放置策略等。每個image都必須指定pool。image的命名規(guī)范為pool_name/image_name@snapshot，比如openstack/test-volume@test-snap，表示在openstackpool中test-volumeimage的快照test-snap。因此以下兩個命令效果是等同的:

  
 
 
   
  
  rbd snap create --pool openstack --image test-image --snap test-snap 
   
  
  rbd snap create openstack/test-image@test-snap

在openstack pool上創(chuàng)建一個1G的image命令為:

  
 
 
   
  
  rbd -p openstack create --size 1024 int32bit-test-1

image支持快照(snapshot)的功能，創(chuàng)建一個快照即保存當(dāng)前image的狀態(tài)，相當(dāng)于git commit操作，用戶可以隨時把image回滾到任意快照點上(git reset)。創(chuàng)建快照命令如下:

  
 
 
   
  
  rbd -p openstack snap create int32bit-test-1@snap-1

查看rbd列表:

  
 
 
   
  
  $ rbd -p openstack ls -l | grep int32bit-test 
   
  
  int32bit-test-1        1024M 2 
   
  
  int32bit-test-1@snap-1 1024M 2

基于快照可以創(chuàng)建一個新的image，稱為clone，clone不會立即復(fù)制原來的image，而是使用COW策略，即寫時拷貝，只有當(dāng)需要寫入一個對象時，才從parent中拷貝那個對象到本地，因此clone操作基本秒級完成，并且需要注意的是基于同一個快照創(chuàng)建的所有image共享快照之前的image數(shù)據(jù)，因此在clone之前我們必須保護(hù)(protect)快照，被保護(hù)的快照不允許刪除。clone操作類似于git branch操作，clone一個image命令如下:

  
 
 
   
  
  rbd -p openstack snap protect int32bit-test-1@snap-1 
   
  
  rbd -p openstack clone int32bit-test-1@snap-1 int32bit-test-2

我們可以查看一個image的子image(children)有哪些，也能查看一個image是基于哪個image clone的(parent)：

  
 
 
   
  
  $ rbd -p openstack children int32bit-test-1@snap-1 
   
  
  openstack/int32bit-test-2 
   
  
  $ rbd -p openstack info int32bit-test-2 | grep parent 
   
  
  parent: openstack/int32bit-test-1@snap-1

以上我們可以發(fā)現(xiàn)int32bit-test-2是int32bit-test-1的children，而int32bit-test-1是int32bit-test-2的parent。

不斷地創(chuàng)建快照并clone image，就會形成一條很長的image鏈，鏈很長時，不僅會影響讀寫性能，還會導(dǎo)致管理非常麻煩?？尚业氖荂eph支持合并鏈上的所有image為一個獨立的image，這個操作稱為flatten，類似于git merge操作，flatten需要一層一層拷貝所有頂層不存在的數(shù)據(jù)，因此通常會非常耗時。

  
 
 
   
  
  $ rbd -p openstack flatten int32bit-test-2 
   
  
  Image flatten: 31% complete...

此時我們再次查看其parrent-children關(guān)系:

  
 
 
   
  
  rbd -p openstack children int32bit-test-1@snap-1

此時int32bit-test-1沒有children了，int32bit-test-2完全獨立了。

當(dāng)然Ceph也支持完全拷貝，稱為copy：

  
 
 
   
  
  rbd -p openstack cp int32bit-test-1 int32bit-test-3

copy會完全拷貝一個image，因此會非常耗時，但注意copy不會拷貝原來的快照信息。

Ceph支持將一個RBD image導(dǎo)出(export):

  
 
 
   
  
  rbd -p openstack export int32bit-test-1 int32bit-1.raw

導(dǎo)出會把整個image導(dǎo)出，Ceph還支持差量導(dǎo)出(export-diff)，即指定從某個快照點開始導(dǎo)出：

  
 
 
   
  
  rbd -p openstack export-diff \ 
   
  
  int32bit-test-1 --from-snap snap-1 \ 
   
  
  --snap snap-2 int32bit-test-1-diff.raw

以上導(dǎo)出從快照點snap-1到快照點snap-2的數(shù)據(jù)。

當(dāng)然與之相反的操作為import以及import-diff。通過export/import支持image的全量備份，而export-diff/import-diff實現(xiàn)了image的差量備份。

Rbd image是動態(tài)分配存儲空間，通過du命令可以查看image實際占用的物理存儲空間:

  
 
 
   
  
  $ rbd du int32bit-test-1 
   
  
  NAME            PROVISIONED   USED 
   
  
  int32bit-test-1       1024M 12288k

以上image分配的大小為1024M，實際占用的空間為12288KB。

刪除image，注意必須先刪除其所有快照，并且保證沒有依賴的children:

  
 
 
   
  
  rbd -p openstack snap unprotect int32bit-test-1@snap-1 
   
  
  rbd -p openstack snap rm int32bit-test-1@snap-1 
   
  
  rbd -p openstack rm int32bit-test-1

1.2 OpenStack簡介

OpenStack是一個IaaS層的云計算平臺開源實現(xiàn)，關(guān)于OpenStack的更多介紹歡迎訪問我的個人博客，這里只專注于當(dāng)OpenStack對接Ceph存儲系統(tǒng)時，基于源碼分析一步步探測Ceph到底做了些什么工作。本文不會詳細(xì)介紹OpenStack的整個工作流程，而只關(guān)心與Ceph相關(guān)的實現(xiàn)，如果有不清楚OpenStack源碼架構(gòu)的，可以參考我之前寫的文章如何閱讀OpenStack源碼。

閱讀完本文可以理解以下幾個問題:

為什么上傳的鏡像必須要轉(zhuǎn)化為raw格式?
如何高效上傳一個大的鏡像文件?
為什么能夠?qū)崿F(xiàn)秒級創(chuàng)建虛擬機(jī)？
為什么創(chuàng)建虛擬機(jī)快照需要數(shù)分鐘時間，而創(chuàng)建volume快照能夠秒級完成？
為什么當(dāng)有虛擬機(jī)存在時，不能刪除鏡像?
為什么一定要把備份恢復(fù)到一個空卷中，而不能覆蓋已經(jīng)存在的volume？
從鏡像中創(chuàng)建volume，能否刪除鏡像?

注意本文都是在基于使用Ceph存儲的前提下，即Glance、Nova、Cinder都是使用的Ceph，其它情況下結(jié)論不一定成立。

（注：原文有源代碼，已經(jīng)超過5000字的篇幅限制，因此做了精簡，如果需要看詳細(xì)推導(dǎo)驗證過程，請查看原文鏈接，另外你可以快速跳到總結(jié)部分查看OpenStack各個操作對應(yīng)的Ceph工作。）

2 Glance

2.1 Glance介紹

Glance管理的核心實體是image，它是OpenStack的核心組件之一，為OpenStack提供鏡像服務(wù)(Image as Service)，主要負(fù)責(zé)OpenStack鏡像以及鏡像元數(shù)據(jù)的生命周期管理、檢索、下載等功能。Glance支持將鏡像保存到多種存儲系統(tǒng)中，后端存儲系統(tǒng)稱為store，訪問鏡像的地址稱為location，location可以是一個http地址，也可以是一個rbd協(xié)議地址。只要實現(xiàn)store的driver就可以作為Glance的存儲后端，其中driver的主要接口如下:

get: 獲取鏡像的location。
get_size: 獲取鏡像的大小。
get_schemes: 獲取訪問鏡像的URL前綴(協(xié)議部分)，比如rbd、swift+https、http等。
add: 上傳鏡像到后端存儲中。
delete: 刪除鏡像。
set_acls: 設(shè)置后端存儲的讀寫訪問權(quán)限。

為了便于維護(hù)，glance store目前已經(jīng)作為獨立的庫從Glance代碼中分離出來，由項目glance_store維護(hù)。目前社區(qū)支持的store列表如下:

filesystem: 保存到本地文件系統(tǒng)，默認(rèn)保存/var/lib/glance/images到目錄下。
cinder: 保存到Cinder中。
rbd：保存到Ceph中。
sheepdog：保存到sheepdog中。
swift: 保存到Swift對象存儲中。
vmware datastore: 保存到Vmware datastore中。

http: 以上的所有store都會保存鏡像數(shù)據(jù)，唯獨http store比較特殊，它不保存鏡像的任何數(shù)據(jù)，因此沒有實現(xiàn)add方法，它僅僅保存鏡像的URL地址，啟動虛擬機(jī)時由計算節(jié)點從指定的http地址中下載鏡像。

本文主要關(guān)注rbd store，它的源碼在這里，該store的driver代碼主要由國內(nèi)Fei Long Wang負(fù)責(zé)維護(hù)，其它store的實現(xiàn)細(xì)節(jié)可以參考源碼glance store drivers.

3 Nova

3.1 Nova介紹

Nova管理的核心實體為server，為OpenStack提供計算服務(wù)，它是OpenStack最核心的組件。注意Nova中的server不只是指虛擬機(jī)，它可以是任何計算資源的抽象，除了虛擬機(jī)以外，也有可能是baremetal裸機(jī)、容器等。

不過我們在這里假定:

server為虛擬機(jī)。
image type為rbd。
compute driver為libvirt。

啟動虛擬機(jī)之前首先需要準(zhǔn)備根磁盤(root disk)，Nova稱為image，和Glance一樣，Nova的image也支持存儲到本地磁盤、Ceph以及Cinder(boot from volume)中。需要注意的是，image保存到哪里是通過image type決定的，存儲到本地磁盤可以是raw、qcow2、ploop等，如果image type為rbd，則image存儲到Ceph中。不同的image type由不同的image backend負(fù)責(zé)，其中rbd的backend為nova/virt/libvirt/imageackend中的Rbd類模塊實現(xiàn)。

4 Cinder

4.1 Cinder介紹

Cinder是OpenStack的塊存儲服務(wù)，類似AWS的EBS，管理的實體為volume。Cinder并沒有實現(xiàn)volume provide功能，而是負(fù)責(zé)管理各種存儲系統(tǒng)的volume，比如Ceph、fujitsu、netapp等，支持volume的創(chuàng)建、快照、備份等功能，對接的存儲系統(tǒng)我們稱為backend。只要實現(xiàn)了cinder/volume/driver.py中VolumeDriver類定義的接口，Cinder就可以對接該存儲系統(tǒng)。

Cinder不僅支持本地volume的管理，還能把本地volume備份到遠(yuǎn)端存儲系統(tǒng)中，比如備份到另一個Ceph集群或者Swift對象存儲系統(tǒng)中，本文將只考慮從源Ceph集群備份到遠(yuǎn)端Ceph集群中的情況。

5 總結(jié)

5.1 Glance

1. 上傳鏡像

  
 
 
   
  
  rbd -p ${GLANCE_POOL} create --size ${SIZE} ${IMAGE_ID}rbd -p ${GLANCE_POOL} snap create ${IMAGE_ID}@snap 
   
  
  rbd -p ${GLANCE_POOL} snap protect ${IMAGE_ID}@snap

2. 刪除鏡像

  
 
 
   
  
  rbd -p ${GLANCE_POOL} snap unprotect ${IMAGE_ID}@snap 
   
  
  rbd -p ${GLANCE_POOL} snap rm ${IMAGE_ID}@snap 
   
  
  rbd -p ${GLANCE_POOL} rm ${IMAGE_ID}

5.2 Nova

1 創(chuàng)建虛擬機(jī)

  
 
 
   
  
  rbd clone \${GLANCE_POOL}/${IMAGE_ID}@snap \${NOVA_POOL}/${SERVER_ID}_disk

2 創(chuàng)建虛擬機(jī)快照

  
 
 
   
  
  # Snapshot the disk and clone # it into Glance's storage poolrbd -p ${NOVA_POOL} snap create \${SERVER_ID}_disk@${RANDOM_UUID}rbd -p ${NOVA_POOL} snap protect \${SERVER_ID}_disk@${RANDOM_UUID}rbd clone \${NOVA_POOL}/${SERVER_ID}_disk@${RANDOM_UUID} \${GLANCE_POOL}/${IMAGE_ID} # Flatten the image, which detaches it from the # source snapshotrbd -p ${GLANCE_POOL} flatten ${IMAGE_ID} # all done with the source snapshot, clean it uprbd -p ${NOVA_POOL} snap unprotect \${SERVER_ID}_disk@${RANDOM_UUID}rbd -p ${NOVA_POOL} snap rm \${SERVER_ID}_disk@${RANDOM_UUID} # Makes a protected snapshot called 'snap' on # uploaded images and hands it outrbd -p ${GLANCE_POOL} snap create ${IMAGE_ID}@snap 
   
  
  rbd -p ${GLANCE_POOL} snap protect ${IMAGE_ID}@snap

3 刪除虛擬機(jī)

  
 
 
   
  
  for image in $(rbd -p ${NOVA_POOL} ls | grep "^${SERVER_ID}");do  
   
  
      rbd -p ${NOVA_POOL} rm "$image"; done

5.3 Cinder

1 創(chuàng)建volume

(1) 創(chuàng)建空白卷

  
 
 
   
  
  rbd -p ${CINDER_POOL} create \--new-format --size ${SIZE} \volume-${VOLUME_ID}

(2) 從快照中創(chuàng)建

  
 
 
   
  
  rbd clone \${CINDER_POOL}/volume-${SOURCE_VOLUME_ID}@snapshot-${SNAPSHOT_ID} \${CINDER_POOL}/volume-${VOLUME_ID}rbd resize --size ${SIZE} \openstack/volume-${VOLUME_ID}

(3) 從volume中創(chuàng)建

  
 
 
   
  
  # Do full copy if rbd_max_clone_depth <= 0.if[[ "$rbd_max_clone_depth" -le 0 ]]; then 
   
  
      rbd copy \ 
   
  
      ${CINDER_POOL}/volume-${SOURCE_VOLUME_ID} \ 
   
  
      ${CINDER_POOL}/volume-${VOLUME_ID} 
   
  
      exit 0fi# Otherwise do COW clone.# Create new snapshot of source volumerbd snap create \${CINDER_POOL}/volume-${SOURCE_VOLUME_ID}@volume-${VOLUME_ID}.clone_snap 
   
  
  rbd snap protect \${CINDER_POOL}/volume-${SOURCE_VOLUME_ID}@volume-${VOLUME_ID}.clone_snap# Now clone source volume snapshotrbd clone \${CINDER_POOL}/volume-${SOURCE_VOLUME_ID}@volume-${VOLUME_ID}.clone_snap \${CINDER_POOL}/volume-${VOLUME_ID}# If dest volume is a clone and rbd_max_clone_depth reached,# flatten the dest after cloning.depth=$(get_clone_depth ${CINDER_POOL}/volume-${VOLUME_ID})if[[ "$depth" -ge "$rbd_max_clone_depth" ]]; then 
   
  
      # Flatten destination volume  
   
  
      rbd flatten ${CINDER_POOL}/volume-${VOLUME_ID} 
   
  
      # remove temporary snap 
   
  
      rbd snap unprotect \ 
   
  
      ${CINDER_POOL}/volume-${SOURCE_VOLUME_ID}@volume-${VOLUME_ID}.clone_snap 
   
  
      rbd snap rm \ 
   
  
      ${CINDER_POOL}/volume-${SOURCE_VOLUME_ID}@volume-${VOLUME_ID}.clone_snapfi

(4) 從鏡像中創(chuàng)建

  
 
 
   
  
  rbd clone \${GLANCE_POOL}/${IMAGE_ID}@snap \${CINDER_POOL}/volume-${VOLUME_ID}if[[ -n "${SIZE}" ]]; then 
   
  
      rbd resize --size ${SIZE} ${CINDER_POOL}/volume-${VOLUME_ID}fi

2 創(chuàng)建快照

  
 
 
   
  
  rbd -p ${CINDER_POOL} snap create \volume-${VOLUME_ID}@snapshot-${SNAPSHOT_ID}rbd -p ${CINDER_POOL} snap protect \volume-${VOLUME_ID}@snapshot-${SNAPSHOT_ID}

3 創(chuàng)建備份

(1) ***次備份

  
 
 
   
  
  rbd -p ${BACKUP_POOL} create \ 
   
  
  --size ${VOLUME_SIZE} \ 
   
  
  volume-${VOLUME_ID}.backup.base 
   
  
  NEW_SNAP=volume-${VOLUME_ID}@backup.${BACKUP_ID}.snap.${TIMESTAMP} 
   
  
  rbd -p ${CINDER_POOL} snap create ${NEW_SNAP} 
   
  
  rbd export-diff ${CINDER_POOL}/volume-${VOLUME_ID}${NEW_SNAP} - \ 
   
  
  | rbd import-diff --pool ${BACKUP_POOL} - \ 
   
  
  volume-${VOLUME_ID}.backup.base

(2) 增量備份

  
 
 
   
  
  rbd -p ${CINDER_POOL} snap create \volume-${VOLUME_ID}@backup.${BACKUP_ID}.snap.${TIMESTAMP} rbd export-diff  --pool ${CINDER_POOL} \--from-snap backup.${PARENT_ID}.snap.${LAST_TIMESTAMP} \${CINDER_POOL}/volume-${VOLUME_ID}@backup.${BACKUP_ID}.snap.${TIMESTRAMP} - \| rbd import-diff --pool ${BACKUP_POOL} - \${BACKUP_POOL}/volume-${VOLUME_ID}.backup.base 
   
  
  rbd -p ${CINDER_POOL} snap rm \volume-${VOLUME_ID}.backup.base@backup.${PARENT_ID}.snap.${LAST_TIMESTAMP}

4 備份恢復(fù)

  
 
 
   
  
  rbd export-diff --pool ${BACKUP_POOL} \volume-${SOURCE_VOLUME_ID}.backup.base@backup.${BACKUP_ID}.snap.${TIMESTRAMP} - \| rbd import-diff --pool ${CINDER_POOL} - \volume-${DEST_VOLUME_ID}rbd -p ${CINDER_POOL} resize \--size ${new_size} volume-${DEST_VOLUME_ID}

新聞標(biāo)題：OpenStack使用Ceph存儲，Ceph到底做了什么?
網(wǎng)站URL：http://uogjgqi.cn/article/dhiosjd.html

掃二維碼與項目經(jīng)理溝通

我們在微信上24小時期待你的聲音

解答本文疑問/技術(shù)咨詢/運營咨詢/技術(shù)建議/互聯(lián)網(wǎng)交流

av激情亚洲男人的天堂国语,日韩欧美精品一中文字幕,无码av一区二区三区无码,国产又色又爽又刺激的a片,国产又色又爽又刺激的a片

OpenStack使用Ceph存儲，Ceph到底做了什么?

OpenStack使用Ceph存儲，Ceph到底做了什么?

掃二維碼與項目經(jīng)理溝通

其他資訊

行業(yè)動態(tài)

企業(yè)網(wǎng)站建設(shè)的重要性！

服務(wù)項目

網(wǎng)站建設(shè)

移動端/APP

微信/小程序

技術(shù)支持

其它服務(wù)

更多服務(wù)項目

聯(lián)系吧在百度地圖上找到我們

電話：13518219792

av激情亚洲男人的天堂国语,日韩欧美精品一中文字幕,无码av一区二区三区无码,国产又色又爽又刺激的a片,国产又色又爽又刺激的a片

OpenStack使用Ceph存儲，Ceph到底做了什么?

OpenStack使用Ceph存儲，Ceph到底做了什么?

掃二維碼與項目經(jīng)理溝通

其他資訊

行業(yè)動態(tài)

企業(yè)網(wǎng)站建設(shè)的重要性！

服務(wù)項目

網(wǎng)站建設(shè)

移動端/APP

微信/小程序

技術(shù)支持

其它服務(wù)

更多服務(wù)項目

聯(lián)系吧 在百度地圖上找到我們

電話：13518219792

OpenStack使用Ceph存儲，Ceph到底做了什么?

企業(yè)網(wǎng)站建設(shè)的重要性！

聯(lián)系吧在百度地圖上找到我們