什么是MFS？

MooseFS是一個(gè)容錯(cuò)，高可用，高性能，擴(kuò)展，網(wǎng)絡(luò)分布式文件系統(tǒng)。它將數(shù)據(jù)分布在多個(gè)物理商品服務(wù)器上，這些服務(wù)器對用戶可視為一個(gè)虛擬磁盤。它符合POSIX并且像任何其他類Unix文件系統(tǒng)一樣支持：

你所需要的網(wǎng)站建設(shè)服務(wù)，我們均能行業(yè)靠前的水平為你提供.標(biāo)準(zhǔn)是產(chǎn)品質(zhì)量的保證，主要從事網(wǎng)站制作、做網(wǎng)站、企業(yè)網(wǎng)站建設(shè)、成都手機(jī)網(wǎng)站制作、網(wǎng)頁設(shè)計(jì)、成都品牌網(wǎng)站建設(shè)、網(wǎng)頁制作、做網(wǎng)站、建網(wǎng)站。創(chuàng)新互聯(lián)公司擁有實(shí)力堅(jiān)強(qiáng)的技術(shù)研發(fā)團(tuán)隊(duì)及素養(yǎng)的視覺設(shè)計(jì)專才。

• 分層結(jié)構(gòu)：文件和文件夾，
• 文件屬性，
• 特殊文件：管道，插座，塊和字符設(shè)備，
• 符號和硬鏈接，
• 安全屬性和ACL。
  它適用于需要標(biāo)準(zhǔn)文件系統(tǒng)的所有應(yīng)用程序。

分布式原理

分布式文件系統(tǒng)是指文件系統(tǒng)管理的物理存儲(chǔ)資源不一定直接連接在本地節(jié)點(diǎn)上，而是通過計(jì)算機(jī)網(wǎng)絡(luò)與節(jié)點(diǎn)相連。簡單來說，就是把一些分散的（分布在局域網(wǎng)內(nèi)各個(gè)計(jì)算機(jī)上）共享文件夾，集合到一個(gè)文件夾內(nèi)（虛擬共享文件夾）。對于用戶來說，要訪問這些共享文件時(shí)，只要打開這個(gè)虛擬共享文件夾，就可以看到所有鏈接到虛擬共享文件夾內(nèi)的共享文件夾，用戶感覺不到這些共享文件是分布于各個(gè)計(jì)算機(jī)上的。分布式文件系統(tǒng)的好處是集中訪問、簡化操作、數(shù)據(jù)容災(zāi)，以及提高文件的存取性能。

MFS原理

MFS是一個(gè)具有容錯(cuò)性的網(wǎng)絡(luò)分布式文件系統(tǒng)，它把數(shù)據(jù)分散存放在多個(gè)物理服務(wù)器上，而呈現(xiàn)給用戶的則是統(tǒng)一的資源。

MFS文件系統(tǒng)的組成

• 元數(shù)據(jù)服務(wù)器（Master）：在整個(gè)體系中負(fù)責(zé)管理文件系統(tǒng)，維護(hù)元數(shù)據(jù)。
• 元數(shù)據(jù)日志服務(wù)器（Metalogger）：備份Master服務(wù)器的變化日志文件，文件類型為changelog_ml.*.mfs。當(dāng)Master服務(wù)器數(shù)據(jù)丟失或損壞時(shí)，可以從日志服務(wù)器中取得文件，進(jìn)行恢復(fù)。
• 數(shù)據(jù)存儲(chǔ)服務(wù)器（Chunk Server）：真正存儲(chǔ)數(shù)據(jù)的服務(wù)器。存儲(chǔ)文件時(shí)，會(huì)把文件分塊保存，并在數(shù)據(jù)服務(wù)器間進(jìn)行復(fù)制。數(shù)據(jù)服務(wù)器越多，能使用的“容量”也越大，可靠性越高，性能也就越好。
• 客戶端（Client）：可以直接掛載MFS文件系統(tǒng)。

MFS讀取數(shù)據(jù)的處理過程

• 客戶端向元數(shù)據(jù)服務(wù)器發(fā)出讀請求
• 元數(shù)據(jù)服務(wù)器把所需數(shù)據(jù)存放的位置（Chunk Server的IP地址和Chunk編號）告知客戶端
• 客戶端向已知的Chunk Server請求發(fā)送數(shù)據(jù)
• Chunk Server向客戶端發(fā)送數(shù)據(jù)

MFS寫入數(shù)據(jù)的處理過程

• 客戶端向元數(shù)據(jù)服務(wù)器發(fā)送寫入請求
• 元數(shù)據(jù)服務(wù)器與Chunk Server進(jìn)行交互（只有當(dāng)所需的分塊Chunk存在的時(shí)候才進(jìn)行交互），但元數(shù)據(jù)服務(wù)器只在某些服務(wù)器創(chuàng)建新的分塊chunks，創(chuàng)建成功后由Chunk Servers告知元數(shù)據(jù)服務(wù)器操作成功
• 元數(shù)據(jù)服務(wù)器告知客戶端，可以在哪個(gè)Chunk Server的那些chunks寫入數(shù)據(jù)
• 客戶端向指定的Chunk Server寫入數(shù)據(jù)
• 該Chunk Server與其他Chunk Server進(jìn)行數(shù)據(jù)同步，同步成功后Chunk Server告知客戶端數(shù)據(jù)寫入成功
• 客戶端告知元數(shù)據(jù)服務(wù)器本次寫入完畢

MFS優(yōu)勢

• 高可用性：沒有單點(diǎn)故障也稱為無SPOF配置。文件系統(tǒng)的元數(shù)據(jù)在物理冗余服務(wù)器上保存為兩個(gè)或多個(gè)副本。用戶數(shù)據(jù)冗余地分布在系統(tǒng)中的存儲(chǔ)服務(wù)器上。
• 低成本的數(shù)據(jù)安全：MooseFS使用戶能夠節(jié)省大量硬盤空間，保持相同的數(shù)據(jù)冗余級別。在大多數(shù)常見情況下，將節(jié)省至少55％的硬盤空間.
• 可擴(kuò)展性：存儲(chǔ)可以擴(kuò)展到16字節(jié)（~16000千兆字節(jié)），這使我們可以存儲(chǔ)超過20億個(gè)文件
• 高性能：旨在支持高性能I/O操作。用戶數(shù)據(jù)可以在許多存儲(chǔ)節(jié)點(diǎn)上同時(shí)讀取/寫入，從而避免單個(gè)中央服務(wù)器或單個(gè)網(wǎng)絡(luò)連接瓶頸。

環(huán)境準(zhǔn)備

• 使用五臺服務(wù)器模擬搭建MFS文件系統(tǒng)
• 關(guān)閉防火墻及selinux

systemctl stop firewalld
setenforce 0

• 虛擬機(jī)規(guī)劃如下

主機(jī)	操作系統(tǒng)	IP地址	主要軟件
Master Server	CentOS-7-x86_64	172.16.10.21	使用yum安裝
MetalLogger Server	CentOS-7-x86_64	172.16.10.26
Chunk Server1	CentOS-7-x86_64	172.16.10.27
Chunk Server2	CentOS-7-x86_64	172.16.10.28
Client	CentOS-7-x86_64	172.16.10.29

項(xiàng)目實(shí)施

搭建Master Server

安裝軟件

curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加鍵值
curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo  //添加適當(dāng)?shù)膸鞐l目
yum install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli -y

啟動(dòng)服務(wù)

systemctl start moosefs-master
systemctl enable moosefs-master
netstat -ntap | grep mfs

搭建MetalLogger Server

安裝軟件

curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加鍵值
curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo  //添加適當(dāng)?shù)膸鞐l目
yum install moosefs-metalogger -y

修改配置文件

vim /etc/mfs/mfsmetalogger.cfg
MASTER_HOST = 172.16.10.21    //地址指向主服務(wù)器

啟動(dòng)服務(wù)

systemctl start moosefs-metalogger
systemctl enable moosefs-metalogger
netstat -ntap | grep mfs

搭建Chunk Server

項(xiàng)目中的兩臺Chunk Server的搭建步驟是完全相同

安裝軟件

curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加鍵值
curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo  //添加適當(dāng)?shù)膸鞐l目
yum install moosefs-chunkserver -y

修改配置文件

修改mfschunkserver.cfg

vim /etc/mfs/mfschunkserver.cfg
MASTER_HOST = 172.16.10.21    //在配置文件中修改，將地址指向主服務(wù)器

修改mfshdd.cfg

vim /etc/mfs/mfshdd.cfg
/chen            //在末行添加共享目錄

為共享目錄授權(quán)

chown -R mfs:mfs /chen

啟動(dòng)服務(wù)

systemctl start moosefs-chunkserver
systemctl enable moosefs-chunkserver
netstat -ntap | grep mfs

安裝Client

安裝軟件

curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS //添加鍵值
curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo  //添加適當(dāng)?shù)膸鞐l目
yum install moosefs-client -y

加載fuse模塊到內(nèi)核

modprobe fuse

掛載共享目錄

mkdir /opt/mfs    //創(chuàng)建掛載點(diǎn)
mfsmount /opt/mfs/ -H 172.16.10.21  //掛載，地址為master地址

查看掛載

df -h

常用操作介紹

mfsgetgoal命令用來查詢文件被復(fù)制的份數(shù)，利用-r命令可以對整個(gè)目錄進(jìn)行遞歸，goal是指文件被復(fù)制的份數(shù)。

mfsgetgoal -r /opt/mfs/

mfssetgoal -r 2 /opt/mfs/

MFS監(jiān)控

Mfscgiserv是一個(gè)用Python編寫的web服務(wù)器，監(jiān)聽端口是9425，可以在Master Server啟動(dòng)監(jiān)控，用戶利用瀏覽器就可以全面監(jiān)控所有客戶掛載、Chunk Server、Master Server，以及客戶端的各種操作等。

主服務(wù)器上開啟監(jiān)控

mfscgiserv

本文名稱：CentOS7下yum安裝MFS分布式文件系統(tǒng)
當(dāng)前網(wǎng)址：http://uogjgqi.cn/article/cdjpgjg.html