Angel：一種新型分布式機器學習系統(tǒng)

作者：佚名 2017-12-05 14:55:56
服務器
機器學習
分布式 Angel是一個基于參數(shù)服務器（Parameter Server）理念的分布式機器學習框架，它能讓機器學習算法輕松運行于高維度模型之上。Angel圍繞模型共享的核心理念，將高維度的大模型合理地切分到多個參數(shù)服務器節(jié)點，并通過高效的模型更新接口和運算函數(shù)以及多變的同步協(xié)議，實現(xiàn)各種高效的機器學習算法。

為環(huán)江等地區(qū)用戶提供了全套網頁設計制作服務，及環(huán)江網站建設行業(yè)解決方案。主營業(yè)務為成都網站制作、成都網站設計、環(huán)江網站設計，以傳統(tǒng)方式定制建設網站，并提供域名空間備案等一條龍服務，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務。我們深信只要達到每一位用戶的要求，就會得到認可，從而選擇與我們長期合作。這樣，我們也可以走得更遠！

 Angel是一個基于參數(shù)服務器（Parameter Server）理念的分布式機器學習框架，它能讓機器學習算法輕松運行于高維度模型之上。Angel圍繞模型共享的核心理念，將高維度的大模型合理地切分到多個參數(shù)服務器節(jié)點，并通過高效的模型更新接口和運算函數(shù)以及多變的同步協(xié)議，實現(xiàn)各種高效的機器學習算法。得益于其良好的設計，Angel既能獨立運行、高效執(zhí)行多種機器學習算法，亦能作為PS服務，支持Spark和現(xiàn)有的深度學習框架，為其加速。它基于工業(yè)界的海量數(shù)據進行了反復的實踐和調優(yōu)，具有廣泛的適用性和穩(wěn)定性，模型維度越高，優(yōu)勢越明顯。

現(xiàn)有的機器學習系統(tǒng)都是針對不同類型的機器學習任務而搭建的。數(shù)據流系統(tǒng)Hadoop和Spark適合通用的數(shù)據處理任務和構建機器學習流水線，但缺乏參數(shù)共享機制，存在單點瓶頸性能問題；圖計算系統(tǒng)GraphLab、GraphX和Tux2等將機器學習計算抽象成圖結構，可以利用圖結構的特性進行加速，但只適合具有稀疏圖結構的算法；深度學習系統(tǒng)TensorFlow、MXNet和Caffe2等利用Parameter Server或者Allreduce方法進行分布式神經網絡的訓練，其特點是能夠利用GPU對神經網絡的計算進行加速，但缺乏對稀疏圖結構的優(yōu)化和支持。

Angel在設計中對分布式機器學習的共性進行了抽象和提煉。文章認為分布式機器學習的核心部分在于參數(shù)共享，如果可以提供高效的參數(shù)共享機制，則能夠為各類機器學習任務進行擴展和加速。因此，Angel提供了PS服務的能力，支持兩種運行模式。其中一種模式稱為PS Service模式，Angel只啟動Master和Parameter Server，具體的計算任務交由其他計算平臺（如Spark、TensorFlow等）完成，這種模式下Angel只負責提供Parameter Server的功能；在另外一種模式中，Angel還會啟動Worker，由Angel負責完成模型的訓練。Angel提供PS服務的能力，使其能處理多種類型的機器學習任務，提供更方便的機器學習開發(fā)體驗。

此外，Angel還能提供：（1）多種參數(shù)同步協(xié)議，用于在不同的集群環(huán)境中進行加速；（2）易用且豐富的接口，用于方便算法的開發(fā)；（3）數(shù)據并行與模型并行的能力，提高算法的擴展性；（4）高效的容錯機制，為任務在復雜環(huán)境中的運行提供保障。經過在真實數(shù)據集上的對比，Angel在多種機器學習算法上的性能優(yōu)于XGBoost、Spark、Petuum、TensorFlow等常用機器學習系統(tǒng)。目前Angel已經被應用于騰訊視頻點擊預測和廣告推薦等實際業(yè)務中。

Angel的開源系統(tǒng)由北京大學-騰訊協(xié)同創(chuàng)新實驗室開發(fā)，兼顧了工業(yè)界的高可用性和學術界的創(chuàng)新性，已經在GitHub全面開源，集成和優(yōu)化了Logistic Regression、SVM、KMeans、LDA、MF、GBDT 等多種機器學習算法。Angel目前基于Java和Scala開發(fā)，未來還會加入Python等多種語言接口，方便使用。將來，Angel的PS Service能力會得到進一步利用，支持圖計算和深度學習框架。

當前文章：Angel：一種新型分布式機器學習系統(tǒng)
當前地址：http://uogjgqi.cn/article/dhgcipg.html