掃二維碼與項目經(jīng)理溝通
我們在微信上24小時期待你的聲音
解答本文疑問/技術(shù)咨詢/運營咨詢/技術(shù)建議/互聯(lián)網(wǎng)交流
隨著 IoT 技術(shù)的快速發(fā)展,物聯(lián)網(wǎng)設(shè)備產(chǎn)生的數(shù)據(jù)呈爆炸式增長,數(shù)據(jù)的總量(Volume)、數(shù)據(jù)類型越來越多(Variety)、訪問速度要求越來越快(Velocity)、對數(shù)據(jù)價值(Value)的挖掘越來越重視。物聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)通常都具備時間序列特征,時序數(shù)據(jù)庫是當前針對物聯(lián)網(wǎng) IoT、工業(yè)互聯(lián)網(wǎng) IIoT、應(yīng)用性能監(jiān)控 APM 場景等垂直領(lǐng)域定制的數(shù)據(jù)庫解決方案,本文主要分析物聯(lián)網(wǎng)場景海量時序數(shù)據(jù)存儲與處理的關(guān)鍵技術(shù)挑戰(zhàn)及解決方案。

在商洛等地區(qū),都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局,加強發(fā)展的系統(tǒng)性、市場前瞻性、產(chǎn)品創(chuàng)新能力,以專注、極致的服務(wù)理念,為客戶提供網(wǎng)站建設(shè)、網(wǎng)站設(shè)計 網(wǎng)站設(shè)計制作按需定制網(wǎng)站,公司網(wǎng)站建設(shè),企業(yè)網(wǎng)站建設(shè),品牌網(wǎng)站制作,全網(wǎng)整合營銷推廣,外貿(mào)網(wǎng)站建設(shè),商洛網(wǎng)站建設(shè)費用合理。
一 時序數(shù)據(jù)存儲挑戰(zhàn)
隨著 5G/IoT 技術(shù)的發(fā)展,數(shù)據(jù)呈爆炸式增長,其中物聯(lián)網(wǎng) (IoT) 與應(yīng)用性能監(jiān)控 (APM) 等是時序數(shù)據(jù)最典型的應(yīng)用領(lǐng)域,覆蓋物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、智能家居、工業(yè)互聯(lián)網(wǎng)、應(yīng)用性能監(jiān)控等常見的應(yīng)用場景,海量的設(shè)備持續(xù)產(chǎn)生運行時指標數(shù)據(jù),對數(shù)據(jù)的讀寫、存儲管理都提出了很大的挑戰(zhàn)。
在典型的物聯(lián)網(wǎng)、APM 時序數(shù)據(jù)場景里,數(shù)據(jù)的產(chǎn)生、訪問都有比較明顯的規(guī)律,有很多共同的特征,相比當前互聯(lián)網(wǎng)典型的應(yīng)用特征有比較大的區(qū)別。
結(jié)合時序的特征,要滿足大規(guī)模時序數(shù)據(jù)存儲需求,至少面臨如下的幾個核心挑戰(zhàn):
為了應(yīng)對海量時序數(shù)據(jù)的存儲與處理的挑戰(zhàn),從2014年開始,陸續(xù)有針對時序數(shù)據(jù)存儲設(shè)計的數(shù)據(jù)庫誕生,并且時序數(shù)據(jù)庫的增長趨勢持續(xù)領(lǐng)先,時序數(shù)據(jù)庫結(jié)合時序數(shù)據(jù)的特征,嘗試解決時序數(shù)據(jù)存儲在高寫入吞吐、橫向擴展、低成本存儲、數(shù)據(jù)批量過期、高效檢索、簡單訪問與時序數(shù)據(jù)計算等方面面臨的挑戰(zhàn)。
時序數(shù)據(jù)庫經(jīng)過近些年的發(fā)展,大致經(jīng)歷了幾個階段:
為了迎接 5g/IoT 時代的數(shù)據(jù)存儲挑戰(zhàn),阿里云推出云原生多模數(shù)據(jù)庫 Lindorm ,致力于解決海量多類型低成本存儲與處理問題,讓海量數(shù)據(jù)存得起、看得見。
Lindorm 支持寬表、時序、搜索、文件等多種模型,滿足多類型數(shù)據(jù)統(tǒng)一存儲需求,廣泛應(yīng)用于物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、廣告、社交、應(yīng)用監(jiān)控、游戲、風控等場景。其中 Lindorm TSDB 時序引擎提供高效讀寫性能、低成本數(shù)據(jù)存儲、時序數(shù)據(jù)聚合、插值、預測等計算能力,主要應(yīng)用于物聯(lián)網(wǎng)(IoT)、工業(yè)互聯(lián)網(wǎng)(IIoT)、應(yīng)用性能監(jiān)控(APM)等場景。
Lindorm TSDB 做為下一代時序數(shù)據(jù)庫,在架構(gòu)升級過程中,我們認為時序數(shù)據(jù)庫的發(fā)展會有如下趨勢:
基于以上判斷,我們構(gòu)建了云原生多模數(shù)據(jù)庫 Lindorm,支持寬表、時序、搜索、文件等多種常用模型,解決物聯(lián)網(wǎng)/互聯(lián)網(wǎng)海量數(shù)據(jù)存儲的常見需求,其中 Lindorm TSDB 采用計算存儲分離的架構(gòu),充分利用云原生存儲基礎(chǔ)設(shè)施,定制時序存儲引擎,相比業(yè)界的解決方案更具競爭力。
Lindorm 基于存儲計算分離架構(gòu)設(shè)計,以適應(yīng)云計算時代資源解耦和彈性伸縮的訴求,其中云原生存儲分布式存儲 Lindorm Store 為統(tǒng)一的存儲底座,向上構(gòu)建各個垂直專用的多模引擎,包括寬表引擎、時序引擎、搜索引擎、文件引擎。LindormStore 是面向公共云基礎(chǔ)存儲設(shè)施(如云盤、DBFS、OSS) 設(shè)計、兼容 HDFS 協(xié)議的分布式存儲系統(tǒng),并同時支持運行在本地盤環(huán)境,以滿足部分專有云、專屬大客戶的需求,向多模引擎和外部計算系統(tǒng)提供統(tǒng)一的、與環(huán)境無關(guān)的標準接口。
基于云原生分布式存儲 LindomStore,Lindorm TSDB 采用針對寫入優(yōu)化的 LSM Tree 結(jié)構(gòu)來存儲時序數(shù)據(jù),并結(jié)合時序數(shù)據(jù)的特征,在日志寫入、內(nèi)存組織結(jié)構(gòu)、時序數(shù)據(jù)存儲結(jié)構(gòu)進行時序壓縮,最大化內(nèi)存利用效率、磁盤存儲效率;同時在 Compaction 策略上也針對數(shù)據(jù)通常有序產(chǎn)生的特征進行優(yōu)化。通過引擎自帶的 WAL 日志,Lindorm TSDB 能非常方便的支持實時的數(shù)據(jù)訂閱,以及在引擎內(nèi)部對數(shù)據(jù)進行針對性的降采樣、聚合等預處理操作。
Lindorm TSDB 針對時序數(shù)據(jù)的查詢,支持豐富的處理算子,包括降采樣、聚合、插值、過濾等。用戶的查詢請求經(jīng)過 Parser 解析后,通常分為多個主要的處理階段,以 Pipeline 的形式高效處理。
Lindorm TSDB 具備橫向擴展的能力,海量的時間線數(shù)據(jù)會被分散存儲到多個 Shard 中,Shard 是集群中獨立的數(shù)據(jù)管理單元,Shard 內(nèi)部是一個自治管理的 LSM Tree 存儲引擎(參考2.2),包含單獨的 WAL、TPI、TSFile 等文件。
在水平方向,時間序列數(shù)據(jù)會根據(jù) metric + tags 組成的時間線標識,采用 Hash 分片的策略,將數(shù)據(jù)分到多個節(jié)點;在垂直方向(時間軸維度),分到同一個節(jié)點的數(shù)據(jù),可按照時間維度進行切分,這樣每個 Shard 就負責一部分時間線在一定時間范圍內(nèi)的數(shù)據(jù)管理。
水平方向的分片能保證集群的負載均分到各個節(jié)點,后續(xù)還會結(jié)合業(yè)務(wù)特征,支持業(yè)務(wù)自定義的分片策略,優(yōu)化讀寫效率;垂直方向(按時間范圍)的分片,對于膨脹型時間線場景(比如云原生監(jiān)控的場景,容器頻繁上下線導致大量老時間線的消亡,新時間線的創(chuàng)建)非常有幫助,同時在集群擴容時,也可以借助時間分片策略來盡可能的減小對寫入的影響。
Lindorm TSDB 提供 SQL 訪問能力,Lindorm TSDB 的數(shù)據(jù)模型針對物聯(lián)網(wǎng)場景高度優(yōu)化定制,概念上盡量保留開發(fā)者對數(shù)據(jù)庫的普遍理解,一個實例包含多個數(shù)據(jù)庫,一個數(shù)據(jù)庫包含多張表,表里存儲多個設(shè)備的時序數(shù)據(jù),每個設(shè)備包含一組用于描述設(shè)備的 Tag、設(shè)備包含多個 Field 指標,新的指標數(shù)據(jù)隨時間持續(xù)不斷的產(chǎn)生。除了支持常規(guī)的 SQL 基礎(chǔ)能力,Lindorm TSDB 還定制了 sample by、latest 等算子,用于方便的表達時序降采樣、時序聚合、最新點查詢等常見的時序操作,簡化使用的同時,增強了時序 SQL 的表達能力,讓用戶使用時序數(shù)據(jù)庫更加簡單、高效。
基于 TSQL 查詢接口,Lindorm TSDB 還能針對時序數(shù)據(jù)進行一系列的拓展分析,包括時序數(shù)據(jù)預測、異常檢測等,讓應(yīng)用能更好的發(fā)揮時序數(shù)據(jù)價值。
Lindorm TSDB 通過時序定制的存儲引擎、結(jié)合分布式擴展的能力,能很好的滿足大規(guī)模時序場景的業(yè)務(wù)需求。但對于一些業(yè)務(wù)訪問較小的應(yīng)用場景起步成本相對較高,例如在平臺級的應(yīng)用監(jiān)控、IoT 場景,平臺需要管理大量用戶的時序數(shù)據(jù),而大部分用戶的數(shù)據(jù)規(guī)模初期都相對較小,為了進一步降低用戶的使用成本,適應(yīng)從小到大任意規(guī)模的時序存儲需求,更好的賦能上層的應(yīng)用監(jiān)控、物聯(lián)網(wǎng)類 SaaS 平臺服務(wù),未來 Lindorm 將會沿著多租戶 Serverless 服務(wù)模式持續(xù)演進,提升彈性能力。
隨著 IoT 技術(shù)的發(fā)展,邊緣計算需求日益明顯,在智能家居、工業(yè)工控、智慧園區(qū)、交通大腦等場景,考慮到網(wǎng)絡(luò)帶寬成本等原因,數(shù)據(jù)通常需要先就近本地存儲,并周期性的同步到云端進行進一步分析處理。為了方便邊緣側(cè)的部署,Lindorm TSDB 支持邊緣輕量級部署的版本,并支持數(shù)據(jù)全量、增量同步到云端,形成邊云一體化的解決方案。
Lindorm TSDB 是物聯(lián)網(wǎng)設(shè)備運行數(shù)據(jù)存儲的最佳選擇,無縫與阿里云 IoT 平臺、DataHub、Flink 等進行連接,極大的簡化物聯(lián)網(wǎng)應(yīng)用開發(fā)流程。例如通過 Lindorm TSDB,你可以收集并存儲智能設(shè)備的運行指標,通過自帶的聚合計算引擎或BI類工具進行智能分析,深入了解設(shè)備運行狀態(tài)。
Lindorm TSDB 邊緣版非常適合工業(yè)互聯(lián)網(wǎng)場景,在邊緣側(cè)輕量化輸出,與工業(yè)設(shè)備就近部署,同時支持將數(shù)據(jù)同步到 Lindorm 云端。例如通過 Lindorm TSDB,你可以實時采集工業(yè)生產(chǎn)線設(shè)備的運行指標,對產(chǎn)線的運行狀況進行分析及可視化,從而優(yōu)化產(chǎn)線運行效能。
Lindorm TSDB 非常適合應(yīng)用監(jiān)控數(shù)據(jù)存儲,無縫對接 Prometheus、Telegraf、ARMS 等監(jiān)控生態(tài),提供針對監(jiān)控指標的高效讀寫與存儲,同時提供聚合分析、插值計算等能力。例如通過 Lindorm TSDB,你可以收集應(yīng)用程序的 CPU、內(nèi)存、磁盤等指標的使用情況,并進行分析及可視化,實時監(jiān)測應(yīng)用運行情況。
從互聯(lián)網(wǎng)&大數(shù)據(jù)時代的分布式,到云計算、5G/IoT時代的云原生多模,業(yè)務(wù)驅(qū)動是Lindorm不變的演進原則。面對資源按需彈性和數(shù)據(jù)多樣化處理的新時代需求,Lindorm以統(tǒng)一存儲、統(tǒng)一查詢、多模引擎的架構(gòu)進行全新升級,并借助云基礎(chǔ)設(shè)施紅利,重點發(fā)揮云原生彈性、多模融合處理、極致性價比、企業(yè)級穩(wěn)定性的優(yōu)勢能力,全力承載好經(jīng)濟體內(nèi)部和企業(yè)客戶的海量數(shù)據(jù)存儲處理需求。
Lindorm TSDB 時序引擎面向物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)、應(yīng)用性能監(jiān)控等領(lǐng)域的時序數(shù)據(jù)存儲需求,全面擁抱云原生,并充分利用云原生基礎(chǔ)設(shè)施,定制時序存儲引擎,構(gòu)建海量低成本的時序數(shù)據(jù)存儲與處理能力,提供邊云一體化的時序存儲解決方案。未來 Lindorm 引擎將繼續(xù)在彈性伸縮、低成本海量存儲、多模融合、時序流計算等方向持續(xù)突破,構(gòu)建萬物互聯(lián)的數(shù)據(jù)底座。

我們在微信上24小時期待你的聲音
解答本文疑問/技術(shù)咨詢/運營咨詢/技術(shù)建議/互聯(lián)網(wǎng)交流