用Kafka實現(xiàn)數(shù)字孿生的物聯(lián)網(wǎng)架構(gòu)

譯文
作者：陳峻編譯 2020-04-21 09:51:28

云計算

物聯(lián)網(wǎng)

Kafka 在本文中，你將先后了解到數(shù)字孿生在各個行業(yè)中的優(yōu)勢，Kafka與物聯(lián)網(wǎng)架構(gòu)之間的關(guān)系，以及五種適用于數(shù)字孿生的物聯(lián)網(wǎng)架構(gòu)。

創(chuàng)新互聯(lián)服務(wù)項目包括臨湘網(wǎng)站建設(shè)、臨湘網(wǎng)站制作、臨湘網(wǎng)頁制作以及臨湘網(wǎng)絡(luò)營銷策劃等。多年來，我們專注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢、行業(yè)經(jīng)驗、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機(jī)構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，臨湘網(wǎng)站推廣取得了明顯的社會效益與經(jīng)濟(jì)效益。目前，我們服務(wù)的客戶以成都為中心已經(jīng)輻射到臨湘省份的部分城市，未來相信會繼續(xù)擴(kuò)大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任！

【51CTO.com快譯】數(shù)字孿生(Digital Twin)可以被理解為現(xiàn)實中某些事物(也包括過程或服務(wù))在數(shù)字虛擬環(huán)境中的表現(xiàn)。在本文中，你將了解到數(shù)字孿生在各個行業(yè)中所處的優(yōu)勢，以及Apache Kafka、物聯(lián)網(wǎng)架構(gòu)和機(jī)器學(xué)習(xí)之間的關(guān)系。在實際應(yīng)用中，Kafka通常被用作中央事件流平臺，以那些實時流傳感器的數(shù)據(jù)，構(gòu)建可靠、且可擴(kuò)展的數(shù)字孿生和數(shù)字線程。

我們將從如下三個方面來討論如何構(gòu)建開放、且可擴(kuò)展的數(shù)字孿生基礎(chǔ)架構(gòu)：

• 數(shù)字孿生與數(shù)字線程。
• 事件流、數(shù)字孿生與AI(機(jī)器學(xué)習(xí))之間的關(guān)系。
• 使用Apache Kafka和其他物聯(lián)網(wǎng)平臺的數(shù)字孿生物聯(lián)網(wǎng)架構(gòu)。

建立數(shù)字孿生的關(guān)鍵要點

我們首先來了解四個基礎(chǔ)性的要點：

• 事件流是物聯(lián)網(wǎng)平臺和其他后端應(yīng)用程序/數(shù)據(jù)庫的補(bǔ)充。
• 大多數(shù)數(shù)字孿生架構(gòu)都使用機(jī)器學(xué)習(xí)(ML)和統(tǒng)計模型來進(jìn)行仿真、預(yù)測和推薦。
• “數(shù)字孿生”一詞通常是指單個資產(chǎn)的副本。在現(xiàn)實世界中，各種數(shù)字孿生比比皆是。
• “數(shù)字線程”一詞涵蓋了一到多個數(shù)字孿生的整個生命周期(如下圖所示)。

數(shù)字孿生可以被運用到許多行業(yè)和領(lǐng)域，其中包括：

• 減少宕機(jī)時間
• 庫存管理
• 車隊管理
• 假設(shè)(what-if)模擬
• 運營計劃
• 服務(wù)化
• 產(chǎn)品開發(fā)
• 衛(wèi)生保健
• 客戶體驗

實際上，數(shù)字孿生不僅為各個行業(yè)帶來了自動化，而且增加了不同業(yè)務(wù)的價值和創(chuàng)新。

事件流、數(shù)字孿生與AI(機(jī)器學(xué)習(xí))之間的關(guān)系

開發(fā)者需要通過機(jī)器學(xué)習(xí)，并運用數(shù)字孿生，來進(jìn)行準(zhǔn)確的預(yù)測。這兩者存在著互補(bǔ)的關(guān)系。下圖展示了不同的數(shù)字孿生如何利用統(tǒng)計方法和分析的模型：

該示例包括了基于物理模型來模擬的各種假設(shè)情景，以及基于數(shù)據(jù)模型來估計剩余使用壽命(Remaining Useful Life，RUL)。可見，數(shù)字孿生和機(jī)器學(xué)習(xí)有著以下共同點：

• 能夠持續(xù)學(xué)習(xí)、監(jiān)控與行動。
• 良好的數(shù)據(jù)源是成功的關(guān)鍵。
• 數(shù)據(jù)集越多越好。
• 實時性、可擴(kuò)展性和可靠性是關(guān)鍵的需求。

使用Apache Kafka來實現(xiàn)數(shù)字孿生，機(jī)器學(xué)習(xí)和事件流

Apache Kafka開源生態(tài)系統(tǒng)為機(jī)器學(xué)習(xí)提供了基礎(chǔ)架構(gòu)。下圖展示了Kafka針對機(jī)器學(xué)習(xí)的架構(gòu)。該架構(gòu)為模型的訓(xùn)練、部署、評分和監(jiān)視，提供了開放、可擴(kuò)展、以及可靠性的實時處理。

以下是數(shù)字孿生在實際應(yīng)用過程中的五大常見特征：

連接性

• 各類實物資產(chǎn)、企業(yè)軟件與客戶。
• 通過雙向通信，以獲取命令和控制。

同態(tài)化(Homogenization)

• 解耦和標(biāo)準(zhǔn)化。
• 信息虛擬化。
• 能與多個代理共享，且不受物理位置或時間的限制。
• 成本更低，且能夠輕松地開展測試、開發(fā)和預(yù)測。

可重新編程與智能化

• 通過調(diào)整和改善特征，以開發(fā)出產(chǎn)品的新版本。

數(shù)字跟蹤

• 能夠?qū)崿F(xiàn)時光倒流(回溯)，并通過分析歷史事件，以診斷問題。

模塊化

• 能夠?qū)Ξa(chǎn)品和生產(chǎn)模塊進(jìn)行設(shè)計和定制。
• 調(diào)整不同的模型和機(jī)器模塊。

為了實現(xiàn)上述特征，我們可以選用不同的物聯(lián)網(wǎng)平臺。根據(jù)物聯(lián)網(wǎng)分析研究(IoT Analytics Research)的統(tǒng)計：截止到2019年，市場上存在著600多個物聯(lián)網(wǎng)平臺(請參見：https://iot-analytics.com/iot-platform-companies-landscape-2020/)。與此同時，它們中的許多工具和解決方案都能夠結(jié)合在一起，共同發(fā)揮作用。

下面，我們來討論幾種典型的物聯(lián)網(wǎng)平臺：

• 以Siemens S7和Modbus為首的工業(yè)物聯(lián)網(wǎng)(IIoT)相關(guān)協(xié)議，以及與諸如OPC-UA之類標(biāo)準(zhǔn)的深度集成：它們往往并非某個單一的產(chǎn)品(通常是各種OEM的不同代碼庫)。雖然價格不菲，但是它們開放特定的接口，而且其可擴(kuò)展性也十分有限。此類平臺的典型代表包括：西門子MindSphere、思科Kinetic、GE Digital和Predix。
• 云提供商的物聯(lián)網(wǎng)產(chǎn)品：它們提供了完備的物聯(lián)網(wǎng)管理工具，能夠與其他云服務(wù)(如：存儲、分析等)實現(xiàn)良好的集成。不過，它們往往被云提供商的平臺所綁定，且無法支持混合與邊緣計算。另外，它們不但擴(kuò)展性有限，而且售價也不菲。此類平臺的典型代表包括：AWS、GCP、Azure和Alibaba等。
• 基于開放標(biāo)準(zhǔn)(如：MQTT)、且開源的物聯(lián)網(wǎng)平臺：它們能夠開放核心的業(yè)務(wù)模型，且與基礎(chǔ)架構(gòu)無關(guān)。不過，它們在針對舊協(xié)議和專有協(xié)議的連接方面，可能不太成熟。此類平臺的典型代表包括：Eclipse IoT、Apache PLC4X、Node-RED等開源框架、以及符合MQTT等標(biāo)準(zhǔn)的HiveMQ相關(guān)產(chǎn)品。

使用Apache Kafka和其他物聯(lián)網(wǎng)平臺的數(shù)字孿生架構(gòu)

下面，我們根據(jù)數(shù)字孿生的上述五大特征，來討論Kafka針對實時消息傳遞、集成與處理關(guān)鍵任務(wù)事件流等方面的作用：

• 連接性：Kafka Connect可以針對IoT接口、大數(shù)據(jù)解決方案、以及云服務(wù)，提供免費且實時的大規(guī)模連接。
• 同態(tài)化：Kafka實現(xiàn)了生產(chǎn)者和消費者之間真正的解耦。模式(schema)管理和實施可利用JSON Schema、Avro、Profobuf等不同技術(shù)，來實現(xiàn)數(shù)據(jù)的感知和標(biāo)準(zhǔn)化。
• 可重新編程與智能化：作為微服務(wù)架構(gòu)的實際標(biāo)準(zhǔn)，Kafka支持：關(guān)注點分離(Separation of concerns)，域驅(qū)動設(shè)計(domain-driven design，DDD，請參見：https://www.confluent.io/blog/microservices-apache-kafka-domain-driven-design/)，部署新的已解耦應(yīng)用，實施版本控制，A/B測試與發(fā)布。
• 數(shù)字跟蹤：作為分布式提交日志，Kafka會按需將事件永久地追加、存儲到您的時間點(永久保留時間可 = -1)。這非常適合為數(shù)字孿生構(gòu)建數(shù)字跟蹤。
• 模塊化：Kafka基礎(chǔ)架構(gòu)本身就是模塊化、且可擴(kuò)展的，其中包括：Kafka brokers、Connect、Schema Registry、REST Proxy等組件、以及使用Java、Scala、Python、Go、.NET、以及C++等不同語言的客戶端應(yīng)用。通過這種模塊化，您可以輕松地在邊緣、混合或全局場景中，構(gòu)建合適的數(shù)字孿生架構(gòu)，并能夠?qū)afka組件與任何其他物聯(lián)網(wǎng)方案結(jié)合起來。

下面是五種適用于數(shù)字孿生的物聯(lián)網(wǎng)架構(gòu)。您可以根據(jù)它們的優(yōu)缺點，在自己的整體企業(yè)架構(gòu)、項目情況、以及其他方面，做出合理的選擇。

方案1：數(shù)字孿生Monolith

直接使用物聯(lián)網(wǎng)平臺來集成和構(gòu)建數(shù)字孿生，無需其他數(shù)據(jù)庫或其他組件。

方案2：將數(shù)字孿生作為外部數(shù)據(jù)庫

物聯(lián)網(wǎng)平臺與其端點集成，數(shù)字孿生的數(shù)據(jù)被存儲在諸如：MongoDB、Elastic、InfluxDB或Cloud Storage之類的外部數(shù)據(jù)庫中。此類數(shù)據(jù)庫僅用于存儲，處理，以及儀表板分析等任務(wù)。

同時，Tableau、Qlik或Power BI之類的商業(yè)智能(BI)工具也可以使用數(shù)據(jù)庫的SQL接口，來實現(xiàn)交互式的查詢和報告。

方案3：Kafka作為數(shù)字孿生和企業(yè)其余部分的主干

物聯(lián)網(wǎng)平臺仍然與其端點集成。Kafka作為中央事件流平臺，提供與其他組件之間的解耦。此處中央層是開放、可擴(kuò)展且可靠的。而此處的數(shù)據(jù)庫同樣被用于數(shù)字孿生的存儲、以及儀表板分析。其他應(yīng)用也會以實時、批處理、請求-響應(yīng)通信等方式，使用來自Kafka的部分?jǐn)?shù)據(jù)。

方案4：Kafka作為物聯(lián)網(wǎng)平臺

作為中央事件流平臺，Kafka可為物聯(lián)網(wǎng)端點和其他應(yīng)用提供關(guān)鍵任務(wù)的實時架構(gòu)和集成層。在此方案中，數(shù)字孿生并未用到上述方案中提到的數(shù)據(jù)庫，而是使用了Azure IoT Twin Twins之類的云端物聯(lián)網(wǎng)服務(wù)。

場景5：Kafka作為物聯(lián)網(wǎng)平臺

Kafka直接被用于實現(xiàn)數(shù)字孿生，而并不涉及到其他組件或數(shù)據(jù)庫。同時，其他消費者會直接使用原始數(shù)據(jù)和數(shù)字孿生的數(shù)據(jù)。

該方案的主要問題在于Kafka是否可以替換數(shù)據(jù)庫、以及如何查詢到數(shù)據(jù)(請參見：https://www.kai-waehner.de/blog/2020/03/12/can-apache-kafka-replace-database-acid-storage-transactions-sql-nosql-data-lake/)。在實際應(yīng)用中，由于Kafka可以被用作數(shù)據(jù)庫，因此它不會替代諸如：Oracle、MongoDB或Elasticsearch等其他數(shù)據(jù)庫。

當(dāng)然，Kafka的多次部署也可以被運用到數(shù)字孿生的架構(gòu)中，在永久性存儲等方面發(fā)揮巨大的作用。

網(wǎng)站名稱：用Kafka實現(xiàn)數(shù)字孿生的物聯(lián)網(wǎng)架構(gòu)
文章出自：http://uogjgqi.cn/article/cdijjod.html