5G云XR多人協(xié)同在列車制造運營領域的應用
引言
中興通訊是全球領先的綜合通信解決方案提供商，為全球160多個國家和地區(qū)的電信運營商和行業(yè)客戶提供創(chuàng)新技術與產品解決方案?；谠?G、云XR等領域的深入理解和豐富實踐，中興通訊推出了5G云XR創(chuàng)新平臺產品ZTE XRExplore。
江蘇中車數字科技有限公司是中國中車旗下子公司，專業(yè)為企業(yè)提 供一流智能制造全面解決方案的企業(yè)。公司擁有完善的創(chuàng)新和研發(fā)機制，以聯(lián)接，數字，智能，效率，質量，柔性的經營理念，通過“平臺+產品+服務”模式， 構建了“中車工業(yè)數字平臺”以及“智能物流、智能制造、智能運營”等三大解決方案陣營。公司致力于為國內外制造企業(yè)轉型升級提供全面的技術支撐、業(yè)務咨詢以及 一站式，精益化，智能化，平臺化服務。助力企業(yè)提高資產運營效率，推動生產力不斷提升，驅動企業(yè)持續(xù)改進。
中國移動通信集團江蘇有限公司南京分公司，下轄江寧、浦口、六合、溧水、高淳縣（區(qū)）分公司，被評為“江蘇省企業(yè)信息化建設示范企業(yè)”。
一、 項目概況
1. 項目背景
5G時代，網速限制將被徹底解除，用戶可隨時隨地觀看視頻，VR、AR等XR業(yè)務將走出科技館，走向真實的行業(yè)和用戶，借助沉浸式科技，用戶將擁有看待世界的全新視角，看見原本看不見的，看懂原本看不懂的，做到原本不能做的。
5G 網絡使得接觸資源的速度加快，幫助用戶高效選擇出適合的資源。
借助5G大帶寬與低延時的能力，將XR內容云化，可以提供更加高效便捷內容分發(fā)能力。
在5G網絡的支撐下，用戶不能身處何地，都可通過網絡即時獲取到所需的XR內容資源。5G網絡的成熟，將使不同行業(yè)和類型的用戶更加便捷地開展部署XR業(yè)務，并將促進多形態(tài)XR業(yè)務與內容不斷豐富。
2. 項目簡介
ZTE XRExplore 創(chuàng)新平臺基于端邊云架構，提供邊緣識別、邊緣渲染和推流，降低對終端性能要求和終端功耗，可大大提升業(yè)務質量和體驗；平臺提供豐富的3D內容展示、云VR沉浸式業(yè)務和 AR增強現(xiàn)實業(yè)務，可應用于多人協(xié)作設計、培訓、遠程指導等多種場景。
江蘇中車結合ZTE XRExplore平臺在兩個場景提出了具體的應用需求
1. 數字孿生場景
江蘇中車面向客戶進行機車產品和核心部件的市場推廣和技術討論時，大部分環(huán)節(jié)只有二維圖紙和碎片化的文字介紹，無法直觀，生動和快速體現(xiàn)機車和核心部件的價值所在，生產數據和實際運營數據脫節(jié)，無法數字化展現(xiàn)和打通媒介，亟需XR解決方案。
2. 故障檢修場景
面對復雜的機車故障檢修時，往往需要江蘇中車技術人員，現(xiàn)場維修人員，機車管理人員等多角色現(xiàn)場參與定位和解決，需要耗費大量的人力，物力，財力以及時間成本，亟需遠程解決方案。
3. 項目目標
1. 針對產品展示場景，結合ZTE XRExplore創(chuàng)新平臺，存儲海量數字模型，隨時隨地，使用多終端以數字孿生方式展現(xiàn)全量機車產品和核心部件的生產制造全生命周期數據，聯(lián)通PHM系統(tǒng)檢測實時回傳數據，通過檢測數據與生產數據對比分析，提供機車改造優(yōu)化的效率。
2. 應對故障檢修場景，結合數字孿生功能和遠程專家指導功能，使能參與故障解決的多方人員可以隨時隨地，使用多終端方式異地同時組會討論，協(xié)商解決方案，實現(xiàn)實時AR遠程指導，完成故障定位和檢修，提高故障解決效率，節(jié)省人力，物力，財力和時間成本。
二、項目實施概況
1. 項目總體架構和主要內容
基于在5G、XR技術等方面的雄厚積累，中興通訊推出了以PAD/手機/VR和AR眼鏡客戶端、邊緣云XR渲染平臺和中心云管理平臺為主體的三級系統(tǒng)架構設計。系統(tǒng)具備故障弱化能力，在中心管理平臺不可用的情況下，保證現(xiàn)有的邊緣服務不中斷。系統(tǒng)利用邊緣云XR渲染平臺計算能力，釋放終端壓力，保證XR順暢運行，改善體驗。
ZTE XRExplore產品采用了端、邊、云的系統(tǒng)設計架構，在部署時可以靈活的端、邊、云分離部署，也可以合設部署。
系統(tǒng)架構如下：
圖1 系統(tǒng)架構
中心管理平臺可以部署在云端（公有云或私有云），也可以部署在邊緣側。中心管理平臺提供了中心門戶、用戶管理、內容管理、業(yè)務管理、智能運維、智能運營等功能模塊；
邊緣-云渲染平臺采用分層架構，底層是GPU服務器和網絡設備，通過邊緣云平臺為云渲染平臺提供彈性計算服務、GPU虛擬化服務、存儲服務和虛擬網絡服務。中間是云XR能力層，提供了云XR渲染、云XR推流、工作流編排、會控及媒體處理、視頻流分發(fā)等能力組件。上層是面向各行業(yè)的云XR應用服務層，提供了門戶、會議AS、數據服務、應用服務和接口機等功能模塊；
終端包括XR眼鏡及顯示屏等。XR眼鏡客戶端包括Master角色和Slave角色，Master角色的XR眼鏡可以操控模型，Slave角色的XR眼鏡只能接收推流的視頻。當XR眼鏡客戶端為Master角色時，眼鏡客戶端為主控客戶端，其觀看的3D模型經過云渲染后的視頻流第一視角實時通過云渲染平臺的云XR內容分發(fā)模塊分發(fā)給Slave類型客戶端進行同步觀看。云XR推流模塊分發(fā)給所有Slave角色客戶端。
結合江蘇中車的數字孿生和故障檢修場景，ZTE基于云XR的能力中臺，研發(fā)了云XR協(xié)作應用，既能滿足海量數字孿生模型的場景打通生產數據和檢測數據，又能實現(xiàn)多方異地協(xié)同以XR方式解決復雜故障的場景。
2. 網絡架構
中興通訊XRExplore產品借助于公司在其它視頻類產品（如：IPTV/ OTT/ CDN、視頻會議和安防等視頻產品）可靠性方面的深厚積累（如在雙機部署、異地容災、N+1備份、產品安全方面等有成熟的部署經驗），在產品化規(guī)模部署和安全性方面具有顯著優(yōu)勢。
下圖為中興通訊XRExplore產品的部署架構圖。
圖2 產品部署網絡架構圖
結合江蘇中車場景，具體部署情況如下：
端側支持各類異構胖瘦終端，通過無線網絡靈活接入系統(tǒng)。邊側基于私有云部署，存儲海量三維模型數據并提供可視化算力支持，以數字孿生方式展現(xiàn)機車產品和核心部件的生產制造全生命周期數據，支持拖拉、旋轉、標記、涂色等多人操作。中心管理平臺進行用戶管理、內容管理、應用管理，為智能運維提供支持。
3. 具體應用場景和應用模式
針對產品展示場景，結合ZTE XRExplore創(chuàng)新平臺，存儲海量數字模型，隨時隨地，使用多終端以數字孿生方式展現(xiàn)全量機車產品和核心部件的生產制造全生命周期數據，通過檢測數據與生產數據對比分析，提供機車改造優(yōu)化的效率。
1）5G+XR數字孿生系統(tǒng)，產品質量分析會多人同場景沉浸式協(xié)作。
主要功能和業(yè)務：
? 多人協(xié)同，提高多部門跨地域會議效率；
? 生產制造全生命周期數據管理；
? PHM（預測與健康管理）系統(tǒng)數據結合分析；
? 檢測數據與生產數據對比分析。
圖3 多人協(xié)作
2）XRExplore平臺在工業(yè)領域遠程指導的應用
應對故障檢修場景，結合數字孿生功能和遠程專家指導功能，使能參與故障解決的多方人員可以隨時隨地，使用多終端方式異地同時組會討論，協(xié)商解決方案，實現(xiàn)實時AR遠程指導，完成故障定位和檢修，提高故障解決效率，節(jié)省人力，物力，財力和時間成本。
XRExplore平臺結合5G與邊緣計算功能后，可以充分發(fā)揮大帶寬低時延特性，實時傳輸遠程高清視頻?，F(xiàn)場人員佩戴AR眼鏡后，可以實時回傳現(xiàn)場結合AR信息的高清視頻，后方專家端可以對回傳信息進行凍屏、標注并結合語音信息流完成對現(xiàn)場的實時指導，指導效果如身臨其境，大大提升了工業(yè)領域運維、裝配等工作的工作效率。
三、下一步實施計劃
當前階段主要完成多人協(xié)同應用在列車產品質量分析方面的落地，后續(xù)將重點推動多人協(xié)同應用場景在列車市場推廣、售后維護等環(huán)節(jié)的落地應用。
四、項目創(chuàng)新點和實施效果
1. 項目先進性及創(chuàng)新點
1） 端、邊、云架構：基于在5G技術方面的雄厚積累，推出了以VR和AR眼鏡客戶端、邊緣云XR渲染平臺和中心云管理平臺為主體的三級系統(tǒng)架構設計。系統(tǒng)具備故障弱化能力，在中心管理平臺不可用的情況下，保證現(xiàn)有的虛擬課堂服務不中斷。無需接入頭盔線纜連接，利用邊緣云XR渲染平臺計算能力，釋放終端壓力，保證XR順暢運行改善體驗。
2） 良好的終端兼容性：與核心芯片廠家包括高通，三星，Intel，瑞芯微，全志，炬力等深度合作，支持上百家VR/AR設備廠家，同時可以通過提供SDK接入其它未驗證對接過的VR和AR終端。邊端渲染與系統(tǒng)底層深度優(yōu)化，與邊端渲染配合終端APP都是基于OpenGL編程，效率高，功耗低，使用穩(wěn)定。
3） 良好的應用兼容性：既支持SteamVR、HTC平臺VR應用，也支持基于自有SDK開發(fā)的VR應用，并同時支持AR應用。
4） 完善的云平臺管理：中心云提供學校管理，用戶管理，產品管理，終端管理，內容管理等功能。邊緣云提供虛擬課堂教學資源動態(tài)管理、終端統(tǒng)一接入和狀態(tài)管理等功能。具有豐富的電信級BOSS系統(tǒng)對接運營經驗。
5） 云XR渲染：云渲染平臺支持虛擬化部署，物理資源由虛擬化平臺進行動態(tài)調度和統(tǒng)一管理。支持一路虛機多路渲染，滿足大規(guī)模并發(fā)和物理資源的充分利用。多種關鍵技術保障效果穩(wěn)定，低時延體驗。包括STP姿態(tài)預測, DTR異步時間扭曲和SLAM技術等。
6） 云XR識別：云XR平臺支持內容邊端識別，在現(xiàn)實場景下疊加3D模型或者視頻進行虛實融合。滿足AR景點秀、博物館文物識別等識別類應用的需求。
7） 云編輯和編排：支持中心云和邊緣云XR內容的在線編輯、離線編輯和內容場景化編排，極大地增強了教學互動體驗。
8） 支持音視頻一體化會議：老師和學生可通過內置會議系統(tǒng)進行教學討論和課堂互動，解決了佩戴頭盔對環(huán)境聲音不敏感的問題。
9） 靈活的教學培訓模式：實現(xiàn)了同時支持云VR和云AR的一人互動操作3D模型多人觀看，多人獨立操作3D模型，多人協(xié)作針對同一3D模型的操作。即完美契合了集中教學的教師給學生上課演示的典型場景，也滿足了獨立操作及多人協(xié)作的靈活教學培訓場景。
10） 豐富的內容資源：中興通訊聯(lián)合數十家業(yè)內領先的XR內容提供商提供數千個優(yōu)質的XR內容，支持34種3D模型格式（OBJ，F(xiàn)BX等），視頻，動畫和圖片等各種內容類型。
2. 實施效果
本項目階段性成果
1）在2019年10月17日舉行的世界智能制造大會上，江蘇中車數字科技有限公司聯(lián)合中興通訊展示數字孿生技術在機車核心部件上的應用。
2）XR應用場景：
實現(xiàn)產品質量分析多人協(xié)同評審和工業(yè)現(xiàn)場巡檢指導的應用。
3）5G云XR與傳統(tǒng)對比方案對比 ：
? 5G大帶寬低時延，確保視頻質量和視頻交互的上傳和分發(fā)時延。
? 云XR邊緣渲染平臺，實現(xiàn)計算上移，可滿足滿足模型的渲染和呈現(xiàn)，降低對終端能力的要求。
? 不同地域、不同專業(yè)多人協(xié)同分析評審，提升工作效率。
? 5G+云XR打通了PHM等平臺和人機可視化交互之間的數據通道。
聲明
本報告所載的材料和信息，包括但不限于文本、圖片、數據、觀點、建議，不構成法律建議，也不應替代律師意見。本報告所有材料或內容的知識產權歸工業(yè)互聯(lián)網產業(yè)聯(lián)盟所有（注明是引自其他方的內容除外），并受法律保護。如需轉載，需聯(lián)系本聯(lián)盟并獲得授權許可。未經授權許可，任何人不得將報告的全部或部分內容以發(fā)布、轉載、匯編、轉讓、出售等方式使用，不得將報告的全部或部分內容通過網絡方式傳播，不得在任何公開場合使用報告內相關描述及相關數據圖表。違反上述聲明者，本聯(lián)盟將追究其相關法律責任。
AII微信公眾號
AII頭條號