東華3D可視化工業大數據平臺是將設備、生產線、工廠的數據聯網,通過大數據處理后,在診斷、預測、服務等方面挖掘工業服務的價值,運用3D可視化技術展現出來。平臺結合了東華軟件工業4.0研究院在3D-SCADA監控和工業數據采集方面的優勢,可廣泛應用于智慧城市、智慧制造、智慧能源、智能建筑、智慧景區、智慧園區等諸多領域。
工業大數據時代的來臨為眾多企業帶來了更多全新的發展機遇。東華軟件為企業開發了一站式3D工業大數據綜合平臺, 通過提供從數據存儲、分布式計算、數據分析挖掘以及數據3D可視化的整套支持,幫助企業建立一個統一的數據和計算平臺。企業用戶可以在東華大數據綜合平臺對海量數據進行采集、存儲、分析、搜索、挖掘,發現其內在價值。
東華軟件大數據綜合平臺涵蓋:
1、數據處理平臺:通過內存計算技術、高效索引、執行計劃優化和高度容錯的技術,使得一個平臺能夠處理從GB到PB的數據,并且在每個數量級上都能提供比現有技術更快的性能; 企業客戶不再需要混合架構,不需要孤立的多個集群。可以伴隨企業客戶的數據增長而動態不停機擴容,避免MPP或傳統架構數據遷移的棘手問題。
2、資源管理平臺:在統一存儲上建立資源管理層,提供企業用戶統一的計算資源管理、動態資源分配、多部門之間的資源配置和動態共享等功能,使多部門多應用可以靈活地在統一平臺上平滑運行。
3、數據分析平臺:支持批處理統計分析、交互式SQL分析、在線數據檢索、R語言數據挖掘、機器學習、實時流處理、全文搜索和圖計算,為企業客戶提供廣泛的計算支持能力,客戶無需切換平臺或架構即可完成復雜的任務。
4、3D可視化平臺:作為企業級解決方案,東華軟件開發了3D用戶友好的管理界面、提供了系統安裝、集群配置、安全訪問控制、監控及預警等多方面支持,在可管理性方面優勢顯著。
1、完整的數據倉庫功能支持
目前支持完整的SQL 99標準和SQL 2003核心擴展,支持絕大部分Oracle PL/SQL和DB2 SQL/PL語法,包括完整的數據類型、流程控制、Package、游標、異常處理以及動態SQL執行,可以滿足絕大部分數據應用的從關系型數據庫到Inceptor平臺的遷移。
支持對數據的增刪改操作,允許從多數據源中加工數據,同時為了有效的保證數據處理的準確性,提供了分布式事務的支持,保證了處理過程中數據的ACID,即原子性、一致性、隔離性和持久性。
2、超強的數據分析性能
在計算引擎方面,采用為內存優化的Apache Spark引擎,并加上專有的高效列式內存存儲,能夠提供全內存的計算解決方案,是業界最領先的計算架構。在優化器方面,包含多級優化器和代碼生成器,對SQL生成執行計劃進行了大量優化,確保生成最佳的執行計劃。綜合在執行引擎,優化器及數據存儲層上的優化,性能全面領先開源 Apache Hadoop 2.X,SQL支持完整程度和性能大幅領先Cloudera Impala,比主流MPP數據庫快1.5到5倍。
3、高并發低延時,支持半結構化和非結構化數據
支持全局和局部索引,能夠提供毫秒級的查詢性能,單節點每秒處理的并發請求數可以達到幾萬,滿足企業在高并發場景下的業務需求。同時支持JSON數據格式等非結構化數據,用戶可以直接將JSON格式的數據存儲在之中,并可以對任意字段進行查詢,創建索引以及刪改。支持分布式全文檢索,并可使用SQL語法進行搜索。可以高效的滿足單條數據大小在幾百K到10M的二進制存儲需求,對一些圖片和視頻類的在線業務非常有效。
4、交互式數據分析和挖掘能力
支持R交互式數據分析,同時內置了大量常用機器學習算法的分布式實現,可以與R語言中的數千個算法混合使用,可高速分析現有平臺中的海量數據。還提供了包括文本分析、交易反欺詐、風險分析、推薦系統在內的多個行業解決方案,使得用戶快速地基于自身業務系統構建解決方案。結合高效快速的數據挖掘能力與平臺對主流可視化和BI工具的支持,東華工業大數據可以幫助客戶將新的大數據應用輕松融合進原有業務中,通過對真實場景全量數據的學習和挖掘,為客戶產生更多價值。
5、與數據分析生態系統的強力整合
支持JDBC 4.0和ODBC 3.5標準,因此能夠支持Hibernate/Spring等中間件,完全兼容Tableau/QlikView/Cognos/SAP Business Objects/OracleOBIEE等報表工具,使得基于大數據分析的商業決策更易被理解和接受。此外,也支持與其他數據同步工具的對接,能夠支持Oracle Golden Date,SAP Data Service等數據同步工具,企業用戶可以實時的將交易數據同步到平臺內做交互式統計分析業務。
6、高可靠的企業級運維管理體系
通過提供數據存儲、分布式計算、數據分析挖掘以及數據可視化的整套支持,解決了企業在GB到PB級數據分析領域碰到的各種問題。作為企業級解決方案,可管理性是平臺的顯著優勢,用戶友好的管理界面提供了系統安裝、系統及集群配置、監控及預警等多方面的一站式支持。
7、高性能數據采集與3D可視化平臺
(1)高性能的智能化全矢量2D/3D畫面開發與運行平臺,并支持WPF和Silverlight發布。
(2)實時和歷史報警管理平臺,支持面向對象的報警管理。
(3)歷史數據存儲管理與還原,可支持豐富的數據源和客戶端。
(4)對分布在不同地點的資產進行基于GIS地理信息系統的可視化監管。