易用的平台管理界面
H3C DataEngine提供可視化的集群安裝部署界面,方便快捷的進行資(zī)源管理,主機分(fēn)配等操作,支持組件服務一(yī)鍵安裝、升級和圖形化運維,實時監測各項服務的健康狀态以及運行指标,超過一(yī)定配置阈值後進行告警并郵件通知(zhī)管理員(yuán),提升運維效率。
無共享大(dà)規模并行計算
MPP集群中(zhōng)的各節點對等,不需要主節點,數據加載、數據導出和查詢都可以并行地在各節點同時執行。由于沒有資(zī)源共享,增加節點就可以線性地擴展MPP的數據容量和計算能力,可以輕松從幾個節點到上千節點、或從幾個TB到數10PB規模擴展和收縮,滿足業務規模增長的要求。
分(fēn)級存儲
在大(dà)數據時代,數據産生(shēng)越來越快,而合規性和深度挖掘要求保留更多的數據,因此數據庫中(zhōng)存放(fàng)的數據越來越多。分(fēn)析性能、高速磁盤高成本和大(dà)數據容量要求常常是矛盾。MPP的分(fēn)級存儲特性可以有效地化解這一(yī)矛盾。MPP可以爲不同的Schema、表等對象、以及表分(fēn)區指定不同的存儲策略,指定不同的存儲位置(可以采用不同性能、成本和容量的存儲介質),從而優化存儲成本。
自動優化設計
MPP内置包含專家知(zhī)識的數據庫優化設計器。用戶隻需要指定邏輯模式(Schema),裝載樣例數據,并提供典型查詢SQL語句, MPP的數據庫優化設計器就會根據專家知(zhī)識自動設計數據的水平分(fēn)布方式、每個列的排序方式和壓縮算法,平衡查詢性能和存儲空間大(dà)小(xiǎo)要求,實現數據庫整體(tǐ)的優化。
強大(dà)的數據接入能力
通過面向服務的數據接入平台,将異構數據源集成過程封裝爲數據服務單元的形式對外(wài)提供服務,形成四通八達的數據傳輸服務,讓數據不再成爲孤島。支持從DBMS、互聯網、物(wù)聯網、企業生(shēng)産系統等各種數據源中(zhōng)提取數據,并将處理結果快速存入到H3C DataEngine平台中(zhōng)。使得用戶不用再關注底層數據的傳輸過程,輕松易用,專注于上層平台應用的開(kāi)發。
通用數據服務接口
提供SQL服務和可編程API,提取數據存儲計算平台的數據處理結果,屏蔽底層細節,爲上層應用提供數據服務。數據服務接口主要包括SQL接口、MapReduce/Spark/Storm/Flink等多種計算框架的可編程API、全文搜索接口、業務定向接口、關聯查詢接口,滿足數據查詢、可視化BI展示、數據分(fēn)析、綜合查詢等業務應用的需要。提供接口文檔、二次開(kāi)發指導手冊與二次開(kāi)發示例程序,滿足開(kāi)發人員(yuán)的使用需求。
安全的數據管控中(zhōng)心
H3C DataEngine基于安全協議Kerberos實現安全認證,使用LDAP作爲賬戶管理系統;同時利用Range提供統一(yī)的用戶和角色的管理體(tǐ)系,遵從RBAC(Role-Based Access Control)模型規範,通過角色綁定用戶進行權限管理。此外(wài)DataEngine還支持用戶對各組件的審計日志(zhì)及檢索能力,組件管理界面均支持單點登錄,使得平台做到安全可靠。
智能數據分(fēn)析挖掘
支持R語言,集成機器學習算法庫Spark MLlib,包含聚類分(fēn)析、分(fēn)類算法、頻(pín)度關聯分(fēn)析和推薦系統在内的常用機器學習算法。滿足批處理統計分(fēn)析、在線數據檢索、R語言數據挖掘、實時流處理、全文搜索等需求。可幫助企業建立高速可擴展的數據倉庫和數據集市,結合多種報表工(gōng)具提供交互式數據分(fēn)析、即時報表和BI可視化展示能力。
多形态部署模式
數據平台支持獨立模式和共享模式兩種資(zī)源劃分(fēn)模式,滿足不同場景下(xià)業務需求。共享模式下(xià)可以創建一(yī)個大(dà)集群,不同用戶申請集群的共享存儲和計算資(zī)源,并通過權限進行隔離(lí),适合對資(zī)源管控嚴格且各二級部門數據交換頻(pín)繁的企業使用。獨立模式下(xià)不同用戶可申請創建單獨的集群,享有集群的資(zī)源,不同集群之前使用網絡進行隔離(lí),适用于資(zī)源比較充分(fēn)且各二級部門之間業務相對獨立的企業。
此外(wài)爲滿足企業穩定性要求,DataEngine還提供了常用服務的獨立産品模式,包括NoSQL數據庫HBase、内存數據庫Redis、消息中(zhōng)間件Kafka、搜索服務Solr和Elasticsearch,避免不同組件之間資(zī)源搶占影響集群穩定性。
深度融合H3C CloudOS
H3C DataEngine大(dà)數據平台做爲H3C CloudOS雲服務提供,發揮雲計算與大(dà)數據融合優勢,利用雲IaaS能力提供虛拟化資(zī)源池和裸金屬資(zī)源池,用戶可以根據具體(tǐ)業務場景靈活選擇數據平台部署模式。虛拟機部署适合小(xiǎo)數據量、性能要求不高的應用場景,提高服務器資(zī)源利用率;裸金屬部署适合大(dà)數據量、高性能場景,提升用戶業務能力。