當前位置：成都萬緯信息技術有限公司>>華三>>大數據/服務器>>H3C DataEngine平臺產品

H3C DataEngine平臺產品

返回列表頁

參考價

面議

具體成交價以合同協議為準

產品型號

品牌

廠商性質其他

所在地成都市

在線詢價收藏產品查看聯系電話

聯系方式：譚先生查看聯系方式

更新時間：2024-04-07 12:53:51瀏覽次數：473次

聯系我時，請告知來自智慧城市網

產品分類 品牌分類

  華三

新安防

云計算/超融合

大數據/服務器

無線安全

存儲

交換路由

智能數據中心網絡

全部產品列表

暫無信息

成都萬緯信息技術有限公司

經營模式：其他

商鋪產品：167條

所在地區：

聯系人：譚先生

詢價 給他留言

產品簡介

在DT時代的今天，各行各業時時刻刻都在產生海量的結構多樣的數據，企業數據規模不斷增長，數據類型也變得復雜多樣，傳統數據庫技術已無法滿足企業海量多樣化數據的有效存儲、快速讀取以及分析挖掘的需求，急需一套專業化的大數據解決方案來點石成金，H3CDataEngine大數據平臺在此背景下應運而生

詳細介紹

在DT時代的今天，各行各業時時刻刻都在產生海量的結構多樣的數據，企業數據規模不斷增長，數據類型也變得復雜多樣，傳統數據庫技術已無法滿足企業海量多樣化數據的有效存儲、快速讀取以及分析挖掘的需求，急需一套專業化的大數據解決方案來點石成金，H3C DataEngine大數據平臺在此背景下應運而生。
H3C DataEngine 3.0大數據平臺基于開源Hadoop3.0而優于開源Hadoop，提供一套完整的數據實時采集、數據存儲、計算、分析、管理與開發于一體的大數據平臺方案。相比開源Hadoop 3.0平臺，DataEngine大數據平臺在安全性、易用性、穩定性與兼容性等多方面，進行內核級優化與外圍加固，為用戶提供更貼心、更適合的大數據平臺方案。H3C DataEngine大數據平臺與H3C CloudOS深度融合，以云操作系統作為基礎底座，形成獨立的數據平臺云服務，利用云提供靈活的基礎設施資源管理，提供海量數據存儲以及高性能的查詢分析處理能力，助力企業用戶快速構建海量數據處理系統，分析挖掘數據內在價值，并用于指導企業經營決策，完成業務驅動到數據驅動的轉型。

系統架構

H3C DataEngine大數據平臺,整合基礎資源服務（IaaS）、平臺服務（PaaS）、數據服務（DaaS）一站式數據解決方案，支持物理機與虛擬機多種資源服務模式，深度定制大數據生態系統，打通數據全鏈路開發處理流程和數據全域管理能力，助力企業業務快速創新，完成ICT轉型。

數據源：大數據平臺可對接各種類型的數據源，結構化數據、非結構化數據與半結構化數據，包括但不限于關系型數據庫、日志、流量、物聯網數據、圖片等。支持接收上一個數據處理組件或數據接入階段的數據。支持自定義的數據處理操作，并可向下一個數據處理組件發送數據；支持多元化數據處理方式，包括支持Java、Python、SQL等開發語言。
資源服務層：DataEngine大數據平臺依托H3C CloudOS云基礎平臺，提供數據平臺運行的服務支撐能力，包括控制臺管理框架、統一用戶組織管理、工單流程管理、組件監控告警、日志管理以及微服務治理、資源池管理等。數據平臺服務支持部署在物理機、裸金屬服務器和虛擬機，用戶可以根據實際業務場景需求靈活選擇。
平臺服務層：提供豐富的大數據組件即服務，包括但不限于分布式文件系統、NoSQL數據庫服務、內存數據庫服務、離線計算、流式計算、內存計算等服務，并通過自研統一SQL服務，兼容標準SQL，對外提供統一的數據查詢、分析服務，提升平臺的整體易用性。
分布式文件系統支持查詢存儲容量、存儲使用量等信息；支持根據數據價值的高低和存儲周期的長短，定義數據的物理存儲節點，提高集群資料使用效率。根據數據價值高可以存儲配置在SSD盤或者SATA盤的節點上，同時提供gzip、或lzc、或snappy、或其它存儲壓縮算法。
數據服務層：在數據存儲與計算平臺服務之上，還提供數據工廠、數據開發、數據資產以及數據質量等增值服務，形成統一數據標準規范，真正形成數據資產化，滿足上層應用的數據要求。
H3C DataEngine 大數據平臺產品包括以下關鍵特性：
多數據源的快速采集：數據集成服務通過簡易的工作流管理界面，可輕松將存儲在文件、關系型數據庫、實時數據流（如設備syslog信息）等各類數據源中的海量結構化數據、非結構化數據、半結構化數據采集至大數據集群中。
海量數據的存儲：對結構化、半結構化和非結構化數據提供低成本存儲，通過的Ensure Code技術實現數據低冗余、高容錯，并通過集群高可用和多副本機制，避免單節點故障，保證節點損壞時數據不丟失。此外平臺還具有高可擴展性，用戶可以增加集群節點數量，橫向擴展數據存儲和計算能力。
支持對集群內服務器硬盤故障自動容錯處理，支持硬盤熱插拔，故障硬盤的業務恢復時間＜ 2分鐘。
元數據庫支持快速切換容災，故障時可在1分鐘內完成服務恢復。
多計算框架融合：融合了穩定的離線計算MapReduce、高效的內存計算Spark以及實時的流計算Flink等多種計算框架，為客戶提供靈活的計算支持能力，全面支持各類計算業務場景，客戶無需切換平臺或架構即可完成復雜多變的計算任務。在各類計算框架之上H3C DataEngine通過自研的統一SQL引擎，高度兼容標準SQL，智能選擇計算引擎，極大降低使用復雜度，為上層應用程序提供標準的JDBC/ODBC/REST接口、多種語言的編程API和DaaS接口，輔以BI展示和可視化工具，通過即時報表、直方圖、柱狀圖等方式直觀呈現數據價值。
可視化數據工廠：提供一站式數據接入、可視化的數據開發，全托管的數據處理流程調度，實現一整套全生命周期數據開發服務，適用于數據建倉、數據分析與探索、業務報表生成、實時數據預警等業務場景。
豐富的行業應用： H3C DataEngine大數據平臺經過不斷的產品優化和架構演進，已經成功在、醫療、電力、稅務、高校等多個行業落地實施，配合行業的應用服務開發商為客戶提供豐富的大數據應用。
容災備份：可對關鍵組件元數據、文件、表進行備份和恢復；數據備份和數據恢復，支持全量或增量備份。數據中心間的數據集群備份，滿足多中心之間的數據互備需求，備份過程可視化管理。
多租戶支持：通過對物理或虛擬資源的分配實現多個租戶以及他們的計算和數據彼此隔離和不可訪問。
隔離管理：支持多租戶并行執行，租戶任務提交到不同的隊列執行，租戶間資源隔離。
權限管理：支持各業務組件的租戶統一管理，實現租戶資源的動態配置和管理，資源隔離，資源使用統計等功能，支持多級租戶的管理功能。
調度管理：支持多集群和多資源池的多租戶調度。

產品特點

易用的平臺管理界面

H3C DataEngine提供可視化的集群安裝部署界面，方便快捷的進行資源管理，主機分配等操作，支持組件服務一鍵安裝、升級和圖形化運維，實時監測各項服務的健康狀態以及運行指標，超過一定配置閾值后進行告警并郵件通知管理員，大幅提升運維效率。并可支持滾動升級與補丁能力，業務不中斷，一次升級少量節點，循環滾動，直至集群所有節點升級到新版本。支持集群內某個業務節點故障時，不影響整體服務實例運行，并提供集群的自適應性負載能力，在高并發、高負載請求場景下無需調整集群參數保證業務運行。

超大規模集群能力

H3C DataEngine 大數據平臺深度優化集群擴展能力，支持5000+節點以上超大規模集群的實施能力，具備豐富的大規模集群調優能力，從規劃部署策略，反復驗證以最少的資源實現資源合理利用、優化部署架構，實現分片并行、增加本地化安裝源避免流量洪峰、修改單線操作，合理提高并行度，提升組件管理和業務性能、增加緩存機制，減少調度延遲，保障頁面響應快速，數據更新及時、反復優化組件資源參數和系統參數，提升大集群穩定性。采用大二層扁平網絡部署，可支持交換機線性擴展，支持負載分擔，采用業務平面管理平面隔離。平臺支持自主可控CPU架構部署。

高效的工作流調度引擎

數據工廠中支持可視化的工作流任務編排，并提供強大的工作流調度引擎。用戶可以調試運行工作流，也可以周期運行工作流。在周期調度設置中，支持多維度的調度方式，即可以按照年、月、周、日、小時、分鐘的方式進行工作流執行周期的設置。同時支持工作流的優先級與并發數設置，用戶可以針對不同工作流設置不同的優先級，或者針對工作流實際運行需求來設置并發數。

通用數據服務接口

提供統一SQL服務和可編程API，提取數據存儲計算平臺的數據處理結果，屏蔽底層細節，為上層應用提供數據服務。數據服務接口主要包括SQL接口、MapReduce/Spark/Storm/Flink等多種計算框架的可編程API、全文搜索接口、業務定向接口、關聯查詢接口，滿足數據查詢、可視化BI展示、數據分析、綜合查詢等業務應用的需要。提供接口文檔、二次開發指導手冊與二次開發示例程序，滿足開發人員的使用需求。

安全的數據管控中心

H3C DataEngine基于安全協議Kerberos實現安全認證，使用LDAP作為賬戶管理系統；同時利用Range提供統一的用戶和角色的管理體系，遵從RBAC(Role-Based Access Control)模型規范，通過角色綁定用戶進行權限管理。此外DataEngine還支持用戶對各組件的審計日志及檢索能力，自動存儲到服務器的目錄下（或對接日志服務，并可通過日志服務下載日志），便于長期存儲、管理審計日志信息。全組件管理界面均支持單點登錄。
采用多節點集群架構，平臺內各組件管理節點需實現高可用機制，運維管理節點故障不影響業務正常運行。使得平臺真正做到安全可靠。

智能數據分析挖掘

支持R語言，集成機器學習算法庫Spark MLlib，包含聚類分析、分類算法、頻度關聯分析和推薦系統在內的常用機器學習算法。滿足批處理統計分析、在線數據檢索、R語言數據挖掘、實時流處理、全文搜索等需求。可幫助企業建立高速可擴展的數據倉庫和數據集市，結合多種報表工具提供交互式數據分析、即時報表和BI可視化展示能力。

多形態部署模式

數據平臺支持獨立模式和共享模式兩種資源劃分模式，滿足不同場景下業務需求。共享模式下可以創建一個大集群，不同用戶申請集群的共享存儲和計算資源，并通過權限進行隔離，適合對資源管控嚴格且各二級部門數據交換頻繁的企業使用。獨立模式下不同用戶可申請創建單獨的集群，獨享集群的所有資源，不同集群之前使用網絡進行隔離，適用于資源比較充分且各二級部門之間業務相對獨立的企業。
此外為滿足企業穩定性要求，DataEngine還提供了常用服務的獨立產品模式，包括NoSQL數據庫HBase、內存數據庫Redis、消息中間件Kafka、搜索服務Solr和Elasticsearch，避免不同組件之間資源搶占影響集群穩定性。

云數平臺深度融合

H3C DataEngine大數據平臺做為H3C CloudOS云服務提供，充分發揮云計算與大數據融合優勢，利用云IaaS能力提供虛擬化資源池和裸金屬資源池，用戶可以根據具體業務場景靈活選擇數據平臺部署模式。虛擬機部署適合小數據量、性能要求不高的應用場景，服務器資源利用率；裸金屬部署適合大數據量、高性能場景，提升用戶業務能力。

功能特性

可視化安裝運維管理

大數據平臺提供一體化的安裝運維管理界面，通過Web界面化的方式實現一站式安裝部署、監控告警、參數配置、服務管理、日志審計、用戶管理、多集群管理等功能，避免用戶在多個管理界面間切換；對集群的各項服務做集中式管理，提供啟動服務、停止服務、修改屬性和設定運行參數等功能，實現集群各項服務運行狀態(基本信息、告警、運行健康狀態)實時監控，保障集群穩定運行。

一站式開發服務數據工廠

數據工廠覆蓋數據采集、存儲、計算、分析、開發、調度等環節的大數據全鏈路處理能力，降低用戶使用大數據的門檻，幫助用戶快速構建大數據處理體系。
文件管理為用戶提供可視化的HDFS操作能力，免去了用戶依靠終端輸入命令行的方式進行HDFS操作，支持可視化上傳、下載、共享等操作。
數據開發以拖拽方式構建任務流，按照時間和依賴關系的對進行任務調度管理，支持對Shell，Java，MapReduce，Spark，HDFS，Hive，SparkSQL等任務調度與編排。
資源空間管理提供開發依賴jar包，tar包，文件等資源的管理，支持在線分組分類，增刪改等操作。
連接管理支持SSH協議主機連接和關系型數據庫、大數據存儲、消息隊列以及其他類型（FTP）數據源連接。

多樣化分布式計算框架

DataEngine提供MapReduce、Spark和Flink三種分布式處理框架，分別滿足穩定、高效、快速迭代三類應用場景，同時支持Hive、SparkSQL等SQL on Hadoop工具，簡化計算任務編寫過程，快速進行數據開發工作。
Hive默認執行引擎采用Tez計算框架，將多個具有依賴的作業轉換為DAG作業，避免復雜任務多次讀寫HDFS過程，大幅提升作業運行性能，復雜計算場景下相比MapReduce作業能夠提升10倍以上性能。
提供Spark內存計算框架，通過RDD之間的血緣關系管理算子之間依賴關系，確保數據能夠快速恢復并重新計算，中間結果數據支持靈活選擇內存、SSD等緩存模式，在迭代式計算場景提供更高性能的算力，計算性能可達MapReduce的10-100倍。
采用Flink計算框架統批處理，一個計算引擎可同時滿足流計算業務和批處理業務，支持自實現狀態管理和Exactly-Once語義，具有容錯機制，保證數據零丟失，具有的吞吐量及亞秒級延遲性能。同時支持完善Flink SQL語法，快速實現雙流join、流批join等業務場景，降低流式作業開發難度。

全面的全文檢索數據庫

全文檢索主要應用于業務場景下的人員、車輛、企事業單位等電子檔案的全文檢索、結構化數據的關聯查詢分析以及原始庫、資源庫、主題庫、業務庫、業務要素索引庫組建。技術實踐方面，全文庫除滿足機關檔案類非結構化數據的搜索需求外，因其對結構化數據索引及實時查詢性能的良好支持，不應局限于將其應用于非結構化數據的全文檢索，同時，由于當前分析型數據庫在高并發關聯查詢場景下的性能欠缺，對于面向一線民警的高并發結構化數據關聯檢索類場景都可考慮使用全文檢索庫來承載。本次全文檢索數據容量按照全量結構化數據以及全量非結構化數據的數據容量進行規劃，采用Solr或者ES全文檢索組件，其中包括對結構化以及非結構化數據的檢索。
Elasticsearch+Solr全文檢索引擎是一個高性能，采用Java開發，基于Lucene的全文搜索服務器，可以實現每天百億增量數據的實時入庫，并在數據入庫1-2分鐘后就可以進行查詢。同時對其進行了擴展，提供了比Lucene更為豐富的查詢語言，同時實現了可配置、可擴展并對查詢性能進行了優化，并且提供了一個完善的功能管理界面，是一款非常優秀的全文搜索引擎 (Lucene是一個全文檢索引擎的架構，提供了完整的查詢引擎和索引引擎)。它對外提供了類似于REST的HTTP/XML和JSON的API。其主要功能包括強大的全文檢索，高亮顯示，層面搜索，近實時索引，動態聚類，數據庫整合，豐富的文檔（如Word中，PDF格式）處理和地理信息搜索等。
Elasticsearch+Solr全文檢索引擎作為業界優秀的企業搜索服務器具有以下特性：
? 高級的全文搜索功能
? 支持針對數據的語義分析、情感分析和打標簽功能
? 支持基于協同過濾算法實現智能推薦提高查詢有效性
? 支持異步文件存儲能力，自動支持文件的切片和合并能力以及對象存儲能力，并提供基于Restful的查詢接口
? 具備非結構化數據的存儲和快速檢索能力，以及PB數據量級的毫秒級搜索能力
? 專為高通量的網絡流量進行的優化
? 基于開放接口（XML和HTTP）的標準
? 綜合的HTML管理界面
? 可伸縮性－能夠有效地復制到另外一個全文檢索服務器
? 使用XML配置達到靈活性和適配性
? 支持可擴展的插件體系
? 高效、靈活的緩存功能
? 垂直搜索功能，高亮顯示搜索結果

自研統一SQL引擎

DataEngine大數據平臺提供自研Sparrow組件，對外提供統一的SQL訪問服務。兼容通用標準SQL，從數據庫平滑過渡到大數據平臺，提升SQL兼容性，可對接ES、HBase、Hive等數據源，降低平臺使用門檻；提供增強型統一SQL on Hadoop方案，支持圖計算與機器學習SQL，大幅度提升平臺易用性。

豐富的大數據服務組件

基于Hadoop 3.0版本，與開源社區的版本、接口保持一致，不采用私有架構。提供分布式文件存儲、海量數據處理、實時數據分析、交互式查詢、數據檢索、安全認證與權限管理等功能。軟件服務組成及功能描述如下：

服務名稱	版本號	描述
YARN	3.0.0	Hadoop資源管理器，是一個通用的資源管理系統，可為上層應用提供統一的資源管理和調度服務，使MapReduce、Spark、Flink等多種計算框架共享資源
HDFS	3.0.0	Hadoop分布式文件系統，具有高容錯、高吞吐等特點，適用于存儲超大文件
MapReduce2	3.0.0	批處理框架，主要用于離線計算、計算密集型應用。設計思想是分而治之，即將一個大任務分成多個獨立的小任務，最后匯總各個小任務的結果
ZooKeeper	3.4.5	分布式應用程序協調服務，為集群提供一致性服務，包括配置維護、名字服務、分布式同步、組成員管理等
Spark	2.4.0	一個快速的通用的大規模數據處理引擎，提供批處理、流處理、SQL查詢、機器學習、圖計算、R語言等功能。Spark計算中的中間結果緩存在內存中，在后續計算過程中直接讀取緩存數據，具有高效的計算性能。
Storm	1.2.1	Storm是一個分布式的、容錯的實時流處理引擎，效率非常高且能保證每條消息都能被處理
Tez	0.9.0	一個支持DAG作業的計算框架。Tez將多個有依賴關系的作業轉化為一個DAG作業，大幅提升性能，幫助MapReduce克服在迭代計算和交互式計算方面的不足
HBase	2.1.1	HBase是一個分布式、面向列的NOSQL數據庫，常用于非結構化和半結構化數據的存儲和查詢。在應用程序開發中，常使用Java API等接口訪問HBase中的數據，也可以借助Phoenix等SQL引擎使用JDBC訪問HBase中的數據
Redis	5.0.4	Redis是Key-Value型內存數據庫，支持單機和集群兩種運行模式，常用作高速緩存和消息隊列代理
Flink	1.6.0	Flink是一個批處理和流處理結合的統一計算框架，其核心是一個提供了數據分發以及并行化計算的流數據處理引擎
ElasticSearch5	7.4.0	ElasticSearch是一個基于Lucene的全文搜索服務器，提供了一個分布式的、多用戶全文搜索引擎。對外提供RESTful編程接口，特點是易擴展、實時搜索、穩定可靠，是當前流行的企業級搜索引擎
Solr	7.4.0	Solr是一個基于Apache Lucene項目的搜索平臺。其主要功能包括全文搜索、命中突出、面搜索、動態集群、數據庫集成和豐富的文檔（如Word、PDF）處理
Hive	2.1.1	基于Hadoop的數據倉庫工具，可以將結構化的數據文件映射為一張數據庫表，并提供簡單的類SQL查詢功能，具有以下特點： · 易于進行數據抽取、轉換和加載 · 支持多樣的數據存儲格式 · 能直接訪問存儲在HDFS或其他的數據存儲系統（如HBase）上的文件。多種使用方式，支持Shell交互式命令、JDBC、WebUI等
Impala	3.2.0	Impala是用于處理存儲在Hadoop集群中的大量數據的MPP（大規模并行處理）SQL查詢引擎，提供了高性能和低延遲查詢分析能力。
Kafka	2.3.0	一種高吞吐量的分布式發布訂閱消息系統
Infra Solr	0.1.0	Infra Solr是一個專門提供給LogSearch服務的企業級搜索應用服務器
Sqoop	1.4.7	Sqoop是一個用于Hadoop和結構化數據存儲（如關系型數據庫）之間進行高效傳輸大批量數據的工具： · Hadoop數據：HDFS文件、HBase表、Hive表 · 關系型數據庫：MySQL、PostgreSQL、Oracle、SQL Server和DB2等支持JDBC的數據庫
Kerberos	1.10.3.10	Kerberos是一種不依賴主機地址信任、不要求網絡中所有主機的安全，通過密鑰系統為客戶機和服務器應用程序提供強大的認證服務的網絡認證協議在Hadoop中，使用Kerberos來安全訪問各個服務
HBase Indexer	1.5	HBase Indexer是針對HBase開發的索引插件，使HBase支持二級索引
Oozie	5.1.0	Oozie是用于Hadoop平臺的工作流調度引擎，管理Hadoop作業
Flume	1.9.0	Flume是一個分布式的、高可靠的、高可用的將大批量的不同數據源的日志數據收集、聚合、移動到HDFS進行存儲的系統

云化大數據服務

采用基于云計算平臺的大數據服務，用戶通過云端申請大數據集群，H3C CloudOS云平臺會為大數據集群分配和管理主機資源，用戶只需專注于自己的業務層面，按需購買大數據服務，并可為大數據集群提供擴容、縮容的功能。提供兩種部署方式：裸金屬與虛擬化。虛擬機部署適合小數據量、性能要求不高的應用場景，提升服務器資源利用率；裸金屬部署適合大數據量、高性能場景，提升用戶業務能力。

安全認證和權限管理

為保障用戶的數據信息安全，DataEngine集成了用戶身份認證和權限管理功能，在創建大數據集群時根據實際需求進行啟用安全管理即可。
開啟安全管理的集群統一使用Kerberos認證協議進行安全認證，kerberos認證支持密碼認證和keytab認證兩種模式，集群管理員可在用戶管理模塊為集群使用者分配用戶和設置認證密碼，避免外部用戶登錄集群，提高集群安全性。
由于集群每個特定用戶可能擁有集群資源的不同訪問和使用權限，支持按照用戶需要對數據進行加密。支持對所有數據進行加密或部分關鍵數據進行加密。支持SHA256、AES128等方式的數據加密。為保護不同業務數據的信息安全，安全集群利用Ranger進行鑒權，確保認證用戶擁有集群資源的訪問權限。如果用戶權限不足，需要管理員為用戶授予對應資源的權限后才能進行訪問。
支持數據訪問權限管理，包括登錄權限、創建表權限、讀寫權限、白名單控制權限等；支持管理權限控制，包括管理員分級等；提供集中統一的用戶權限管理功能，將系統中各組件零散的權限管理功能集中呈現和管理，對普通用戶屏蔽掉內部的權限管理細節，對管理員簡化權限管理的操作方法，提升權限管理的易用性和用戶體驗。
提供權限管理和細粒度用戶操作審計；具備完善的權限認證與隔離機制，保障用戶數據的性；支持通過多租戶模式實現資源隔離。