產(chǎn)品簡(jiǎn)介
產(chǎn)品詳情
技術(shù)架構
核心功能
- 詳情介紹
- 分布式數據存儲
- 并行數據計算
- 統一資源調度
- 統一運維管理
-
- 商品名稱(chēng): 大數據基礎平臺
- 商品編號: a01
大數據基礎平臺基于Hadoop、Spark等大數據平臺框架構建，與大數據資源中心無(wú)縫對接，提供分布式數據存儲、并行數據處理和統一管理維護等能力，有效應對DT時(shí)代數據爆發(fā)式增長(cháng)的挑戰。除滿(mǎn)足海量結構化數據的存儲分析需求外，平臺還可以存儲海量非結構化數據，例如圖片、音頻、視頻、文本等，并且在數據資源匯聚整合后，提供分布式計算以及分析挖掘能力，為上層應用所需的數據服務(wù)提供保障。
技術(shù)架構
-
采用分布式文件系統HDFS實(shí)現非結構化數據存儲，并支持多副本機制，提供高可用性及高并發(fā)訪(fǎng)問(wèn)服務(wù)特性。采用分布式數據庫HBase解決傳統關(guān)系型數據庫面臨海量結構化數據存在的高并發(fā)讀寫(xiě)性能差、存儲和查詢(xún)效率低、擴展性差等問(wèn)題，在容量、性能、成本方面滿(mǎn)足大數據管理需求。
-
通過(guò)并行計算引擎MapReduce V2和Spark提供并行計算能力。MapReduce V2作業(yè)把輸入的數據集切分為若干獨立的數據塊，由 Map任務(wù)以完全并行的方式處理，并通過(guò)YARN優(yōu)化MapReduce中資源調度的問(wèn)題。Spark是類(lèi)MapReduce的通用并行計算框架，擁有類(lèi)似MapReduce的并行處理模式，而且Spark任務(wù)的中間輸出結果可以保存在內存中，計算效率更高，能更好的應用于數據挖掘與機器學(xué)習等需要多次迭代的算法，可以構建大型的、低延遲的數據分析應用。
-
大數據基礎平臺支持多種計算框架，可以通過(guò)資源調度組件YARN實(shí)現統一資源管理和調度。YARN能夠接管所有資源管理的功能，兼容異構的計算框架，并且采用無(wú)差別的資源隔離方案，能夠很好的克服MapReduce V1的可靠性差、擴展性差、資源利用率低、無(wú)法支持異構計算框架等缺點(diǎn)。
-
平臺提供圖形化界面供用戶(hù)安裝、部署和操作系統，并提供對集群節點(diǎn)的信息查看、運行狀態(tài)查看以及節點(diǎn)的故障偵測和故障管理等相關(guān)管理功能，簡(jiǎn)化用戶(hù)操作。平臺發(fā)生業(yè)務(wù)故障或性能故障時(shí)，能自動(dòng)產(chǎn)生告警，并針對告警日志進(jìn)行集中收集和標準化處理，支持告警日志通過(guò)圖形化界面導出，便于故障定位和管理。
開(kāi)放架構
穩定可靠
性能優(yōu)異
聯(lián)系我們
地址：浙江省杭州市濱江區濱安路1186-1號
華僑國際先鋒大廈17F
官網(wǎng)二維碼