產(chǎn)品簡(jiǎn)介
產(chǎn)品詳情
總體架構
核心功能
- 詳情介紹
- 批量數據采集
- 實(shí)時(shí)數據采集
- 數據加工廠(chǎng)
- 任務(wù)調度
- 數據資產(chǎn)管理
-
- 商品名稱(chēng): 數據集成處理系統
- 商品編號: a02
數據集成處理系統可對數據資源進(jìn)行信息采集、維護、查詢(xún)、分析、運行監控等管理。具體功能主要有數據源管理、數據采集配置、實(shí)時(shí)數據采集、數據轉換配置、數據導出配置、數據資源編目、數據倉庫管理、任務(wù)調度、數據接口管理和系統監控。
總體架構
-
批量數據采集是數據集成處理系統獲取數據的主要通道。通過(guò)配置將各自分離的業(yè)務(wù)平臺數據采集到大數據資源平臺如Hbase、Hdfs、Hive及Mysql等數據儲存系統，為后續的資源分析、數據挖掘提供數據基礎。數據采集配置有數據庫采集、接口數據采集、文件數據采集和本地文件上傳等功能。配置包括新增、查看、修改、刪除、測試、數據內容查看、添加任務(wù)調度及查看日志等一系列操作。
-
實(shí)時(shí)數據采集是針對流式數據采集的功能。配置包括新增、查看、修改、刪除、發(fā)布任務(wù)及數據采樣等一系列操作。流式數據包括Socket接口、日志數據流、視頻數據流等各類(lèi)流數據。該功能針對不同類(lèi)型的流數據采集到相應業(yè)務(wù)平臺上來(lái)，為后續的資源分析、數據挖掘提供數據基礎。
-
數據加工廠(chǎng)主要是對數據進(jìn)行清洗、整理、轉化等腳本轉換操作提取價(jià)值數據和業(yè)務(wù)數據，為上層業(yè)務(wù)提供數據基礎。數據轉換配置包括任務(wù)添加、查看、修改、刪除、添加調度任務(wù)等基本操作，并結合任務(wù)隊列實(shí)現各個(gè)數據轉換之間的復雜邏輯關(guān)系。
-
任務(wù)調度功能為數據采集、數據轉換、數據導出等功能提供定時(shí)的任務(wù)的調度，為大數據資源平臺提供自動(dòng)化的數據處理機制。其功能包括任務(wù)手動(dòng)執行、任務(wù)配置、任務(wù)啟動(dòng)、任務(wù)暫定及任務(wù)刪除。任務(wù)調度整合Quartz和分布式調度框架，定時(shí)任務(wù)精確到秒級別。同時(shí)提供動(dòng)態(tài)部署、任務(wù)調度輪詢(xún)機制、任務(wù)錯誤反饋機制為任務(wù)精準地執行提供保障，也方便運維人員定位和排查問(wèn)題。
-
數據資產(chǎn)管理是保障數據接口開(kāi)放及安全管控的功能。該功能包含接口注冊、白名單、黑名單、訪(fǎng)問(wèn)申請審核和訪(fǎng)問(wèn)申請日志。數據提供方通過(guò)注冊接口，將自己的數據以webService接口方式對外開(kāi)放。用戶(hù)想要訪(fǎng)問(wèn)接口數據必須先申請訪(fǎng)問(wèn)，待申請通過(guò)后系統添加用戶(hù)到白名單，用戶(hù)即可訪(fǎng)問(wèn)接口數據。
暫無(wú)數據
聯(lián)系我們
地址：浙江省杭州市濱江區濱安路1186-1號
華僑國際先鋒大廈17F
官網(wǎng)二維碼
