智能電網和公用事業 運營監控管理

底盤數據處理工具DataIDM

產品簡介

實現基于CDH大數據平臺的數倉構建、任務配置執行、日志查看、搜索引擎等前端一站式開發工具。構建數倉管理、任務管理、體系管理、調度管理、搜索引擎等底盤數據處理工具DataIDM,快速實現大數據輸入輸出、模型計算、指標標簽體系計算、搜索引擎的可配置。

產品聚焦

產品功能

  • 工作首頁
  • 數據倉庫
  • 工作流任務
  • 體系管理
  • 調度管理
  • 搜索配置

工作首頁

通過任務完成情況、任務運行情況、任務執行時長、任務類型分布、近一月出錯排行、調度數量趨勢等指標展示,運維及開發人員可全局上了解任務總體運行情況以及發現執行問題,并進行整改或優化。

數據倉庫

(1)通過數據源配置功能,可配置數據輸入、輸出任務使用數據源,并測試其連通性,作為數倉管理前置任務項;

(2)數倉配置用于構建數倉,指定數倉源庫地址及庫名;

(3)大數據表管理功能支持前端管理基于大數據平臺的常規表、分區表、外部表;提供參照源表、源視圖建表,簡化大數據表管理操作,并支持自定義修改表、字段信息等。

工作流任務

可視化流程任務設計工具,支持數據接入、MR計算任務、Spark計算任務、工作流任務、數據輸出等多任務任意組合配置,串行、并行執行的同時提供了日志查看功能。

體系管理

指標計算、標簽計算,基于工作流任務實現指標、標簽計算配置及執行。

調度管理

實現了基于Quartz的任務調度功能,工作流任務支持定時調度執行,通過配置完成不同業務需求,提供了任務調度執行日志查看功能,開發、實施人員可通過此功能監控任務運行情況以及分析定位問題。

搜索配置

實現了基于HBase、Key Value Store Indexer、Solr的搜索引擎服務。通過搜索配置功能,可快速完成搜索引擎配置、整合部署,并查看索引狀態;構建完成后,通過數據接入、計算任務產生的數據將會準實時自動構建索引。

產品特點

任務可視化

任務配置及執行均使用流程圖可視化形式,直觀方便的監控任務執行全周期

效率提升

很多大數據統計分析,使用交互式SQL計算任務完成,避免MR、Spark等開發周期較長方式實現;數倉構建、大數據建表、數據抽取、輸出等均通過可視化向導模式完成,避免使用各種命令以及后續管理雜亂,從而效率

知識沉淀

實現關鍵業務成果沉淀,成果復用度高

應用效果

< >

任務總體運行情況

工作任務可視化流程設計

任務執行日志實時查看

性感美女视频