系统架构
昊合数据整合平台(HaoheDI)是昊合数据自主研发的一款基于BS架构的轻量级ETL开发平台,
具有上手容易,开发便捷、部署简单、运维轻松的特点,产品主张采用先抽取加载到目标数据库后再进行清洗转换的ELT模式,
充分利用数据库服务器自身的性能优势,通过数据抽取转换、数据质量探查、作业流程控制、计划调度、实时监控等核心服务引擎,
开发人员只需要掌握基本的SQL语言就可以准确、高效的实现企业内数据整合处理的开发工作,大大降低实施运维成本,成倍提高实施效率,
同时平台提供血缘分析、权限管理、自动建模、日志分析等管理功能,为企业提供包括数据仓库、数据迁移、数据同步、数据交换在内的一体化数据整合服务。
产品特点
高效的数据转换
符合开发人员的使用习惯
强大的计划调度
应对各种场景的流程设计及调度
智能的元数据管理
提供元数据血缘分析和影响性分析
全面的数据质量控制
全面的数据剖析和数据校验
直观的日志分析
专业的日志监控与分析仪表盘
轻松的部署实施
轻量级部署、快速实施
产品功能
数据连接
支持各种关系型数据库、MPP架构数据库、NoSQL数据库、xls/csv等平面文件,支持SAP和多维数据的抽取,支持各种Sql on Hadoop引擎
数据转换
新建和维护各种任务,包括数据抽取、执行SQL、变量设置、调用存储过程、执行外部程序、导出文本文件、执行Kettle文件、FTP上传下载等
作业流程
作业完成一组ETL任务,由多个类型的任务组成,通过流程画布进行设计。作业可以再嵌套作业,并可批量导入事先设定好的任务
调度计划
设定作业自动执行的时间频次,还可以采用手写cron表达式的方式,使运维人员可以更加灵活的定义调度计划
执行监控
提供各作业执行状态的实时监控,以及作业的手工启动,停止功能,进入监控页面,可以查看有效作业的最近一次执行情况
日志分析
对数据转换产生的历史日志进行多维度分析和明细查询,从整体到细节进行可视化展现,为数据运维工作提供及时可靠的智能化支持
数据剖析
对数据的列特征、依赖特征、连接特征进行探查剖析,定期产生数据质量分析报告,并提供预警预告功能,使运维人员可以及时了解数据质量变化情况
血缘分析
以血缘关系图的形式显示各数据源表之间的上下游关系和数据转换所经路径,便于追溯数据来源以及源数据发生变化时进行影响性分析
网络爬虫
提供网络爬虫任务功能,从网站上爬取页面各区域中数据信息,解析后将数据插入目标数据库中
数据发布
以数据连接中的表、视图、查询语句为数据源,将查询结果以WebService方式发布出去,通过Http方式提供JSON或XML数据
相对开源Kettle的优势
HaoheDI亦可作为Kettle的调度工具,执行其转换和作业,并提供完善的监控和日志功能
HaoheDI让ETL变得简单
|
京ICP备15044502号 北京昊合数据科技有限公司 版权所有 北京市朝阳区住邦2000商务中心3号楼2301室