凤冈建设局网站,广州建站网络推广公司,奇迹网站架设视频,网页游戏魔域永恒魔石提示#xff1a;文章写完后#xff0c;目录可以自动生成#xff0c;如何生成可参考右边的帮助文档 文章目录 前言最近公司在搞大数据数字化#xff0c;有MES,CIM,WorkFlow等等N多的系统#xff0c;不同的数据源DB#xff0c;需要将这些不同的数据源DB里的数据进行整治统一… 提示文章写完后目录可以自动生成如何生成可参考右边的帮助文档 文章目录 前言最近公司在搞大数据数字化有MES,CIM,WorkFlow等等N多的系统不同的数据源DB需要将这些不同的数据源DB里的数据进行整治统一中间库这就需要用到ETL 一、ETL工具是什么二、使用步骤1.Kettle软件环境2.ETL工具Kettle组件 三、实例-增量同步数据1.配置表的设计2.创建Transformation转换3.Jobs作业4.设置变量5.执行成功 总结 前言
提示这里可以添加本文要记录的大概内容
最近公司在搞大数据数字化有MES,CIM,WorkFlow等等N多的系统不同的数据源DB需要将这些不同的数据源DB里的数据进行整治统一中间库这就需要用到ETL
提示以下是本篇文章正文内容下面案例可供参考
一、ETL工具是什么
ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程目的是将企业中的分散、零乱、标准不统一的数据整合到一起为企业的决策提供分析依据 ETL是BI商业智能项目重要的一个环节。ETL工具有DataX,Kettle,Sqoop等 Kettle组成部分
二、使用步骤
1.Kettle软件环境
操作系统Windows Server 2012 虚机机Java JDK ETL工具Kettle
2.ETL工具Kettle组件
Kettle中有两种脚本文件transformation转换和job(作业)transformation完成针对数据的基础转换job则完成整个工作流的控制 Transformation转换 是由一系列被称之为step步骤的逻辑工作的网络。转换本质上是数据流。下图是一个转换的例子这个转换从文本文件中读取数据过滤然后排序最后将数据加载到数据库。本质上转换是一组图形化的数据转换配置的逻辑结构转换的两个相关的主要组成部分是step步骤和hops节点连接转换文件的扩展名是.ktr。 Jobs作业 是基于工作流模型的协调数据源、执行过程和相关依赖性的ETL活动Jobs工作将功能性和实体过程聚合在了一起工作由工作节点连接、工作实体和工作设置组成工作文件的扩展名是.kjb。
三、实例-增量同步数据
1.配置表的设计
CIM_ETL_TABLE 首先我们需要一张配置表来保存我们要增量同步的表的基本信息 一些基础表
-- 源表
VM_STATE_HISTORYS
-- 中间表
CIM_STAGING_STATE_HISTORYS
-- 目标表
CIM_STATE_HISTORYS2.创建Transformation转换
这边我是创建了两个Transformation转换
3.Jobs作业
1、创建Job 2、设置定时执行双击Start
4.设置变量 5.执行成功 总结
记录点滴滴这ETL工具还支持hadoop Hbase,
