使用免费网站制作软件,80h tv wordpress主题,茂名免费网站建设,专业东莞网站建设报价主数据区域中保留了数据仓库的所有基础数据及历史数据#xff0c;是数据仓库中最重要的数据区域之一#xff0c;那主数据区域中主要分为近源模型区和整合#xff08;主题#xff09;模型区。上一节讲到了模型的设计流程如下图所示。那近源模型层的设计在第2.3和3这两个步骤… 主数据区域中保留了数据仓库的所有基础数据及历史数据是数据仓库中最重要的数据区域之一那主数据区域中主要分为近源模型区和整合主题模型区。上一节讲到了模型的设计流程如下图所示。那近源模型层的设计在第2.3和3这两个步骤中相对简化模型表设计的结构同源系统的表结构字段也一一映射即可。那下面以整合主题模型的设计步骤来进行介绍: 整合主题模型层主要按主题进行数据整合以第3范式为主进行表设计有以下优点 1主题模型从全行角度对客户、产品、交易、账户等进行分类梳理获得全行业务数据视图 2数据模型比较稳定只要业务实体关系没有大的变化不会因为源系统替换或升级导致整合模型出现大的变动。对于数据使用系统和集市来说比较稳定。 3模型灵活易扩展在增加功能的时可扩展模型不需要重构数据模型不影响已有数据实体。 当然主题模型梳理设计比较耗费人力同时规则需要全行认可需要由一个管理全行数据的业务部门来统筹可以和数据治理项目一起进行将数据治理的数据标准等成果在数据仓库主题模型进行落地。 1、主题模型设计步骤 1.1系统调研及筛选 (1前期调研与资料收集调研全行或全公司的系统从架构、业务数据及流程方面概略了解系统需要和架构师、各系统负责人进行前期调研沟通获取系统说明书、表结构、主要流程说明等资料。 2系统级筛选确定需要入数据仓库的系统范围筛选条件主要考虑系统是否自己产生业务数据或者是业务流程中的一个部分另外也考虑以下几方面 1系统是否很快会被其他系统替代是的话需要考虑对接新系统 2系统数据结构现阶段是否稳定业务是否有大改造是的话可以考虑改造完接入 3系统与其他系统的关系是否关联系统也需要入仓 4分布式系统是否数据结构统一业务全流程包括哪些系统 5纯外购系统是否能够得到提供商的支持因为需要供应商配合调研和分析 3系统讲解及整理 确定入仓的系统后需要与系统负责人进行深入的调研和数据分析主要步骤包括 1系统整体调研包括系统整理介绍、系统在行内的架构定位、主要功能、和其它系统的上下文关系、以及重要的业务流程和业务规则同时也要了解系统夜间的切日和日终处理情况便于后续系统数据采集那最后产出物为详细的《XX系统调研报告》同时也需要获取源系统的数据库设计文档及数据字典建立和源系统调研问题跟进机制。 1.2确定入仓表及字段 1系统数据表筛选映射、代码整理 根据系统数据字典中的表清单进行各个表的功能、数据进行梳理并确定是否入主数据区入仓同时对于确定入仓的表进行主题模型映射和代码字段的整理。那对于表是否入仓主要了解表中数据的业务含义同时尽量保留粒度比较细的数据。那对于以下情况的表可以不进行入仓 1系统控制类和业务流程控制类表如系统中的序号生成器、系统开门时间、批处理控制表、数据包接收和拆分的记录 2为未来业务拓展预留的表部分业务系统设计了一些目前尚未开展的业务数据表未来的业务规则和处理流程存在不确定性因此暂不入仓。可以在未来进行扩展和补充 3中间表和临时表在源业务系统中记录业务操作中间状态的表 4统计和报表类数据部分系统中有大量的统计或报表类数据可以使用入仓的明细数据在明确的逻辑和规则下自行进行加工 5数据备份表一般情况下数据备份表不入仓 那本步骤产出结果为《XX系统表清单分析》及《XX系统代码整理》以下参考模板 2字段级筛选映射 该步骤主要分析逐一调研分析数据库表中每个栏位的业务含义向业务及源系统人员了解并使用样本数据确认数据质量和数据信息并确定是否入整合模型。一般近源模型层除了敏感字段、二进制字段外会全部入仓整合模型除了这两类还会进行筛选一般以下类型字段也不进入整合模型 1无分析意义的字段加载时间戳密码 2业务系统操作流程相关字段下一打印行数当前页号帐页打印标志、批处理标志, 3中间计算结果字段积数本月累计积数本期累计贷方发生额 4未启用字段预留字符预留数值、全空值字段 5长文本信息需要明确业务上不使用的舍弃备注经办人批准人 6冗余字段活期账户中的客户名称行业类型经济性质 那对确定入仓的字段需要进行数据范围以及关联字段主外键分析看是否符合调研信息对异常数据需要进行跟进分析确定原因。这部分工作需要源系统人员在生产环境配合跑验证SQL。最终产出物为《XX系统字段分析》、《XX系统字段数据质量调研》。 1.3逻辑模型设计 逻辑数据模型Logical Data Model是一种图形的展现方式采用面向主题的方法有效组织来源多样的各种业务数据全面反映银行复杂的业务规则它使用统一的逻辑语言描述银行业务通过实体和关系勾勒出企业的数据蓝图。有实体、属性、关系概念每个主题都是由多个表来实现的表之间依靠主题的公共码键联系在一起形成一个完整的主题。逻辑模型设计工具有商用的EWIN、POWERDESIGN等目前开源的也有些但功能和体验稍差些。 那逻辑模型设计可以由2种路径一是银行根据以往的业务经验提炼本行业务的关键主题设计出本行的概念模型二是依托成熟产品进行客户化即根据一些数据模型实施公司的产品针对本行实际数据情况进行适应。许多行使用第二种方式速度较快项目风险小。那基于已有成熟产品的方案在项目初期就需要选择好模型产品一般可以调研其它行的模型落地情况在我国银行落地实施较多的产品一般成熟度较高适用性也经得起实战。那逻辑模型的客户化主要有以下步骤 1业务定义整合主要包括客户识别、产品定义、内部机构等。客户识别整合即整合各系统客户信息定义唯一客户号识别同一客户。产品定义即在全行角度设置一套产品树并赋予唯一编号内部机构也是确定一套内部机构同时各系统的产品、内部机构都能映射到全行定义的产品和内部机构中。 2确定各主题准入、分类、数据整合、历史处理的主题设计原则比如客户分类包括对公、对私、同业等历史数据采用拉链方式 3基于字段级映射的产出根据主题设计原则再次检视各主题梳理入仓字段的所属主题以及模型中的实体关系是否和源系统实体关系一致然后将字段映射或新增到现有的主题基础模型中。 4代码整合需要根据入仓的代码字段整合一套数仓的标准代码并确定各系统代码字段映射到数仓标准代码的规则。一般这个工作也是数据治理数据标准的部分内容最好先确定全行数据标准以它作为数仓的代码标准基础并进行补充。 5模型评估和验证通过REVIEW会议由各主题设计人员进行主题设计的讲解由模型组人员进行模型架构、业务规则、实体关系等方面进行评审修正。模型的验证是一个持续的过程特别是在提供数据给应用系统以及数据集市后还会发现设计的问题因此需要定期总结和优化。 1.4物理模型设计 逻辑模型适用于多个数据库实现也就是可以有多个物理模型。物理模型设计主要将逻辑模型转化成可具体实施的数据表及关系并优化应用设计优化存储以及提高数据访问效率主要考虑点有 1考虑删除没有数据来源的实体和属性增加公共字段如数据新增和修改日期。 2考虑删除只有主键的实体对于表较少的表或主题考虑合并到其它表或主题中如渠道主题表和字段较少可以考虑合并。 3选择和调整主索引和分区字段使数据均匀分布提高性能。 4对重要主题域的关键实体给予更多关注一般客户、协议、事件会占用80%的数据空间需要重点关注这几个主题的设计如对事件表和近源层对应源表变化不大可按视图实现节省空间。 5根据应用需求和关键字段适当增加关键的冗余字段反范式提高数据访问效率比如在客户主表、协议主表增加常用查询字段的冗余可以减少关联提高效率。 6考虑大表的分拆和多表的合并提高效率。 7确定字段的英文命名和数据类型按命名规范对模型字段、索引、表等进行命名。特别对于字段长度和精度物理模型中的字段设计比源系统要长需要考虑后续的扩展因为源系统经常会增加字段长度或精度在物理模型中需要提前考虑以免后续影响数据使用系统。 8分区、压缩和其它类索引需要对常用的查询字段或条件建立索引提高查询效率。 基于逻辑模型生成的物理表并考虑上述优化点可以得到最终的数据仓库主题模型的物理模型并进行后续维护优化。 版权声明本文为acumen_leo博主原创文章遵循 CC 4.0 BY-SA 版权协议转载请附上原文出处链接和本声明。 原文链接https://blog.csdn.net/acumen_leo/article/details/95670279
