免费建设论坛网站,海外网络推广效果,软件培训班,下载深圳app一、背景 企业每天都会产生大量的数据#xff0c;随着时间增长#xff0c;数据会呈现几何增长#xff0c;尤其在系统基建基础好的公司。好的数据仓库需要提前规划和好的运营#xff0c;才能支持企业的发展#xff0c;为企业提供数据分析基础。
二、目标 提高数据仓库存储…一、背景 企业每天都会产生大量的数据随着时间增长数据会呈现几何增长尤其在系统基建基础好的公司。好的数据仓库需要提前规划和好的运营才能支持企业的发展为企业提供数据分析基础。
二、目标 提高数据仓库存储性能和开发质量以及数据质量
三、数据运营指标
3.1 开发质量
表名规范性检验数据库表名是否按照数仓表名规范表名是否按照词根翻译
字段名规范性检验表字段名是否按照词根中文进行翻译
字段类型规范性检验表字段类型是否按照数据标准设立
表引用次数根据表引用次数进行排名重点关注引用次数高的和次数低的次数高的定期优化确保任务执行失败次数低的考虑数据架构是否合理如果存在次数为0的说明未使用(很多业务调整但是表还没有拿掉会存在很多僵尸表)。
表循环依赖检查数据库表是否存在循环写入(A-B,B-C,C-A)很多公司不存在数据架构师往往为了实现报表需求直接拿已经做好的指标可能会存在循环写入的情况(A表用B表指标1B表用A表指标2)
表层级依赖数仓规范会要求ODS只能写入DWD层DWD层只能写入DWS层。
SQL编写规范性在sql中我们会要求sql编写规范不写 select *, 字段后带有注释字段前有表别名每个表必须重命名字段换行等等 3.2 ETL任务
任务失败次数查看任务失败次数排名重点关注容易出错的任务
任务执行时长优化长时间执行任务降低资源使用
任务读取数据量查看任务读取数据量大小大数据量访问的数据库做好性能支撑
任务执行时间点分布查看任务集中时间点将任务均匀分布避免任务集中执行
任务类型分布查看执行任务类型分布针对不同类型任务分配资源
3.3 数据质量
一致性数据值在数据集之间和数据集内之间表达的相符程度
完整性引用完整性或数据集内部的一致性
准确性数据模式符合预期程度
及时性数据更新是否及时
唯一性数据集的任何实体不会重复出现
有效性数据值与定义的域值一致
四、实施步骤
定规范制定数据仓库开发规范建立词根库制定数据标准。
定流程将开发最佳实践落地成流程做好人岗匹配。
规范落地监控根据规范开发规范规则监控识别违法规范行为。
奖罚措施奖励优秀的开发惩罚违法开发规范的行为。
