wordpress 运行速度慢,青岛seo外包公司,怎样自己做企业网站,移动互联网营销的目标是( )本期#xff0c;我们更新和优化了数据资产平台相关功能#xff0c;为您提供更高效的产品能力。以下为第12期袋鼠云产品功能更新报告#xff0c;请继续阅读。 一、【元数据】重点更新
#xff5c;01 元数据管理优化#xff0c;支持配置表生命周期
之前系统中缺少一个可以…本期我们更新和优化了数据资产平台相关功能为您提供更高效的产品能力。以下为第12期袋鼠云产品功能更新报告请继续阅读。 一、【元数据】重点更新
01 元数据管理优化支持配置表生命周期
之前系统中缺少一个可以基于数据源和数据库维度批量配置数据表生命周期的入口导致用户在处理大量数据表时会非常耗时且效率低下。
为了改善这一状况新功能在元数据管理页面上做出调整将展示的维度修改为“数据源--数据库--数据表”。支持基于数据源、数据库、数据表维度进行生命周期的批量配置提高了操作的便捷性和管理效率。 02 支持记录每条 SQL 解析出的血缘关系
在「数据地图」-「离线任务详情」页面支持对解析 SQL 结果进行记录包含 SQL 语句、解析结果成功/失败、解析时间针对解析成功的可查看此条 SQL 对应的血缘关系图谱只展示表级图谱针对解析失败的可查看日志以便找出问题所在并进行修正。 03 丰富元数据的展示信息
本次更新中我们丰富了元数据的展示信息提供更详尽的内容描述。
1「数据地图」-「表详情」页面支持在数据表名下方展示表质量评分(若该表无质量评分则不展示支持点击数据质量评分后跳转至数据质量质量报告 该数据表的质量报告提供更详细的数据质量信息。 2表信息新增热度统计按钮并且增加了四个新的统计数据订阅数、使用次数、查看次数和影响表数。
3针对「操作记录」板块新增了 DML 操作记录增强了数据使用的透明度和可追溯性。 04 新增支持 Doris 数据源
针对 Doris2.x 类型数据源支持元数据采集、血缘分析、数据治理不包括小文件治理、数据质量所有功能均支持、数据脱敏、数据权限行列级权限
离线开发模块创建的 meta Doris2.x 数据源支持自动引入并自动创建周期同步任务简化流程提高效率。
05 新增支持自动引入数据源的设置管理模块
针对离线开发、指标和标签模块中自动引入的数据源新增数据源自动引入设置可以选择是否自动创建周期同步任务/是否自动同步该数据源下的数据表信息并且支持按照子产品、项目维度、数据源类型维度进行设置开启/关闭自动引入功能。 二、【数据模型】重点更新
01 规范建表的建表联想模式配置内容扩充
1向导模式配置内容扩充 针对 ADB 类型建表支持配置字段是否为主键、是否为空精度值 针对 Inceptor、Hive、Spark 类型建表支持配置精度值 Inceptor 支持配置事务表/非事务表支持指定 HDFS 存储路径。 2当数据标准中配置了长度、精度信息时引用标准可自动同步。 3支持 Hive3.xApache 类型数据源的建表建表逻辑和 Hive2.x 保持一致。
02 编辑表操作对接审批中心
新增「数据模型」-数据建表/删表/编辑表操作对接审批中心实现审批流程标准化规范了数据管理流程。 1在资产平台中针对无数据模型审批权限的用户在进行数据表的新增、编辑、删除操作时均需要进行审批审批动作统一在审批中心进行操作同时用户可以在「我的模型」模块查看审批进度、进行撤回操作。 2「审批中心」新增“数据模型申请”流程允许审批人对申请进行通过或驳回的操作。针对数据资产中撤回的模型申请审批中心的“待审批”模块不再展示此条申请数据确保审批队列的实时性和准确性提高审批效率。 3历史数据迁移到审批中心进行留存。
三、【数据质量】重点更新
01 新增支持MySQL、StarRocks数据源类型建表
用户现在可以利用MySQL、StarRocks数据源类型建表。
02 数据表质量校验支持质量评分
新增支持针对单表校验的表级质量报告分析内容包含表质量评分、质量分值变化趋势、质量评估概览、近期规则校验异常明细、近期校验结果。
同时「质量概览」页面新增针对单表校验下各个数据表的表级质量分排名帮助用户更直观地了解和比较不同数据表之间的质量状况。
03 支持自动关联离线任务运行周期
在项目中多个客户在运行质量规则时反馈期望当质量任务关联了离线任务后能够依据离线任务的时间运行质量任务并确保两者之间能够关联。
因此本期新增功能在单表校验-质量规则创建时若关联了离线任务支持选择调度周期是否自动依赖于离线任务运行。
04 对接数据标准自动创建质量规则
当出现数据质量的规范性校验和数据标准设定规则基本一致的情况时优化数据质量的规范性校验规则设计逻辑支持与数据标准进行对接。
数据质量创建规范性校验规则时支持对接数据标准从而自动创建质量规则。具体来说 当用户创建新的规范性校验规则若识别到选择的字段为绑定了标准的字段支持选择是否引用标准规则 如果用户选择引用标准规则平台则会根据标准中定义的长度、精度、枚举个数、是否空值、是否重复自动生成质量校验规则。
05 质量任务定时执行可以关联自定义调度周期
此前在配置质量规则时无法关联自定义调度周期进行质量任务的运行导致无法满足用户个性化配置运行周期的需求并且在质量任务运行过程中存在一个质量任务运行时间过长的情况中途无法停止导致无法释放资源。为了改善这些问题本期进行了以下优化
1在质量规则创建配置调度信息时支持关联自定义调度周期修改模块包含新建/编辑单表校验规则、多表校验规则、规则集查看规则详情。 2支持中途停止质量任务质量规则创建后支持在质量任务运行过程中进行中途停止操作。有助于及时释放被占用的资源避免不必要的等待时间提供更加灵活和高效的服务。
四、【数据治理】重点更新
01 新增支持StarRocks2.x、3.x数据源
数据质量模块新增支持StarRocks2.x、3.x数据源包含单表校验需要支持所有校验函数、多表比对、规则集校验、表质量评分等质量相关的所有功能模块。
02 小文件治理优化
小文件治理功能旨在解决大数据存储系统中由于大量小文件存在而导致的性能问题和存储效率低下本期对小文件治理功能进行优化 小文件治理后端处理逻辑优化 在进行周期治理/单次治理时支持选择 Local 模式/Remote 模式 针对新增的 Remote 模式支持中途取消操作。 03 支持健康资产分权重调整
此前资产健康分不支持用户自定义设置为了更好地让用户对在意的数据实现针对性的管控本期增加自定义功能支持资产健康分权重配置用户可以自己调整健康分的权重占比同时展示扣分规则。
五、【数据安全】重点更新
01 数据权限管理新增权限回收功能
为了增强数据权限管理的灵活性和安全性新增“权限回收”功能。在「数据权限管理」页面中新增“权限回收”列表展示每个用户自己申请且已经通过的权限列表可通过权限回收将此用户的权限信息删除。此功能默认仅对管理员开放确保权限管理的安全性和可控性。
02 数据分级分类应用
新增大量数据分级分类应用 1级别管理 支持按照用户赋予等级默认提供L1L5共5个用户等级管理员可通过“编辑”按钮修改用户等级。默认级别对应的开放用户等级为L1可通过编辑操作进行修改若有的用户没有配置用户等级信息则无等级用户不受分级分类的权限管控
编辑按钮增加悬浮提示优化增加“申请权限”按钮。
2数据地图涉及模块 在「数据地图」数据表数据预览时列表的字段右侧新增分级分类的标识。
3角色管理模块 针对“数据分级—级别管理—操作”的权限默认只给管理员开放数开和访客无此权限针对页面上的“申请权限”按钮跟随用户等级的配置控制是否显示不受角色的权限管控。 4审批中心 支持管理员在审批中心对分级权限的申请进行审批。
六、【平台管理】重点更新
新增通知中心功能模块
1通知配置 支持对某一接收人批量配置资产所有的通知项、通知方式、通知内容、通知人、通知频率等内容。 2通知记录 通知记录涵盖针对每个单独模块配置的通知信息、以及通知中心批量配置的通知信息。
数据资产平台其他功能优化说明
01 【元数据】
支持TBDS_Hive 类型数据源支持范围包括元数据同步、血缘分析、数据地图、元模型、元数据管理、元数据质量、资产盘点、数据安全数据权限 元数据周期同步增加同步状态“等待同步”当周期同步任务存在待同步任务且没有开始同步时状态展示为“等待同步” 元数据周期同步时可选择同步全部内容/除去表行数和存储的全部内容功能新增支持 MySQL、Oracle、SQLServer、TiDB、Greenplum、ADB PostgreSQL、StarRocks、HashData、OushuDB 针对 Sparkthirft2.x 数据源类型支持物化视图的查询、同步、维护 「数据地图」-「数据表详情」中针对表行数、存储大小支持显示更新时间 「数据地图」-「表详情」页面针对字段中文名支持修改操作支持单个修改/批量操作 针对表的业务属性为string类型的默认值的最大长度为255字符并且在编辑业务属性页面进行最大长度提示 数据目录支持左右拉伸支持选择该层级的整个范围进行拖动 数据地图中移除表生命周期编辑入口仅展示生命周期信息用户统一在元数据管理模块对表生命周期进行编辑 支持对表负责人的权限点管理表负责人变更为非必填属性 优化 ADB 类型血缘解析由于识别数据表名大小写不敏感导致解析失败的问题 周期同步任务创建/编辑页面针对表行数和存储大小的同步提示信息优化 数据地图中离线任务SQL语句字段存储格式优化把存储格式由“text”调整为“longtext”前端悬浮展示默认展示 SQL 语句的前1024个字符支持用户通过 SQL 下载查看 SQL 的全部信息
02 【数据模型】
建表时新增保存的中间状态点击“保存”按钮后可临时保存此次编辑的建表信息并展示在列表中可从列表进入再次编辑
03 【数据质量】
质量规则配置支持以数据源、数据库、数据表的形式进行选择在创建质量规则时支持选择脏数据存储库是否为默认存储数据库 单表校验针对规范性检验规则增加支持针对枚举值的检验对接了数据标准自动生成的规范性校验规则中自动生成针对“枚举值”这一规则的校验 规则列表中支持显示当前的规则状态为未开启检测/已开启检测 支持查看规则集详情可记录规则集的变更历史及变更信息版本信息包含操作人员、操作时间、保存历史导入的Excel文件 单表校验波动检测结果取值调整为取最新值。
04 【数据治理】
小文件治理编辑治理规则针对分区表查看分区时支持分页查询。
05 【平台管理】
在移除用户时判断是否进行交接中支持校验原用户是否有负责表也就是数据表的负责人为原用户若有需要提示需要进行权限交接交接后表负责人自动变更为转让人用户。 《行业指标体系白皮书》下载地址https://www.dtstack.com/resources/1057?srcszsm
《数栈产品白皮书》下载地址https://www.dtstack.com/resources/1004?srcszsm
《数据治理行业实践白皮书》下载地址https://www.dtstack.com/resources/1001?srcszsm
想了解或咨询更多有关大数据产品、行业解决方案、客户案例的朋友浏览袋鼠云官网https://www.dtstack.com/?srcszcsdn
