当前位置: 首页 > news >正文

内蒙古呼和浩特市做网站的公司北京刚刚传来特大消息

内蒙古呼和浩特市做网站的公司,北京刚刚传来特大消息,网站开发 行业动态,做注册会计师网站hudi+flink在非schema on read模式下也表现出了支持一部分的schema evolution功能,本篇中测试一下在非schema on read模式下,发生各种列变更情况时数据写入与读取情况。 flink 1.14.5hudi 0.13.1mor表思路: 选择mor表是因为它的数据文件有avro和parquet两种格式,能覆盖得更…

hudi+flink在非schema on read模式下也表现出了支持一部分的schema evolution功能,本篇中测试一下在非schema on read模式下,发生各种列变更情况时数据写入与读取情况。

  • flink 1.14.5
  • hudi 0.13.1
  • mor表

思路:

  1. 选择mor表是因为它的数据文件有avro和parquet两种格式,能覆盖得更全面,相对于cow表,两者在parquet上的读取共用了低层实现(RecordIterators.getParquetRecordIterator),所以两者表现应该是一致的。
  2. 模式变更前后分别写入一条数据,用变更后的模式读取所有数据
  3. 测试parquet读:insert模式下使用两条数据写入不同的parquet文件,进行eartlist的增量读。如果采用compaction生成parquet,新旧数据需要分别compact到不同文件(一个parquet对应一个schema),否则旧数据会自动在compact过程中进行了evolve,可将数据写到不同分区。
  4. 只读arvo:upsert模式使两次写入均生成arvo文件,进行eartlist的增量读。即使写到同一个文件,但是两次写入对应不同的block,有各自的schema.

追加列

  • 模式变更前:<id int, name string, create_date string>,数据(1,‘1’,‘2023-07-25’)
  • 模式变更后:<id int, name string, create_date string, col1 int>,数据(2,‘2’,‘2
http://www.hkea.cn/news/7060/

相关文章:

  • play商店天津百度优化
  • 东莞网站建设-南城石佳济南网站优化排名
  • 注册网站入口深圳网站优化培训
  • 足球比赛直播在线观看seo咨询解决方案
  • 网站 建设 函宁波seo关键词
  • 做网站的论坛快速建站工具
  • 做网站销售的技巧热门职业培训班
  • 专业做网站的公司有哪些比百度好用的搜索引擎
  • 做网站有什么好处吗保定seo推广
  • wordpress数据库主机名seo自然搜索优化排名
  • 歌词插件wordpress杭州百度seo
  • 高中信息技术网站建设怎么在百度发布个人简介
  • 电子商务官网首页优化大师优化项目有哪些
  • 给朋友网站做宣传怎么写重庆seo推广
  • 如何查找网站备案软件开发网站
  • 基于b s结构做的网站游戏推广公司靠谱吗
  • 网站建设服务器维护内容旺道seo推广效果怎么样
  • WordPress加速优化方案seo推广优化的方法
  • 家具网站建设方案关键词优化推广策略
  • 高端大气企业网站2345网址导航下载
  • 酒店网站制作公司西安关键词seo公司
  • 网站后台根据前端做吗百度流量推广项目
  • 做健身类小程序的网站关键词搜索排名查询
  • 网站开始开发阶段的主要流程查权重
  • 网站建设公司应该怎么做推广友情链接购买网站
  • 制作logo免费网站上海短视频培训机构
  • 电商网站设计线路图网站建设方案范文
  • 双语网站建设定制开发360优化大师
  • 自己怎么做网站优化seo网站怎么搭建
  • 陈光锋网站运营推广新动向推推蛙seo