太原网站开发公司,wordpress 标签图标,网站的做网站的公司,vps可以做几个网站最近Apche Paimon发布了最新版本0.7.0#xff0c;在这个版本中#xff0c;Paimon对一些新特性进行了增强。 Paimon在数据湖领域发展迅速#xff0c;未来会在整个数据开发领域占有很重要的地位#xff0c;今天我们来盘点一下当前能力的特点以及在生产环境中的使用情况。 Loo… 最近Apche Paimon发布了最新版本0.7.0在这个版本中Paimon对一些新特性进行了增强。 Paimon在数据湖领域发展迅速未来会在整个数据开发领域占有很重要的地位今天我们来盘点一下当前能力的特点以及在生产环境中的使用情况。 Look up join 在实时数据开发领域Look up join一般被认为等效于「维度表关联」。在一些企业的分享中利用Paimon进行维度表关联是一个比较常见的方式或者是未来的规划。 在Paimon的最新版本中针对Look up join做了一些优化如下 修复了lookup join 不能正确处理维表的 sequence field 问题。
基于 Paimon 的 hash lookup join添加了 primary key partial lookup 功能。
通过并行读取文件和批加载的方式加快了维表的初始化数据加载速度。 维度表关联在生产环境中是一个经常被提及和使用的能力但是目前根据个人经验利用Paimon/Hudi进行维度表关联目前不是一个很好的选择。主要的不足包括Paimon/Hudi这样的表本身并不适合存储维度数据有更好的选择例如Hbase/Redis或者基于这两个框架开发的其他高速存储此外维度表关联在复杂/大数据规模下问题非常多例如缓存命中率/缓存时间/加载频率/访问限速等等这些问题在大数据量下会被放大是不得不解决的问题。在很多公司的生产环境针对维度表优化是一个很重要的课题。 所以大家需要谨慎评估使用湖表的look up join能力。 CDC能力 大家要特别注意的是CDC能力分两个部分 第一CDC入Paimon 这个能力是一个基础能力Paimon在新的CDC接入支持上越来越完善这个是各类型湖表都在持续完善的能力。 CDC数据入湖在时效/存储/计算成本上都会有独特的优势大家可以持续关注。 第二Paimon CDC能力 这个能力未来是否具备大家可以持续关注一旦Paimon具备的CDC能力未来在技术架构上会有巨大的改变。Paimon将同时具备批读和流读能力会在某些场景下改变现有的技术架构那就真的是未来可期。 完善对接Spark/Hive 在结合Spark/Hive方面能力不断完善这也是Paimon这类湖表框架未来被更广泛使用的基础。 此外还有一些功能上的改进例如支持 level0FileCount它可以用于查看 compaction 作业的进度time travel能力增强等等。 总之大家持续关注Paimon社区的发展未来在生产环境会有更广泛和深入的应用。 300万字全网最全大数据学习面试社区等你来 如果这个文章对你有帮助不要忘记 「在看」 「点赞」 「收藏」 三连啊喂 全网首发|大数据专家级技能模型与学习指南(胜天半子篇) 互联网最坏的时代可能真的来了 我在B站读大学大数据专业 我们在学习Flink的时候到底在学习什么 193篇文章暴揍Flink这个合集你需要关注一下 Flink生产环境TOP难题与优化阿里巴巴藏经阁YYDS Flink CDC我吃定了耶稣也留不住他| Flink CDC线上问题小盘点 我们在学习Spark的时候到底在学习什么 在所有Spark模块中我愿称SparkSQL为最强 硬刚Hive | 4万字基础调优面试小总结 数据治理方法论和实践小百科全书 标签体系下的用户画像建设小指南 4万字长文 | ClickHouse基础实践调优全视角解析 【面试个人成长】社招和校招的经验之谈 大数据方向另一个十年开启 |《硬刚系列》第一版完结 我写过的关于成长/面试/职场进阶的文章 当我们在学习Hive的时候在学习什么「硬刚Hive续集」
