甘肃网络公司网站,如何别人看自己做的网站,大型的营销型网站,美食网页设计论文5000字在上篇「快、准、稳的实现亿级别MySQL大表迁移」的文章中#xff0c;介绍了NineData在单张大表场景下的迁移性能和优势。但在大部分场景中#xff0c;可能遇到的是多张表构成的大数据量场景下的数据搬迁问题。因为搬迁数据量较大#xff0c;迁移的时长、稳定性及准确性都受到…在上篇「快、准、稳的实现亿级别MySQL大表迁移」的文章中介绍了NineData在单张大表场景下的迁移性能和优势。但在大部分场景中可能遇到的是多张表构成的大数据量场景下的数据搬迁问题。因为搬迁数据量较大迁移的时长、稳定性及准确性都受到极大的挑战常见的迁移工具通常不能很好得支持。为此NineData针对这种场景专门进行针对性的优化以提供高效、准确、稳定的大数据量迁移能力。
1、传统的迁移方案
目前数据迁移主要分为逻辑迁移和物理迁移逻辑迁移主要有mysqldump、mydumper 物理迁移主要有XtraBackup。对于这类导入导出和拷贝文件的传统迁移方案在迁移中会存在一些问题
要求业务停机在迁移过程中通过需要停止服务保持静态迁移数据由于迁移数据量大需要的迁移时间较长这也意味着业务停机时间较长。迁移时间久对于mysqldump的逻辑迁移单线程导出表迁移时间长。可靠性差导出异常后不支持断点能力在迁移过程中如果遇到数据库、软件或硬件任何问题导致的任务中断都需要从头迁移迁移难度高。保障能力弱迁移期间不能提供完善的观测跟干预能力同时比较缺乏结构及数据对比能力缺乏质量保障体系可能影响迁移成功性。
2、高性能的迁移方案
NineData 提供的数据复制同时包含了数据迁移和数据同步的能力在不影响业务的前提下提供了高效、稳定、可运维的大数据量迁移能力。经实测在源及目标实例同城情况下500GB数据的迁移只需1个小时平均迁移速度142MB/s。
通过对 MySQL 大数据量迁移的性能测试和传统迁移比NineData 数据迁移的优势有
简单易用一分钟即可完成任务配置并全自动化完成任务迁移。强劲性能完善的智能分片、表级行级并发、动态攒批等核心技术有效保证迁移性能。高可靠结合新型断点、异常诊断及丰富的修复手段对于迁移过程中可能出现软硬件故障提供完善的容灾能力大大提高了大数据量迁移的成功率。数据质量保障NineData 还提供了对比功能包含数据和结构的对比以及全量、快速抽样和不一致复检的对比方式并且也支持不同的对比频率。在迁移或复制结束后通过数据和结构对比能有效的保障数据的一致性。
NineData 在提供强大迁移能力的同时也保证了使用的简单性只需要1分钟就能完成迁移任务的配置实现完全自动化的数据迁移过程。下面我们来看下整个任务的配置过程
2.1 配置迁移链路 配置任务名称选择要迁移的源和目标实例。选择复制类型数据迁移选择结构和全量复制数据迁移。根据需要选择合适的冲突处理策略。
2.2 选择迁移对象 选择迁移对象针对不同粒度选择迁移对象也可以选择部分迁移对象。
2.3 配置映射对象 配置映射和过滤规则可自定义迁移的库名、表名和按照不同的过滤条件进行多表的部分数据迁移也可以针对表的列名进行映射和部分列迁移。 2.4 预检查启动 通过丰富的检查项保证了迁移任务的稳定性通过开启数据对比保证了迁移后数据的一致性。到此我们就完成了一个高性能迁移任务的配置。
同时为了提供更好的迁移体验NineData针对迁移过程提供了完善的观测、干预能力。其不但提供对象迁移的详细状态、进展、详情还通过监控和日志透露后台线程的内部执行情况帮助用户全方位追踪迁移进展。同时还针对运行过程中可能出现的异常情况提供基础诊断能力及修复、跳过、移除等多种修复策略和迁移限流能力让用户能够自主快速得诊断并修复链路保障迁移稳定性。 3、总结
NineData 提供的高效、快速、稳定的MySQL大数据量迁移能力很好的补充了传统迁移方案的不足。当前NineData 已经支持数十种常见数据库的迁移复制同时除了SAAS模式外还提供了企业专属集群模式满足企业最高的数据安全合规要求。目前NineData已在运营商、金融、制造业、地产、电商等多个行业完成大规模应用实践。如果您感兴趣的话可以登录https://www.ninedata.cloud/dbmigration立即开始使用。
