大连优化网站,网站建设项目明细,淘宝的网络营销模式,个人工作室网站设计需求描述
在工作中经历过两个项目要对数据库中的数据做大量数据的导出#xff0c;转换和导入的工作。对于不涉及数据格式转换的导出导入工作#xff0c;一般都是数据的备份。这个工作一般都由DBA搞定。对于要进行格式转换的工作#xff0c;一般还是要由程序员参与。除非DBA…需求描述
在工作中经历过两个项目要对数据库中的数据做大量数据的导出转换和导入的工作。对于不涉及数据格式转换的导出导入工作一般都是数据的备份。这个工作一般都由DBA搞定。对于要进行格式转换的工作一般还是要由程序员参与。除非DBA深入参与到项目中非常了解业务和数据格式。 最近的一次数据导入工作是要从SQL Server中导出1亿多条纪录经过解析和转换后导入到mysql数据库中。
处理方案
直观的做法
写一个脚本。从sql server中读取数据转换后往mysql中写入。这个方法的优点是简单直观。缺点是慢 对于大量的数据来说慢到不能忍 较快的办法
从sql server中读取数据转换后按mysql dump的格式写入本地文件中。所有数据转换完成后将数据copy到mysql所在的服务器上。一次性导入利用mysql的load local file 指令。 该方案的优点是速度比较快。缺点是要占用相当大的磁盘空间。在数据往mysql导入的过程中会有较高的IO使用率。
更快的方法
将数据从sql server中dump到文本文件。转换脚本直接读取文件做转换按mysql dump的格式写入本地文件中。所有数据转换完成后将数据copy到mysql所在的服务器上。一次性导入利用mysql的load local file 指令。 该方案的优点是速度更快。缺点是要占相当大的磁盘空间并且步骤相对更多更复杂。在数据往mysql导入的过程中会有较高的IO使用率。 另外在读取从sql server dump出来的数据文件做转换的环节。要注意数据文件的大小。比如这次导入任务sql server dump出来的数据有12G。运行转换任务的服务器的内存只8G。一次性读取文件并转换会耗尽服务器的内存。这直接导致服务器无法工作只能重启OS。应用这种情况可以使用mmap分段处理文件。也可以对文件先做切分。把大文件切成小文件后再分批处理。 同样的道理产生的mysql dump格式数据文件也应该要控制大小防止万一出现数据导入过程中出现因为处理大文件产生的内存不够用的情况发生。
