眉山建设中等职业技术学校 网站,城阳网站制作,网址搜索域名查询,甜品网站建设规划在实际项目环境中#xff0c;有时会遇到需要将大量数据#xff08;这里所指百万级别以上的数据量#xff09;从一台服务器迁移到另外一台数据库服务器的情况。SQL Server有很多方式可以进行数据迁移#xff1a;备份还原、导入/导出数据、生成脚本#xff08;包含数据…在实际项目环境中有时会遇到需要将大量数据这里所指百万级别以上的数据量从一台服务器迁移到另外一台数据库服务器的情况。SQL Server有很多方式可以进行数据迁移备份还原、导入/导出数据、生成脚本包含数据等以下只针对“导入导出数据”方式来进行测试演示其他方式自行查找官方文档说明。 现有一个300W左右的数据库需要从本地迁移到远程服务器上从源数据库-目标数据库使用导出数据方式。
一、生成导出数据SSIS包。
首先在SQL Server数据库对象管理器中展开数据库-选择相应数据库 点击右键 - 任务(T) - 导出数据(X)...如下图 打开“SQL Server 导入和导出向导”页面点击“下一步”选择 数据源即要从中复制数据的来源设置 源数据库的服务器名称、身份验证以及数据库如下图 “下一步”进入设置目标数据源即要复制到的目标数据库与上一步同理设置目标数据源的 服务器名称、身份验证、数据库如下图 完成源和目标数据库的设置后下一步指定表复制和查询。如果将整个数据库所有表数据都迁移选择第一项“复制一个或多个表或视图的数据”只是迁移部分数据一个或多个数据表选择第二项“编写查询以指定要传输的数据”编写SQL查询语句来对复制操作的源数据进行操纵或限制如下图 当前演示迁移数据测试是从本地到远程服务器因网络问题直接连接远程服务器来导出数据执行期间会出现网络断开的情况。
以下使用SQL分批导出方式进行处理每次导出10W条数据。
选择“编写查询以指定要传输的数据”选项下一步输入要查询数据的SQL语句如下图 注这里输入的SQL语句只支持查询select语句。 下一步可以查看到 源与目标 的表或视图情况上一步使用了SQL查询来导出数据这里 源 位置所显示只是一个【查询】结果集目标 位置可以选择目标数据库要接收数据迁移对应的数据表如下图 注接收数据迁移的目标数据表结构必须与SQL查询返回的【查询】结果集结构必须一一对应。如不选择目标数据表目标数据库中会自动创建一个名为“查询”的数据表来存储迁移数据。 进入下一步可以“立即运行”默认选中SSIS包来执行导出数据操作也可以先保存导出数据配置的SSIS包在特定时候才去执行。目前测试受限于网络问题使用“保存SSIS包”方式来处理。取消“立即运行”复选项会自动选中“保存SSIS包”选项选择“文件系统”方式来保存SSIS包生成*.dtsx文件方便迁移文件到远程服务器上执行导出如下图 保存 SSIS 包 两种方式【SQL Server】 和 【文件系统】。
【SQL Server】 方式 保存在SQL Server系统内部需要连接SQL Server Integration Server服务才能执行
【文件系统】方式 将SSIS包保存到指定系统目录下。 下一步给SSIS包指定一个名称以及文件存在的目录默认是保存到系统盘-当前用户名所在文档目录下如图 下一步点击“完成”按钮系统会根据前面几步的设置生成相应的SSIS包如图 完成后点击 【关闭】按钮退出【导出数据】向导设置。
因使用分批导出数据每次导出10W条数据需要重复操作上述步骤生成所有数据的SSIS包。 二、执行导出数据SSIS包
完成第一部分操作后将SSIS包Copy到要目标数据库所在服务器双击SSIS包*.dtsx自动运行 执行包实用工具如下图 点击“执行”按钮系统会根据SSIS包的设置来导出数据到目标数据库表里自动显示 执行进度 情况进度出现 完成占用时间 时表示SSIS包已执行成功如下图 重复上一步骤执行完余下的SSIS包。
到这里已完成数据迁移处理。 三、总结
进行数据迁移可以使用SQL Server自带的导入\导出功能导出数据可以指定SQL查询方式来处理大量数据迁移网络通信受限的情况下可以使用分批导出方式
