一、设计概述与背景：

在目前SQL Server数据库和Oracle数据库之间进行数据迁移工作，可以使用多种方案，其中采用文本文件作为数据交换的中间介质，具有如下特点：
1、各个主流数据库都支持文本文件的导入、导出功能。
2、使用文本文件进行导入的效率非常高，且文本格式简便，易于加工。

Oracle提供了一个sqlloader命令行程序，能够通过该程序进行文本文件的快速导入，经测试，在直接路径模式下可以达到每秒钟上万条数据的处理能力。但其具有如下缺点：
1、需要针对每个导入表编写一个对应的控制文件。在控制文件里可以设置各种参数和简单的处理逻辑。
2、使用SQLLDR命令自身也存在各种参数，而这些参数又非常繁琐不易理解。

很多时候，数据迁移需要同时针对上百个表格进行处理，在有限的停机时间内，如每个表都编写这样的控制文件和对应的调度文件，然后在数据迁移过程，逐个点击调度文件完成数据的导入，将严重影响效率且容易出错。

故本解决方案探讨了一个自动生成控制文件、调度文件并自动完成数据导入的几乎全自动的流程。以便节省迁移周期、提高工作效率。
解决方案主要思路如下：
1、首先按照预定逻辑从Oracle数据库中取得表结构信息，并依赖这些信息生成控制文件和对应的调度文件。
2、从需要迁移的SQL Server目标端数据库或其它数据库里，按照Oracle表结构，导出数据并形成txt文件，
存放在特定目录下。
3、有一个定时程序检查该目录，如果存在文件，则自动查找对应的调度文件，将该文件处理完毕。
4、存在一个检查日志的工具，能够自动检查导入后的数据信息摘要，找到可供使用的信息。

二、生成SQLLDR控制文件及对应的调度文件

1、在目标数据库按先后顺序执行 CreateTable.sql和Create_SQLLDR.pck

–2、如果需要批量生成控制文件，按照顺序如下执行：
–2.1在PL/SQL中，新建一个SQL窗口里执行如下语句：

begin
  Create_SQLLDR.GenAllTabCtrl();
end;  
/
select msg from t_output order by idx;

–2.2将Select出来的信息拷贝出来，注意需要全部获取。
–2.3在PL/SQL中新建一个命令窗口，将拷贝出来的信息，执行即可生成。

–3、如果需要批量生成运行的BAT文件，按照如下顺序执行：
–3.1在PL/SQL中，新建一个SQL窗口里执行如下语句：

begin
  Create_SQLLDR.GenAllTabRunBat();
end;  
/
select msg from t_output order by idx;

–3.2将Select出来的信息拷贝出来，注意需要全部获取。
–3.3在PL/SQL中新建一个命令窗口，将拷贝出来的信息，执行即可生成。

–4、如果需要修改生成文件里的信息，必须首先指明对应的变量，否则将以默认值生成文件的内容，具体可以设定的变量请查看包里的说明，示例代码如下：

begin
	Create_SQLLDR.Init_DbServer:='ERPDEV';
	Create_SQLLDR.init_DbUsr:='用户名';
	Create_SQLLDR.Init_DbPwd:='数据库密码';
	Create_SQLLDR.GenAllTabRunBat();
end;  
/

–5、相关说明
–影响生成控制文件的属性包括有：

INIT_PATH varchar2(200); --初始化导入路径 INIT_CTRL_DIR varchar2(20);
–控制文件的路径,默认为E:\online INIT_CTRL_EXT varchar2(20); --控制文件的默认扩展名 INIT_TERMINATED varchar2(10);
–数据文件里的字段分割符，默认为|,可以为WHITESPACE（空格）、x’09’(制表符) APPEND_OR_TRUNC varchar2(30); --插入模式还是覆盖模式 可选项：Append、TRUNCATE、INSERT、REPLACE
Init_DateFormat varchar2(50); --数据文件里的日期字段的文本展示格式
Init_TimeStampFormat varchar2(50); --数据文件里的时间戳字段的文本展示格式 Init_RawFun
varchar2(50); --数据文件里Raw类型所对应的函数名称

–影响生成调度文件的属性有：

  INIT_PATH     varchar2(200); --初始化导入路径
  INIT_CMD_DIR  varchar2(20); --BAT运行文件的路径，默认为cmd
  INIT_CMD_EXT  varchar2(20); --BAT运行文件的扩展名，默认为bat
  INIT_DATA_DIR varchar2(20); --数据文件的路径
  INIT_DATA_EXT varchar2(20); --数据文件的扩展名，默认为txt
  Init_log_Dir  varchar2(20); --日志文件的路径，默认为log
  Init_log_Ext  varchar2(20); --日志文件的扩展名，默认为.log
  Init_Bad_Dir  varchar2(20); --坏文件的路径，默认为bad
  Init_Bad_Ext  varchar2(20); --坏文件的扩展名，默认为.bad
  Init_Bak_Dir  varchar2(20); --已经导入完成后的文件路径，为数据文件路径的子目录
  
  Init_DbServer   varchar2(30); --数据库服务名
  init_DbUsr      varchar2(30); --数据库登录用户
  Init_DbPwd      varchar2(30); --数据库登录密码
  Init_Max_Error  varchar2(30); --SQLLDR最大导入错误数
  Init_Other_Para varchar2(300); --SQLLDR的导入其他参数

  Move_Data_flag  boolean; --导入完成是否转移数据文件,默认为true=转移
  Pause_Over_flag boolean; --导入完成后是否暂停   

–包提供了针对单个表生成的过程，分别对应GenOneTabCtrl、GenOneTabRunBat，均需传入指定的表名。

–6、一些调用的示例：
–6.1 库存组的SQLLDR控制文件

begin
    create_sqlldr.GenAllTabCtrl();
end;
/

–6.2 只生成以BD开头的表名的控制文件

begin
    create_sqlldr.GenAllTabCtrl(' and table_name like ''BD%''');
end;
/

–6.3 稍微复杂点的控制文件生成

begin
  Create_SQLLDR.INIT_TERMINATED := ':';       --使用";"作为导入数据的分割符
  Create_SQLLDR.APPEND_OR_TRUNC := 'TRUNCATE'; --使用此控制文件将首先清空表的内容，再进行插入
  Create_SQLLDR.Init_Other_Para := 'Direct=true'; --使用直接路径模式生成对应的控制文件，可以自定义任何符合SQLLDR的参数
  create_sqlldr.GenAllTabCtrl(' and table_name like ''BD%''');
end;
/

三、执行循环扫描指定目录的批处理文件

默认情况下，只要数据文件对应的调度文件存在，使用如下步骤即可完成数据文件的自动导入：
1、解压缩Online.Rar至E:根目录
2、将对应的数据文件存放至E:\Online\data目录下
3、执行E:\Online\main.bat，该批处理将自动找到数据文件对应的调度文件，并执行SQLLDR导入。

四、日志数据的检查

为方便统计和分析导入完成后的日志信息，本解决方案提供了一个日志分析的小应用程序，可以针对指定目录进行日志文件的分析。
如需进行日志统计，只需要执行E:\Online\统计Log.exe，如果默认路径未进行修改，直接敲回车即可，否则需要输入对应路径。
程序将自动抽取日志目录下的所有扩展名为.log的文件，并提取有效信息展示在输出窗口。