位置：首页>> 网络编程>> 数据库>> 实战手记：让百万级数据瞬间导入SQL Server

实战手记：让百万级数据瞬间导入SQL Server

　来源：asp之家　发布时间：2010-06-07 14:13:00　

标签：数据,导入,SQL,Server,SQL教程

想必每个DBA都喜欢挑战数据导入时间，用时越短工作效率越高，也充分的能够证明自己的实力。实际工作中有时候需要把大量数据导入数据库，然后用于各种程序计算，本文将向大家推荐一个挑战4秒极限让百万级数据瞬间导入SQL Server实验案例。

本实验将使用5中方法完成这个过程，并详细记录各种方法所耗费的时间。所用到工具为Visual Studio 2008和SQL Server 2000、SQL Server 2008，分别使用5中方法将100万条数据导入SQL Server 2000与SQL Server 2008中，实验环境是DELL 2850双2.0GCPU，2G内存的服务器。感兴趣的朋友可以下载源代码自己验证一下所用时间。

好了，下面我们分别使用基本的Insert 语句、使用BULK INSERT语句、在多线程中使用BULK INSERT、使用SqlBulkCopy类、在多线程中使用SqlBulkCopy类五种方法，挑战4秒极限。还要有一点需要进行说明，本实验中执行SQL语句的地方使用了IsLine FrameWork框架中的DataProvider模块，这个模块只是对SQL配置的读取和封装，并不会对最终结果有本质性的影响，关于IsLine FrameWork框架方面的知识，请参考“IsLine FrameWork”框架系列文章。

数据库方面使用SQL Server 2000与SQL Server 2008，表名TableB，字段名称为Value1，数据库名可以在App.config中修改，默认为test。

方法一.使用基本的Insert 语句

这种方法是最基本的方法，大多数人一开始都会想到这种方法。但是Insert语句似乎并不适合大批量的操作，是不是这样呢?

本方法中将100万数据分为10个批次，每个批次10万条，每10万条1个事务，分10次导入数据库。

-->基本语句:

Insert Into TableB (Value1) values (‘”+i+”’); 说明：语句中的i是宿主程序中的一个累加变量，用于填充数据库字段中的值。

SQL Server 2000 耗时：901599

SQL Server 2008耗时：497638

方法二.使用BULK INSERT语句

这个类的效果，在本实验中可以说是最令人满意的了，它的使用最简便、灵活，速度很快。

“BULK INSERT”语句似乎不是很常用， Aicken听说Oracle中有一种可以将外部文件映射为Oracle临时表，然后直接将临时表中的数据导入Oracle其他表中的方法，这种方法的速度非常令人满意，SQL SERVER的BULK INSERT是不是同样令人满意呢?

-->　基本语句：

BULK INSERT TableB FROM '

c:\\sql.txt' WITH (FIELDTERMINATOR = ',',ROWTER

/.,mbMINATOR='|',BATCHSIZE = 100000)

说明：“c:\\sql.txt”是一个预先生成的包含100条数据的文件，这些数据以“|”符号分隔，每10万条数据一个事务。

SQL Server 2000耗时：4009

SQL Server 2008耗时：10722

2 下一页

投稿

实战手记：让百万级数据瞬间导入SQL Server

猜你喜欢