SQL Server快捷导入数据库的技巧-猿码集

1. SQL Server导入数据库的常规方法

在 SQL Server 管理工具中，我们平时常用的还是传统的导入数据方法，其操作步骤如下：

1.1. 创建数据表

在 SQL Server Management Studio 中，可以使用 SSMS 界面或 T-SQL 语句都可以创建数据表，此处罗列一下 SQL 语句实现的方法。


CREATE TABLE employees
(
employee_id INT,
last_name VARCHAR(50),
first_name VARCHAR(50)
)

1.2. 打开导入向导

在打开 SSMS 后，通过对象资源管理器中的上下文菜单或任务栏中的向导实例来打开导入向导。导入向导可以从各种数据源中获取数据。

1.3. 配置导入源

在弹出的新建集成服务向导向导中，选择来自 Microsoft Excel 文件的数据源，配置 Excel 文件路径、名称和Excel文件格式，如下所示：

1.4. 配置目标数据源

在接下来的步骤中，选择导入的数据类型和数据来源，目标数据源为新建的 employees 表。

1.5. 预览和映射数据

在此步骤中，可以预览源数据并映射列。默认情况下，如果在目标表中找到与源数据列匹配的名称，则将列自动映射到表列。

1.6. 导入数据

在这最后一个步骤中，将以指定的方式创建目标表，并将数据导入该表。

2. SQL Server快捷导入数据库方法

以上是 SQL Server 导入数据的常规方法，每次导入数据都需要进行繁琐的操作步骤。那么在实际应用中，我们希望有一种更加快捷方便的数据库导入方法。

下面列举了一些快捷方法：

2.1. 使用 INSERT INTO 语句导入数据

使用 INSERT INTO 语句进行数据插入，比使用 SSMS 工具来说更加快捷方便。这种方法先需要在 SSMS 中创建一个表结构，然后利用 INSERT INTO 语句导入数据。经过测试，这种方法比较适用于不大的数据量，如果数据量过大，可能会导致内存不够用。


--先创建一个表结构
CREATE TABLE employee
(
 employee_id INT,
 first_name VARCHAR(50),
 last_name VARCHAR(50)
)
--使用单次插入语句插入数据，比较适合数据量较小的情况
INSERT INTO employee (employee_id,first_name,last_name) VALUES (101,'David', 'Weikle');

2.2. 使用 BULK INSERT 语句导入数据

BULK INSERT 语句是 SQL Server 的批量插入命令。与 INSERT INTO 语句相比，BULK INSERT 在处理大量数据时，更高效快速，因此成为了目前最快的导入数据的方式之一。


--使用BULK INSERT语句导入数据
BULK INSERT employee
FROM 'C:\employees.txt' --源文件路径
WITH
(
 FIELDTERMINATOR = ',',  --字段分隔符
 ROWTERMINATOR = '\n'  --行分隔符
)

2.3. 使用SqlBulkCopy类导入数据

使用 SqlBulkCopy 类来导入数据是一种非常快速的方法，可以在秒级的时间内处理大量数据。SqlBulkCopy 类的功能十分强大，不仅能够将数据插入 SQL Server 表中，还能将数据导入到 SQL Server 中的任何支持的源中。


//C#代码实现数据导入操作，使用了SqlBulkCopy类
using System;
using System.Data;
using System.Data.SqlClient;
namespace SqlBulkCopyTest
{
    class Program
    {
        static void Main(string[] args)
        {
            using (SqlConnection cnn = new SqlConnection("Server=localhost;Database=Test;User ID=sa;Password=123456"))
            {
                cnn.Open();
                //SqlBulkCopy类的实例化
                SqlBulkCopy bc = new SqlBulkCopy(cnn);
                //指定要插入的表
                bc.DestinationTableName = "employee";
                //指定对应的列
                bc.ColumnMappings.Add("employeeid", "employee_id");
                bc.ColumnMappings.Add("firstname", "first_name");
                bc.ColumnMappings.Add("lastname", "last_name");
                //指定源文件路径
                bc.WriteToServer("C:\employees.txt");
            }
        }
    }
}

2.4. 使用SSIS导入数据

SSIS（SQL Server 集成服务）是 Microsoft SQL Server 数据库平台中的一个 ETL 工具，其强大的数据转换能力和易于使用的界面使得 SSIS 成为了数据仓库中 ETL 工具的瑰宝。在 SSIS 的控制流中引入数据流，使用数据流任务可以非常容易地从 Excel、Access 等其他数据源导入数据到 SQL Server 中。

2.5. 使用Python脚本导入数据

Python 对数据的处理能力非常强大，我们可以通过 Python 操作 SQL Server 来实现数据导入操作。Python pymysql 库可以作为对数据库进行处理的工具来产生数据，使我们能够在 Python 环境中快速排除错误并加速处理。虽然其速度不如 SqlBulkCopy 那么快，但是相对其它导入方法而言，Python 脚本的可移植性好，效果比较明显。


#Python程序实现数据导入操作，使用了pymssql库
import pymssql
#create connection
conn = pymssql.connect(server="localhost", user="sa", password="123456", database="Test");
cursor=conn.cursor()
cursor.execute("""
CREATE TABLE employee (id INT, name TEXT, email  TEXT)
""")
conn.commit()
insert_stmt = (
    "INSERT INTO employee (id, name, email) VALUES "
    "(%s, %s, %s)"
)
data = [
    (1, "Mango", "mango@gmail.com"),
    (2, "Jack", "jack@gmail.com"),
    (3, "Anna", "anna@gmail.com"),
    (4, "Jacob", "jacob@gmail.com"),
    (5, "Anny", "anny@gmail.com")
]
#执行SQL插入语句
cursor.executemany(insert_stmt, data)
conn.commit()
#查询数据
cursor.execute(
    "SELECT * FROM employee WHERE id=%s",
    (2,)
)
print(cursor.fetchall())

3. 总结

SQL Server 已经有很多实现导入数据的方法，每个方法都有其特点和优势。如何选择最好的方法，需要我们基于实际的情况进行权衡并根据情况选择适合的数据导入方法。

SQL Server快捷导入数据库的技巧