两者结合：从CSV中导入MongoDB数据

1.前言

CSV和MongoDB是常用的数据存储格式和数据库，CSV是以逗号分隔的一种文件格式，最常用于数据导入和导出，在各行各列中存储数据。MongoDB是NoSQL数据库中的一种，它是一种文档数据库，即数据存储的格式是以json格式的文档形式存储。本文将介绍如何从CSV中导入数据到MongoDB。

2.准备工作

2.1 安装pymongo

Python是一种常用的编程语言，pymongo是MongoDB的官方Python驱动程序，它提供了与MongoDB连接和交互的方法。安装pymongo可以使用pip安装:

pip install pymongo

2.2 准备CSV数据

本文将使用一个包含学生信息的CSV文件来演示导入过程。CSV文件的格式如下：

name,gender,age,class,score

John,Doe,20,1A,90
Jane,Doe,19,2B,85
...

3.导入CSV数据到MongoDB

要将CSV数据导入MongoDB，需要完成以下步骤：

3.1 连接MongoDB

在Python中，使用pymongo库连接MongoDB数据库非常简单。首先，需要指定MongoDB的地址和端口号，然后通过MongoClient来创建连接。

from pymongo import MongoClient

client = MongoClient("mongodb://localhost:27017/")
db = client["mydatabase"]
col = db["students"]

以上代码会创建一个名为“mydatabase”的数据库，并在其中创建了一个名为“students”的collection。

3.2 读取CSV数据

使用Python中的csv模块，可以很方便地读取CSV文件中的数据。在读取CSV文件时，建议使用with语句进行文件的自动关闭，以避免文件未正常关闭而导致的错误。

import csv

with open('students.csv') as csv_file:
    csv_reader = csv.DictReader(csv_file)
    for row in csv_reader:
        print(row)

以上代码会逐行读取CSV文件中的数据，并将其转换为一个Python字典对象。在读取CSV文件时，需要指定文件的格式，这里使用了DictReader。

3.3 插入数据到MongoDB

读取CSV数据并将其转换为Python字典后，可以使用insert_one或insert_many方法将数据插入MongoDB中的collection中。如果要插入大量数据，建议使用insert_many，以提高插入效率。

import csv

with open('students.csv') as csv_file:
    csv_reader = csv.DictReader(csv_file)
    for row in csv_reader:
        col.insert_one(row)

以上代码会将CSV文件中的每一行数据都插入到MongoDB的“students”collection中。

4.检查数据的导入

数据导入后，可以使用find方法查询collection中的数据，并将其打印到屏幕上。

for student in col.find():

    print(student)

以上代码会查询“students”collection中的所有文档，并将其打印到屏幕上。

5.总结

本文介绍了如何使用Python中的pymongo库将CSV文件中的数据导入到MongoDB中，并给出了相应的代码。在实际项目中，经常需要将多种数据源中的数据进行整合分析，本文提供的方法可以很好地解决这类问题。

参考资料

mongoimport

Pandas

Introduction to MongoDB and Python