Pandas数据处理-猿码集

1. Pandas概述

Pandas是一个Python的数据处理库，英文全称是“Python Data Analysis Library”，是NumPy的衍生库，主要用于清洗、整理、加工、分析和可视化数据，被广泛应用于数据科学、机器学习、金融、统计学等领域。

使用Pandas可以有效地处理大型的、多维的、异构的数据，尤其适合处理表格状数据。Pandas提供了两种数据类型：Series和DataFrame。其中Series是一维的数据类型，类似于数组和标量，而DataFrame是二维的表格数据类型，类似于电子表格或SQL表格。

下面简单介绍Pandas的一些常用功能。

2. 创建DataFrame

2.1 从字典创建DataFrame

在Pandas中，可以使用字典来创建DataFrame，其中字典的键为表格的列名，值为表格的数据。

import pandas as pd
data = {'name': ['Alice', 'Bob', 'Charlie', 'David'], 
        'score': [80, 70, 90, 75]}
df = pd.DataFrame(data)
print(df)

输出结果为：

name score 0 Alice 80 1 Bob 70 2 Charlie 90 3 David 75

2.2 从CSV文件创建DataFrame

CSV是一种常用的数据格式，Pandas支持将CSV文件读入DataFrame中。

import pandas as pd
df = pd.read_csv('data.csv', header=0)
print(df.head())

其中header参数指定表格的首行为列名。

3. 数据预处理

3.1 缺失值处理

在现实生活中，数据中有很多可能出现缺失的情况，如缺失数据、缺失标签等，需要进行处理。

Pandas提供了fillna()函数来填充缺失数据，dropna()函数来删除缺失数据。

import pandas as pd
df = pd.read_csv('data.csv', header=0)
# 填充缺失数据
df = df.fillna(0)
# 删除缺失标签
df = df.dropna()
print(df.head())

3.2 数据转换

在数据预处理阶段，有时需要进行数据转换，如数据类型的转换、数据归一化等操作。

3.2.1 数据类型的转换

使用astype()函数可以将数据类型转换为指定类型。

import pandas as pd
df = pd.read_csv('data.csv', header=0)
# 将score列类型转换为float
df['score'] = df['score'].astype(float)
print(df.head())

3.2.2 数据归一化

在数据分析和机器学习过程中，经常需要进行数据归一化操作。归一化可以将数据的值域缩放到[0,1]或[-1,1]之间，使得数据间的差异更为明显。

Pandas提供了min()和max()函数来计算最小值和最大值，使用apply()函数可以对DataFrame进行自定义函数的操作。

import pandas as pd
df = pd.read_csv('data.csv', header=0)
# 数据归一化
df['score'] = df['score'].apply(lambda x: (x - df['score'].min()) / (df['score'].max() - df['score'].min()))
print(df.head())

4. 数据分析

4.1 数据统计

在数据分析中，常常需要对数据进行统计分析，如计算均值、中位数、标准差等参数。

Pandas提供了describe()函数来计算数据的统计参数。

import pandas as pd
df = pd.read_csv('data.csv', header=0)
# 数据分析
print(df.describe())

4.2 数据分组

数据分组是指根据某个标准将数据分成若干组，然后对每组数据进行统计分析，如计算均值、中位数、标准差等参数。

Pandas提供了groupby()函数来对数据进行分组，使用agg()函数可以对分组后的数据进行统计分析。

import pandas as pd
df = pd.read_csv('data.csv', header=0)
# 数据分组
grouped = df.groupby(['name'])
# 计算均值和标准差
result = grouped.agg({'score': {'mean', 'std'}})
print(result)

5. 数据可视化

数据可视化是指将数据转换为图形的形式，让人们能够更好地理解和分析数据。

Pandas提供了plot()函数来对数据进行可视化。

import pandas as pd
df = pd.read_csv('data.csv', header=0)
# 数据可视化
df.plot(kind='bar', x='name', y='score')
plt.show()

Pandas数据处理