跳到主要内容

Pandas 优化技巧

介绍​

Pandas 是 Python 中最流行的数据处理库之一，广泛应用于数据分析和数据科学领域。然而，当处理大规模数据集时，Pandas 的性能可能会成为瓶颈。为了提升效率，我们需要掌握一些优化技巧。本文将介绍一些常见的 Pandas 优化方法，帮助你更高效地处理数据。

1. 使用适当的数据类型​

Pandas 默认会为数据分配较大的数据类型，例如 int64 或 float64。然而，很多时候我们可以使用更小的数据类型来节省内存。

示例​

python
import pandas as pd

# 创建一个包含大量数据的 DataFrame
df = pd.DataFrame({
    'A': range(1, 100001),
    'B': range(100001, 200001)
})

# 查看数据类型
print(df.dtypes)

# 将数据类型转换为更小的类型
df['A'] = df['A'].astype('int32')
df['B'] = df['B'].astype('int32')

# 再次查看数据类型
print(df.dtypes)

输出：

A    int64
B    int64
dtype: object

A    int32
B    int32
dtype: object
提示

通过将数据类型从 int64 转换为 int32，我们可以节省一半的内存。

2. 避免使用循环​

在 Pandas 中，循环操作通常效率较低。相反，我们应该尽量使用向量化操作或内置函数。

示例​

python
# 不推荐的方式：使用循环
for i in range(len(df)):
    df.loc[i, 'C'] = df.loc[i, 'A'] + df.loc[i, 'B']

# 推荐的方式：使用向量化操作
df['C'] = df['A'] + df['B']
警告

循环操作在处理大规模数据时会导致性能显著下降，应尽量避免。

3. 使用 apply 函数​

apply 函数可以让我们对 DataFrame 的每一行或每一列应用一个函数。虽然 apply 比循环更快，但它仍然不如向量化操作高效。

示例​

python
# 使用 apply 函数
df['D'] = df.apply(lambda row: row['A'] * row['B'], axis=1)
备注

apply 函数比循环更快，但在可能的情况下，优先使用向量化操作。

4. 使用 query 方法​

query 方法可以让我们以更简洁的方式过滤数据，并且通常比传统的布尔索引更快。

示例​

python
# 使用布尔索引
filtered_df = df[df['A'] > 50000]

# 使用 query 方法
filtered_df = df.query('A > 50000')
提示

query 方法不仅代码更简洁，而且在某些情况下性能更好。

5. 使用 categorical 数据类型​

对于包含重复值的字符串列，使用 categorical 数据类型可以显著减少内存使用。

示例​

python
# 创建一个包含重复字符串的 DataFrame
df = pd.DataFrame({
    'Category': ['A', 'B', 'A', 'B', 'C', 'A', 'B', 'C']
})

# 将列转换为 categorical 类型
df['Category'] = df['Category'].astype('category')

# 查看数据类型
print(df.dtypes)

输出：

Category    category
dtype: object
备注

categorical 数据类型在处理分类数据时非常有用，可以显著减少内存使用。

6. 使用 eval 和 query 进行表达式求值​

eval 和 query 方法可以让我们在 Pandas 中执行高效的表达式求值，特别适用于复杂的计算。

示例​

python
# 使用 eval 进行表达式求值
df['E'] = df.eval('A + B')

# 使用 query 进行过滤
filtered_df = df.query('A > 50000 and B < 150000')
提示

eval 和 query 方法在处理复杂表达式时性能更优。

7. 使用 chunksize 处理大文件​

当处理非常大的文件时，可以使用 chunksize 参数来分块读取数据，避免内存不足的问题。

示例​

python
# 分块读取大文件
chunksize = 10000
for chunk in pd.read_csv('large_file.csv', chunksize=chunksize):
    process(chunk)  # 处理每个分块
警告

在处理大文件时，分块读取可以避免内存溢出问题。

实际案例​

假设我们有一个包含数百万行数据的 CSV 文件，我们需要计算某一列的平均值。由于文件太大，直接读取会导致内存不足。我们可以使用 chunksize 参数来分块读取数据，并逐步计算平均值。

python
total_sum = 0
total_count = 0

chunksize = 100000
for chunk in pd.read_csv('large_file.csv', chunksize=chunksize):
    total_sum += chunk['column_name'].sum()
    total_count += len(chunk)

average = total_sum / total_count
print(f'Average: {average}')

总结​

通过使用适当的数据类型、避免循环、使用向量化操作、apply 函数、query 方法、categorical 数据类型、eval 和 query 进行表达式求值，以及分块读取大文件，我们可以显著提升 Pandas 的性能。这些技巧在处理大规模数据集时尤为重要。

附加资源​

练习​

  1. 尝试将一个包含大量数据的 DataFrame 的数据类型从 int64 转换为 int32，并比较内存使用情况。
  2. 使用 query 方法过滤一个 DataFrame，并比较其性能与布尔索引的差异。
  3. 使用 chunksize 参数读取一个大文件，并计算某一列的平均值。

通过实践这些技巧，你将能够更高效地使用 Pandas 处理数据。