跳到主要内容

Pandas 数据类型优化

在数据处理和分析中，Pandas 是一个非常强大的工具。然而，随着数据量的增加，Pandas 的性能可能会成为瓶颈。为了提升性能，优化数据类型是一个简单但非常有效的方法。本文将详细介绍如何通过优化 Pandas 数据类型来提升数据处理效率。

什么是数据类型优化？​

Pandas 默认使用通用的数据类型（如 object、float64、int64 等）来存储数据。这些数据类型虽然灵活，但可能会占用更多的内存和计算资源。通过将数据转换为更合适的类型（如 category、float32、int32 等），可以显著减少内存占用并提高计算速度。

为什么需要优化数据类型？​

  1. 减少内存占用：优化数据类型可以显著减少内存使用，尤其是在处理大型数据集时。
  2. 提高计算速度：较小的数据类型通常意味着更快的计算速度。
  3. 节省存储空间：在保存数据时，较小的数据类型可以节省磁盘空间。

如何优化数据类型？​

1. 查看当前数据类型​

在优化之前，首先需要了解当前数据框中的数据类型。可以使用 dtypes 属性来查看：

python
import pandas as pd

# 示例数据
data = {
    'name': ['Alice', 'Bob', 'Charlie'],
    'age': [25, 30, 35],
    'salary': [50000.0, 60000.0, 70000.0]
}

df = pd.DataFrame(data)
print(df.dtypes)

输出：

name      object
age        int64
salary    float64
dtype: object

2. 转换数据类型​

2.1 整数类型优化​

Pandas 默认使用 int64 存储整数，但如果数据范围较小，可以使用 int32 或 int16 来节省内存。

python
df['age'] = df['age'].astype('int32')
print(df['age'].dtype)

输出：

int32

2.2 浮点数类型优化​

类似地，浮点数默认使用 float64，但可以使用 float32 来节省内存。

python
df['salary'] = df['salary'].astype('float32')
print(df['salary'].dtype)

输出：

float32

2.3 类别类型优化​

对于具有有限唯一值的列（如性别、国家等），可以使用 category 类型来优化。

python
df['name'] = df['name'].astype('category')
print(df['name'].dtype)

输出：

category

3. 检查内存使用情况​

使用 memory_usage() 方法可以查看每列的内存使用情况。

python
print(df.memory_usage(deep=True))

输出：

Index     128
name      104
age         12
salary      12
dtype: int64

实际案例​

假设我们有一个包含 100 万行数据的数据集，其中有一列是性别（gender），只有两个唯一值（Male 和 Female）。默认情况下，Pandas 会使用 object 类型存储这列数据，占用大量内存。通过将其转换为 category 类型，可以显著减少内存占用。

python
import pandas as pd
import numpy as np

# 生成示例数据
np.random.seed(0)
data = {
    'gender': np.random.choice(['Male', 'Female'], size=1000000)
}

df = pd.DataFrame(data)

# 查看默认内存使用情况
print(df.memory_usage(deep=True))

# 转换为 category 类型
df['gender'] = df['gender'].astype('category')

# 查看优化后的内存使用情况
print(df.memory_usage(deep=True))

输出：

Index        128
gender    8000000
dtype: int64

Index        128
gender    1000048
dtype: int64

可以看到，内存使用从 8MB 减少到了 1MB，优化效果非常明显。

总结​

通过优化 Pandas 数据类型，可以显著减少内存占用并提高计算速度。在实际应用中，尤其是在处理大型数据集时，这一技巧非常有用。建议在处理数据时，始终检查并优化数据类型，以获得最佳性能。

附加资源​

练习​

  1. 创建一个包含 1000 行数据的数据框，其中包含整数、浮点数和字符串列。
  2. 使用 astype() 方法将所有列转换为更合适的数据类型。
  3. 使用 memory_usage() 方法比较优化前后的内存使用情况。