跳到主要内容

Pandas 缺失值填充

在数据分析中，缺失值（Missing Values）是一个常见的问题。缺失值可能是由于数据采集过程中的错误、数据存储问题或其他原因导致的。Pandas提供了多种方法来处理缺失值，其中填充缺失值是常用的一种方式。本文将详细介绍如何使用Pandas填充缺失值，并通过实际案例帮助你更好地理解这一概念。

什么是缺失值？​

在Pandas中，缺失值通常表示为NaN（Not a Number）。缺失值可能是由于数据采集过程中的错误、数据存储问题或其他原因导致的。处理缺失值是数据清洗的重要步骤之一，因为缺失值可能会影响数据分析的结果。

检测缺失值​

在填充缺失值之前，我们首先需要检测数据中是否存在缺失值。Pandas提供了isnull()和notnull()方法来检测缺失值。

python
import pandas as pd

# 创建一个包含缺失值的DataFrame
data = {'A': [1, 2, None, 4], 'B': [5, None, None, 8], 'C': [10, 11, 12, 13]}
df = pd.DataFrame(data)

# 检测缺失值
print(df.isnull())

输出：

       A      B      C
0  False  False  False
1  False   True  False
2   True   True  False
3  False  False  False

填充缺失值​

Pandas提供了多种方法来填充缺失值，常用的方法包括：

  1. 使用固定值填充：用指定的值填充所有缺失值。
  2. 使用前向填充或后向填充：用前一个或后一个非缺失值填充缺失值。
  3. 使用均值、中位数或众数填充：用列的均值、中位数或众数填充缺失值。

1. 使用固定值填充​

你可以使用fillna()方法，用一个固定的值填充所有缺失值。

python
# 用0填充所有缺失值
df_filled = df.fillna(0)
print(df_filled)

输出：

     A    B   C
0  1.0  5.0  10
1  2.0  0.0  11
2  0.0  0.0  12
3  4.0  8.0  13

2. 使用前向填充或后向填充​

你可以使用method参数来指定前向填充（ffill）或后向填充（bfill）。

python
# 前向填充
df_ffill = df.fillna(method='ffill')
print(df_ffill)

# 后向填充
df_bfill = df.fillna(method='bfill')
print(df_bfill)

输出：

     A    B   C
0  1.0  5.0  10
1  2.0  5.0  11
2  2.0  5.0  12
3  4.0  8.0  13

     A    B   C
0  1.0  5.0  10
1  2.0  8.0  11
2  4.0  8.0  12
3  4.0  8.0  13

3. 使用均值、中位数或众数填充​

你可以使用列的均值、中位数或众数来填充缺失值。

python
# 使用列的均值填充
df_mean = df.fillna(df.mean())
print(df_mean)

# 使用列的中位数填充
df_median = df.fillna(df.median())
print(df_median)

# 使用列的众数填充
df_mode = df.fillna(df.mode().iloc[0])
print(df_mode)

输出：

     A    B   C
0  1.0  5.0  10
1  2.0  6.5  11
2  2.333333  6.5  12
3  4.0  8.0  13

     A    B   C
0  1.0  5.0  10
1  2.0  6.5  11
2  2.0  6.5  12
3  4.0  8.0  13

     A    B   C
0  1.0  5.0  10
1  2.0  5.0  11
2  1.0  5.0  12
3  4.0  8.0  13

实际案例​

假设你有一份销售数据，其中某些产品的销售额缺失。你需要填充这些缺失值以便进行进一步的分析。

python
# 创建销售数据
sales_data = {'Product': ['A', 'B', 'C', 'D'], 'Sales': [100, None, 150, None]}
sales_df = pd.DataFrame(sales_data)

# 使用均值填充缺失值
sales_df_filled = sales_df.fillna(sales_df['Sales'].mean())
print(sales_df_filled)

输出：

  Product  Sales
0       A  100.0
1       B  125.0
2       C  150.0
3       D  125.0

在这个案例中，我们使用销售额的均值填充了缺失值，使得数据更加完整，便于后续分析。

总结​

处理缺失值是数据清洗的重要步骤之一。Pandas提供了多种方法来填充缺失值，包括使用固定值、前向填充、后向填充以及使用均值、中位数或众数填充。选择合适的方法取决于具体的应用场景和数据特点。

附加资源​

练习​

  1. 创建一个包含缺失值的DataFrame，并使用不同的方法填充缺失值。
  2. 在实际数据集中尝试使用均值、中位数和众数填充缺失值，并比较结果。
提示

在实际项目中，处理缺失值时需要谨慎选择填充方法，确保填充后的数据不会引入偏差。