跳到主要内容

数据清洗技术

数据清洗是数据预处理的关键步骤之一，旨在通过识别和纠正数据集中的错误、不一致和缺失值，提高数据的质量和可用性。无论是数据分析、机器学习还是数据可视化，干净的数据都是确保结果准确性的基础。

什么是数据清洗？​

数据清洗是指对原始数据进行处理，以消除或修正数据中的错误、重复、不一致和缺失值的过程。数据清洗的目标是确保数据准确、完整且一致，从而为后续的分析或建模提供可靠的基础。

备注

数据清洗不仅仅是删除错误数据，还包括填补缺失值、处理异常值、统一数据格式等操作。

数据清洗的主要步骤​

数据清洗通常包括以下几个步骤：

  1. 数据审查：了解数据的结构、内容和质量。
  2. 处理缺失值：填补或删除缺失数据。
  3. 处理重复数据：识别并删除重复记录。
  4. 处理异常值：检测并处理异常数据。
  5. 数据格式化：统一数据格式（如日期、时间、文本等）。
  6. 数据验证：确保清洗后的数据符合预期。

1. 处理缺失值​

缺失值是数据集中常见的问题。处理缺失值的方法包括：

  • 删除缺失值：如果缺失值占比较小，可以直接删除相关记录。
  • 填补缺失值：使用均值、中位数、众数或插值法填补缺失值。

示例：填补缺失值​

假设我们有一个包含学生成绩的数据集：

python
import pandas as pd

data = {
    '学生': ['A', 'B', 'C', 'D'],
    '成绩': [85, None, 92, 88]
}

df = pd.DataFrame(data)
df['成绩'].fillna(df['成绩'].mean(), inplace=True)
print(df)

输出：

  学生   成绩
0  A  85.0
1  B  88.3
2  C  92.0
3  D  88.0

2. 处理重复数据​

重复数据可能会导致分析结果偏差。我们可以使用 drop_duplicates() 方法删除重复记录。

示例：删除重复数据​

python
data = {
    '学生': ['A', 'B', 'C', 'B'],
    '成绩': [85, 90, 92, 90]
}

df = pd.DataFrame(data)
df = df.drop_duplicates()
print(df)

输出：

  学生  成绩
0  A  85
1  B  90
2  C  92

3. 处理异常值​

异常值可能是数据输入错误或真实但极端的情况。我们可以通过统计方法（如 Z-score 或 IQR）检测异常值。

示例：检测异常值​

python
import numpy as np

data = {
    '学生': ['A', 'B', 'C', 'D'],
    '成绩': [85, 90, 92, 150]  # 150 是一个异常值
}

df = pd.DataFrame(data)
mean = df['成绩'].mean()
std = df['成绩'].std()
df['Z-score'] = (df['成绩'] - mean) / std
print(df)

输出：

  学生   成绩   Z-score
0  A   85 -0.707107
1  B   90 -0.353553
2  C   92 -0.212132
3  D  150  1.272792

4. 数据格式化​

数据格式化是指将数据转换为统一的格式。例如，将日期格式统一为 YYYY-MM-DD，或将文本转换为小写。

示例：统一日期格式​

python
data = {
    '日期': ['2023-01-01', '01/02/2023', '2023.03.01']
}

df = pd.DataFrame(data)
df['日期'] = pd.to_datetime(df['日期'], errors='coerce')
print(df)

输出：

        日期
0 2023-01-01
1 2023-01-02
2 2023-03-01

实际案例：电商订单数据清洗​

假设我们有一个电商订单数据集，包含以下字段：

  • 订单ID
  • 用户ID
  • 订单金额
  • 订单日期

问题：

  1. 订单金额存在负值（异常值）。
  2. 订单日期格式不统一。
  3. 存在重复订单记录。

解决方案：

  1. 删除或修正负值订单金额。
  2. 统一订单日期格式。
  3. 删除重复订单记录。
python
data = {
    '订单ID': [1, 2, 3, 4],
    '用户ID': [101, 102, 103, 102],
    '订单金额': [100, -50, 200, 150],
    '订单日期': ['2023-01-01', '01/02/2023', '2023.03.01', '2023-01-01']
}

df = pd.DataFrame(data)

# 处理异常值
df = df[df['订单金额'] > 0]

# 统一日期格式
df['订单日期'] = pd.to_datetime(df['订单日期'], errors='coerce')

# 删除重复记录
df = df.drop_duplicates()

print(df)

输出：

   订单ID  用户ID  订单金额      订单日期
0     1   101   100 2023-01-01
2     3   103   200 2023-03-01
3     4   102   150 2023-01-01

总结​

数据清洗是数据分析和建模的基础步骤。通过处理缺失值、重复数据、异常值和数据格式化，我们可以显著提高数据的质量。掌握数据清洗技术，能够为后续的数据分析提供可靠的支持。

提示

在实际项目中，数据清洗通常需要结合业务逻辑和领域知识，以确保清洗后的数据符合业务需求。

附加资源与练习​

  • 资源：

  • 练习：

    1. 下载一个公开数据集（如 Kaggle 上的数据集），尝试清洗其中的缺失值、重复数据和异常值。
    2. 编写一个 Python 脚本，自动检测并处理数据集中的常见问题。