跳到主要内容

Pandas 数据重塑技巧

在数据分析和处理中，数据重塑（Data Reshaping）是一个非常重要的概念。它指的是将数据从一种结构转换为另一种结构，以便更好地进行分析或可视化。Pandas 提供了多种强大的工具来实现数据重塑，例如透视表（pivot）、堆叠（stack）、解堆叠（unstack）等。本文将逐步介绍这些技巧，并通过实际案例帮助你理解它们的应用场景。

什么是数据重塑？​

数据重塑是指将数据从一种形式转换为另一种形式的过程。例如，你可能有一个宽格式的数据表，需要将其转换为长格式，或者需要将某些列转换为行。Pandas 提供了多种方法来实现这些转换，从而满足不同的分析需求。

1. 透视表（Pivot）​

透视表是一种常见的数据重塑方法，它可以将数据从长格式转换为宽格式。透视表通常用于汇总数据，例如计算某个维度的平均值、总和等。

示例：创建透视表​

假设我们有以下数据：

python
import pandas as pd

data = {
    'Date': ['2023-01-01', '2023-01-01', '2023-01-02', '2023-01-02'],
    'City': ['Beijing', 'Shanghai', 'Beijing', 'Shanghai'],
    'Temperature': [10, 15, 12, 18]
}

df = pd.DataFrame(data)
print(df)

输出：

         Date      City  Temperature
0  2023-01-01   Beijing           10
1  2023-01-01  Shanghai           15
2  2023-01-02   Beijing           12
3  2023-01-02  Shanghai           18

我们可以使用 pivot 方法将 City 列转换为列名，Date 列作为索引，Temperature 列作为值：

python
pivot_df = df.pivot(index='Date', columns='City', values='Temperature')
print(pivot_df)

输出：

City        Beijing  Shanghai
Date                          
2023-01-01       10        15
2023-01-02       12        18
提示

透视表非常适合用于汇总数据，尤其是在你需要将某些列转换为列名时。

2. 堆叠（Stack）与解堆叠（Unstack）​

堆叠（stack）和解堆叠（unstack）是两种互补的操作。堆叠将列转换为行，而解堆叠则将行转换为列。

示例：堆叠与解堆叠​

假设我们有以下数据：

python
data = {
    'Date': ['2023-01-01', '2023-01-02'],
    'Beijing': [10, 12],
    'Shanghai': [15, 18]
}

df = pd.DataFrame(data)
print(df)

输出：

         Date  Beijing  Shanghai
0  2023-01-01       10        15
1  2023-01-02       12        18

我们可以使用 stack 方法将列转换为行：

python
stacked_df = df.set_index('Date').stack()
print(stacked_df)

输出：

Date                
2023-01-01  Beijing     10
             Shanghai    15
2023-01-02  Beijing     12
             Shanghai    18
dtype: int64

接下来，我们可以使用 unstack 方法将堆叠后的数据恢复为原始格式：

python
unstacked_df = stacked_df.unstack()
print(unstacked_df)

输出：

           Beijing  Shanghai
Date                         
2023-01-01       10        15
2023-01-02       12        18
备注

堆叠和解堆叠非常适合用于处理多层索引的数据，尤其是在你需要将某些列转换为行时。

3. 实际案例：销售数据分析​

假设我们有一个销售数据集，包含日期、产品类别和销售额。我们希望分析每个产品类别在不同日期的销售情况。

示例：销售数据透视​

python
data = {
    'Date': ['2023-01-01', '2023-01-01', '2023-01-02', '2023-01-02'],
    'Category': ['A', 'B', 'A', 'B'],
    'Sales': [100, 150, 120, 180]
}

df = pd.DataFrame(data)
print(df)

输出：

         Date Category  Sales
0  2023-01-01        A    100
1  2023-01-01        B    150
2  2023-01-02        A    120
3  2023-01-02        B    180

我们可以使用 pivot_table 方法来汇总每个产品类别在不同日期的销售额：

python
pivot_df = df.pivot_table(index='Date', columns='Category', values='Sales', aggfunc='sum')
print(pivot_df)

输出：

Category       A    B
Date                 
2023-01-01  100  150
2023-01-02  120  180
警告

在使用 pivot_table 时，确保指定正确的 aggfunc 参数，以便正确汇总数据。

总结​

在本文中，我们介绍了 Pandas 中的数据重塑技巧，包括透视表、堆叠和解堆叠。这些技巧可以帮助你将数据从一种形式转换为另一种形式，从而更好地进行分析和可视化。通过实际案例，我们展示了这些技巧在销售数据分析中的应用。

附加资源与练习​

  • 练习 1：尝试使用 pivot 方法将你的数据集从长格式转换为宽格式。
  • 练习 2：使用 stack 和 unstack 方法处理一个多层索引的数据集。
  • 附加资源：阅读 Pandas 官方文档中关于 数据重塑 的部分，了解更多高级技巧。

希望本文能帮助你掌握 Pandas 中的数据重塑技巧！如果你有任何问题，欢迎在评论区留言。