跳到主要内容

Pandas 合并操作

在数据处理和分析中，数据合并是一项非常常见的任务。Pandas库提供了多种方法来合并数据，包括concat、merge和join。本文将详细介绍这些方法的使用，并通过实际案例帮助你理解它们的应用场景。

1. 介绍​

数据合并是指将两个或多个数据集按照一定的规则组合在一起。Pandas提供了多种合并方法，每种方法适用于不同的场景。以下是Pandas中常用的合并方法：

  • concat: 用于沿特定轴（行或列）连接多个DataFrame。
  • merge: 用于基于一个或多个键将两个DataFrame合并。
  • join: 是merge的一个简化版本，主要用于基于索引的合并。

2. concat方法​

concat方法用于沿特定轴（行或列）连接多个DataFrame。它是最简单的合并方法之一，适用于将多个数据集简单地堆叠在一起。

2.1 基本用法​

python
import pandas as pd

df1 = pd.DataFrame({'A': ['A0', 'A1', 'A2'],
                    'B': ['B0', 'B1', 'B2']})

df2 = pd.DataFrame({'A': ['A3', 'A4', 'A5'],
                    'B': ['B3', 'B4', 'B5']})

result = pd.concat([df1, df2])
print(result)

输出:

    A   B
0  A0  B0
1  A1  B1
2  A2  B2
0  A3  B3
1  A4  B4
2  A5  B5

2.2 沿列合并​

你可以通过设置axis=1来沿列合并DataFrame。

python
result = pd.concat([df1, df2], axis=1)
print(result)

输出:

     A    B    A    B
0   A0   B0   A3   B3
1   A1   B1   A4   B4
2   A2   B2   A5   B5
备注

注意：concat方法默认会保留原始索引。如果你希望重置索引，可以使用ignore_index=True参数。

3. merge方法​

merge方法用于基于一个或多个键将两个DataFrame合并。它类似于SQL中的JOIN操作。

3.1 基本用法​

python
left = pd.DataFrame({'key': ['K0', 'K1', 'K2'],
                     'A': ['A0', 'A1', 'A2'],
                     'B': ['B0', 'B1', 'B2']})

right = pd.DataFrame({'key': ['K0', 'K1', 'K2'],
                      'C': ['C0', 'C1', 'C2'],
                      'D': ['D0', 'D1', 'D2']})

result = pd.merge(left, right, on='key')
print(result)

输出:

  key   A   B   C   D
0  K0  A0  B0  C0  D0
1  K1  A1  B1  C1  D1
2  K2  A2  B2  C2  D2

3.2 不同类型的合并​

merge方法支持多种类型的合并操作，包括内连接（inner）、左连接（left）、右连接（right）和外连接（outer）。

python
result = pd.merge(left, right, on='key', how='outer')
print(result)

输出:

  key    A    B    C    D
0  K0   A0   B0   C0   D0
1  K1   A1   B1   C1   D1
2  K2   A2   B2   C2   D2
提示

提示：how参数用于指定合并类型，默认为inner。

4. join方法​

join方法是merge的一个简化版本，主要用于基于索引的合并。

4.1 基本用法​

python
left = pd.DataFrame({'A': ['A0', 'A1', 'A2'],
                     'B': ['B0', 'B1', 'B2']},
                    index=['K0', 'K1', 'K2'])

right = pd.DataFrame({'C': ['C0', 'C1', 'C2'],
                      'D': ['D0', 'D1', 'D2']},
                     index=['K0', 'K2', 'K3'])

result = left.join(right)
print(result)

输出:

     A   B    C    D
K0  A0  B0   C0   D0
K1  A1  B1  NaN  NaN
K2  A2  B2   C1   D1
警告

注意：join方法默认使用左连接（left join），并且是基于索引的合并。

5. 实际案例​

假设你有两个数据集：一个包含员工信息，另一个包含部门信息。你需要将这两个数据集合并，以便分析每个员工所在的部门。

python
employees = pd.DataFrame({'employee_id': [1, 2, 3],
                         'name': ['Alice', 'Bob', 'Charlie'],
                         'department_id': [101, 102, 103]})

departments = pd.DataFrame({'department_id': [101, 102, 104],
                            'department_name': ['HR', 'Engineering', 'Finance']})

result = pd.merge(employees, departments, on='department_id', how='left')
print(result)

输出:

   employee_id     name  department_id department_name
0            1    Alice            101              HR
1            2      Bob            102     Engineering
2            3  Charlie            103             NaN

6. 总结​

在本文中，我们介绍了Pandas中的三种主要合并方法：concat、merge和join。每种方法都有其特定的应用场景：

  • concat: 适用于简单的数据堆叠。
  • merge: 适用于基于键的合并，类似于SQL中的JOIN操作。
  • join: 是merge的简化版本，主要用于基于索引的合并。

通过实际案例，我们展示了如何将这些方法应用于真实的数据分析任务中。

7. 附加资源与练习​

为了巩固你的学习，建议你尝试以下练习：

  1. 使用concat方法将多个DataFrame沿行和列合并。
  2. 使用merge方法实现不同类型的连接（内连接、左连接、右连接、外连接）。
  3. 使用join方法基于索引合并两个DataFrame。

你还可以参考Pandas官方文档以获取更多详细信息：Pandas官方文档

注意

警告：在实际应用中，合并操作可能会导致数据丢失或重复，请务必仔细检查合并后的结果。