跳到主要内容

Pandas 外连接

在数据处理中，合并数据集是一个常见的任务。Pandas 提供了多种合并数据的方法，其中之一就是外连接（Outer Join）。外连接允许我们将两个数据集合并，并保留所有数据，即使某些行在其中一个数据集中没有匹配项。

什么是外连接？​

外连接是一种合并操作，它会保留两个数据集中的所有行。如果某个数据集中的行在另一个数据集中没有匹配项，结果中会用 NaN（缺失值）填充。

外连接可以分为以下三种类型：

  1. 左外连接（Left Outer Join）：保留左侧数据集的所有行。
  2. 右外连接（Right Outer Join）：保留右侧数据集的所有行。
  3. 全外连接（Full Outer Join）：保留两个数据集的所有行。

在 Pandas 中，我们可以使用 merge() 函数来实现外连接。

如何使用 Pandas 进行外连接？​

基本语法​

python
import pandas as pd

# 合并两个 DataFrame
result = pd.merge(left, right, how='outer', on='key')
  • left 和 right 是要合并的两个 DataFrame。
  • how='outer' 指定使用外连接。
  • on='key' 指定用于合并的列名。

示例​

假设我们有两个数据集 df1 和 df2：

python
import pandas as pd

# 创建第一个 DataFrame
df1 = pd.DataFrame({
    'A': ['A0', 'A1', 'A2', 'A3'],
    'B': ['B0', 'B1', 'B2', 'B3'],
    'key': ['K0', 'K1', 'K2', 'K3']
})

# 创建第二个 DataFrame
df2 = pd.DataFrame({
    'C': ['C0', 'C1', 'C2', 'C3'],
    'D': ['D0', 'D1', 'D2', 'D3'],
    'key': ['K0', 'K1', 'K2', 'K4']
})

现在，我们使用外连接合并这两个数据集：

python
result = pd.merge(df1, df2, how='outer', on='key')
print(result)

输出：

     A    B key    C    D
0   A0   B0  K0   C0   D0
1   A1   B1  K1   C1   D1
2   A2   B2  K2   C2   D2
3   A3   B3  K3  NaN  NaN
4  NaN  NaN  K4   C3   D3
备注

注意：K3 只在 df1 中存在，而 K4 只在 df2 中存在。因此，结果中 K3 的 C 和 D 列以及 K4 的 A 和 B 列都被填充为 NaN。

实际应用场景​

场景：合并销售数据和客户数据​

假设我们有两个数据集：

  • sales_data：包含销售记录。
  • customer_data：包含客户信息。

我们希望合并这两个数据集，以便分析每个销售记录对应的客户信息。如果某些销售记录没有对应的客户信息，或者某些客户没有销售记录，我们仍然希望保留这些数据。

python
# 创建销售数据
sales_data = pd.DataFrame({
    'sale_id': [1, 2, 3, 4],
    'customer_id': [101, 102, 103, 104],
    'amount': [100, 200, 150, 300]
})

# 创建客户数据
customer_data = pd.DataFrame({
    'customer_id': [101, 102, 104, 105],
    'name': ['Alice', 'Bob', 'Charlie', 'David']
})

# 使用外连接合并数据
merged_data = pd.merge(sales_data, customer_data, how='outer', on='customer_id')
print(merged_data)

输出：

   sale_id  customer_id  amount     name
0      1.0          101   100.0    Alice
1      2.0          102   200.0      Bob
2      3.0          103   150.0      NaN
3      4.0          104   300.0  Charlie
4      NaN          105     NaN    David
提示

在这个例子中，customer_id 为 103 的销售记录没有对应的客户信息，而 customer_id 为 105 的客户没有销售记录。外连接保留了所有这些数据，并用 NaN 填充缺失值。

总结​

外连接是一种强大的数据合并工具，它允许我们保留两个数据集中的所有数据，即使某些行在其中一个数据集中没有匹配项。通过 Pandas 的 merge() 函数，我们可以轻松实现外连接操作。

在实际应用中，外连接常用于合并不完整的数据集，确保不会丢失任何信息。

附加资源与练习​

  • 练习：尝试使用外连接合并两个包含学生成绩和课程信息的数据集，并分析结果。
  • 进一步学习：了解 Pandas 中的其他合并操作，如内连接、左连接和右连接。
警告

注意：在使用外连接时，务必注意数据集的规模，因为外连接可能会生成非常大的结果集。