跳到主要内容

PyTorch 内置数据集

在深度学习中，数据是模型训练的基础。PyTorch 提供了许多内置数据集，方便用户快速加载和使用。这些数据集涵盖了图像、文本、音频等多个领域，是初学者学习和实验的理想选择。

什么是PyTorch内置数据集？​

PyTorch内置数据集是PyTorch框架中预定义的数据集，用户可以直接调用这些数据集进行模型训练和测试。这些数据集通常已经过预处理，可以直接用于深度学习任务。

常用的PyTorch内置数据集​

PyTorch提供了多种内置数据集，以下是一些常用的数据集：

  • MNIST: 手写数字数据集，包含60,000个训练样本和10,000个测试样本。
  • CIFAR-10: 包含10个类别的60,000张32x32彩色图像。
  • CIFAR-100: 包含100个类别的60,000张32x32彩色图像。
  • FashionMNIST: 时尚物品数据集，包含60,000个训练样本和10,000个测试样本。
  • ImageNet: 大规模图像数据集，包含1,000个类别的1,281,167张训练图像和50,000张验证图像。

如何使用PyTorch内置数据集​

1. 导入必要的库​

首先，我们需要导入PyTorch和相关的库：

python
import torch
from torchvision import datasets, transforms

2. 加载数据集​

以MNIST数据集为例，我们可以使用以下代码加载数据集：

python
# 定义数据预处理
transform = transforms.Compose([
    transforms.ToTensor(),
    transforms.Normalize((0.5,), (0.5,))
])

# 加载训练集和测试集
train_dataset = datasets.MNIST(root='./data', train=True, download=True, transform=transform)
test_dataset = datasets.MNIST(root='./data', train=False, download=True, transform=transform)

3. 创建数据加载器​

为了高效地加载数据，我们可以使用DataLoader：

python
from torch.utils.data import DataLoader

train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)
test_loader = DataLoader(test_dataset, batch_size=64, shuffle=False)

4. 查看数据​

我们可以通过以下代码查看数据集中的样本：

python
import matplotlib.pyplot as plt

# 获取一个批次的数据
images, labels = next(iter(train_loader))

# 显示图像
plt.imshow(images[0].squeeze(), cmap='gray')
plt.title(f'Label: {labels[0]}')
plt.show()

实际应用场景​

图像分类​

以MNIST数据集为例，我们可以构建一个简单的卷积神经网络（CNN）进行手写数字分类：

python
import torch.nn as nn
import torch.optim as optim

class SimpleCNN(nn.Module):
    def __init__(self):
        super(SimpleCNN, self).__init__()
        self.conv1 = nn.Conv2d(1, 32, kernel_size=3, stride=1, padding=1)
        self.pool = nn.MaxPool2d(kernel_size=2, stride=2, padding=0)
        self.fc1 = nn.Linear(32 * 14 * 14, 128)
        self.fc2 = nn.Linear(128, 10)

    def forward(self, x):
        x = self.pool(F.relu(self.conv1(x)))
        x = x.view(-1, 32 * 14 * 14)
        x = F.relu(self.fc1(x))
        x = self.fc2(x)
        return x

model = SimpleCNN()
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(model.parameters(), lr=0.001)

# 训练模型
for epoch in range(5):
    for images, labels in train_loader:
        outputs = model(images)
        loss = criterion(outputs, labels)
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
    print(f'Epoch {epoch+1}, Loss: {loss.item()}')

总结​

PyTorch内置数据集为初学者提供了便捷的数据加载和处理方式。通过本文的学习，你应该能够熟练地使用PyTorch内置数据集进行模型训练和测试。

附加资源与练习​

  • 练习: 尝试使用CIFAR-10数据集构建一个图像分类模型。
  • 资源: 参考PyTorch官方文档了解更多内置数据集的使用方法。
提示

提示：在实际项目中，除了使用内置数据集，你还可以自定义数据集来满足特定需求。