跳到主要内容

PyTorch BERT 实现

BERT（Bidirectional Encoder Representations from Transformers）是一种基于 Transformer 架构的预训练语言模型，由 Google 在 2018 年提出。它在自然语言处理（NLP）任务中表现出色，如文本分类、命名实体识别、问答系统等。本文将介绍如何使用 PyTorch 实现 BERT 模型，并展示其在实际任务中的应用。

1. BERT 简介​

BERT 的核心思想是通过双向 Transformer 编码器来捕捉文本中的上下文信息。与传统的单向语言模型（如 GPT）不同，BERT 能够同时考虑文本的左右上下文，从而更好地理解语义。

BERT 的预训练过程包括两个任务：

  1. Masked Language Model (MLM)：随机掩盖输入文本中的某些单词，并让模型预测这些被掩盖的单词。
  2. Next Sentence Prediction (NSP)：判断两个句子是否是连续的。

通过这两个任务，BERT 能够学习到丰富的语言表示，从而在各种 NLP 任务中表现出色。

2. PyTorch 中的 BERT 实现​

在 PyTorch 中，我们可以使用 transformers 库来轻松加载和使用 BERT 模型。transformers 是由 Hugging Face 提供的一个开源库，支持多种预训练模型，包括 BERT、GPT、RoBERTa 等。

2.1 安装依赖​

首先，我们需要安装 transformers 库：

bash
pip install transformers

2.2 加载预训练的 BERT 模型​

我们可以使用 transformers 库中的 BertModel 类来加载预训练的 BERT 模型：

python
from transformers import BertTokenizer, BertModel

# 加载预训练的 BERT 模型和对应的分词器
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertModel.from_pretrained('bert-base-uncased')

2.3 输入文本的编码​

在使用 BERT 之前，我们需要将输入文本转换为模型可以理解的格式。BERT 使用 WordPiece 分词器将文本分解为子词单元，并将每个子词映射到一个唯一的 ID。

python
# 输入文本
text = "Hello, how are you?"

# 使用 BERT 分词器对文本进行编码
inputs = tokenizer(text, return_tensors='pt')

# 输出编码后的结果
print(inputs)

输出结果如下：

python
{
    'input_ids': tensor([[ 101, 7592, 1010, 2129, 2024, 2017, 1029,  102]]),
    'token_type_ids': tensor([[0, 0, 0, 0, 0, 0, 0, 0]]),
    'attention_mask': tensor([[1, 1, 1, 1, 1, 1, 1, 1]])
}
  • input_ids：每个子词对应的 ID。
  • token_type_ids：用于区分两个句子的 ID（在单句输入中全为 0）。
  • attention_mask：用于指示哪些位置是实际的单词，哪些位置是填充的。

2.4 前向传播​

将编码后的输入传递给 BERT 模型，得到输出：

python
# 前向传播
outputs = model(**inputs)

# 输出结果
print(outputs.last_hidden_state.shape)

输出结果如下：

python
torch.Size([1, 8, 768])
  • last_hidden_state：每个输入 token 的隐藏状态，形状为 (batch_size, sequence_length, hidden_size)。
  • hidden_size：BERT 模型的隐藏层大小，通常为 768。

3. 实际案例：文本分类​

接下来，我们将使用 BERT 模型进行文本分类任务。我们将使用 BertForSequenceClassification 类，它是在 BERT 基础上添加了一个分类头的模型。

3.1 加载分类模型​

python
from transformers import BertForSequenceClassification

# 加载预训练的 BERT 分类模型
model = BertForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2)

3.2 准备数据​

假设我们有一个简单的二分类任务，判断文本的情感是正面还是负面：

python
texts = ["I love this movie!", "This film is terrible."]
labels = [1, 0]  # 1 表示正面，0 表示负面

3.3 编码数据​

python
inputs = tokenizer(texts, padding=True, truncation=True, return_tensors='pt')
labels = torch.tensor(labels)

3.4 训练模型​

python
import torch.optim as optim

# 定义优化器
optimizer = optim.AdamW(model.parameters(), lr=5e-5)

# 训练循环
for epoch in range(3):  # 假设我们训练 3 个 epoch
    model.train()
    optimizer.zero_grad()
    
    # 前向传播
    outputs = model(**inputs, labels=labels)
    loss = outputs.loss
    
    # 反向传播
    loss.backward()
    optimizer.step()
    
    print(f"Epoch {epoch + 1}, Loss: {loss.item()}")

3.5 预测​

训练完成后，我们可以使用模型进行预测：

python
model.eval()
with torch.no_grad():
    outputs = model(**inputs)
    predictions = torch.argmax(outputs.logits, dim=-1)
    print(predictions)

输出结果如下：

python
tensor([1, 0])

4. 总结​

本文介绍了如何使用 PyTorch 实现 BERT 模型，并展示了其在文本分类任务中的应用。BERT 作为一种强大的预训练语言模型，能够在各种 NLP 任务中取得优异的表现。通过 transformers 库，我们可以轻松加载和使用 BERT 模型，从而快速构建 NLP 应用。

5. 附加资源与练习​

提示

如果你对 BERT 的内部机制感兴趣，可以深入研究 Transformer 架构，了解其如何通过自注意力机制捕捉文本中的上下文信息。