跳到主要内容

标签使用优化

在 Prometheus 中，标签（Labels）是用于区分和过滤时间序列数据的关键工具。然而，不当的标签使用可能会导致性能问题，例如查询速度变慢或存储空间占用过高。本文将详细介绍如何优化标签的使用，以确保 Prometheus 的高效运行。

什么是标签？​

标签是键值对，用于描述时间序列数据的元数据。例如，一个监控 HTTP 请求的指标可能包含以下标签：

yaml
http_requests_total{method="GET", status="200", endpoint="/api/v1/users"}

在这个例子中，method、status 和 endpoint 都是标签，它们帮助我们区分不同的 HTTP 请求。

为什么需要优化标签？​

Prometheus 为每个唯一的时间序列（即具有不同标签组合的指标）存储单独的数据。如果标签过多或标签值过于动态，可能会导致以下问题：

  1. 存储开销增加：每个唯一的时间序列都需要存储其数据，过多的标签组合会导致存储空间迅速膨胀。
  2. 查询性能下降：查询时需要扫描更多的时间序列，导致查询速度变慢。
  3. 内存占用增加：Prometheus 需要在内存中维护所有时间序列的索引，过多的标签组合会增加内存使用量。

如何优化标签使用？​

1. 避免高基数标签​

高基数标签是指具有大量不同值的标签。例如，使用 user_id 作为标签可能会导致每个用户都有一个独立的时间序列，这在高用户量的系统中是不可行的。

优化建议：

  • 避免使用高基数标签，如 user_id、session_id 等。
  • 如果必须使用高基数标签，考虑将其值进行聚合或分组。例如，可以将 user_id 替换为 user_group，将用户分组为 admin、user 等。

2. 使用合理的标签组合​

标签组合的数量直接影响时间序列的数量。过多的标签组合会导致时间序列数量爆炸。

优化建议：

  • 只使用必要的标签。例如，如果 method 和 status 已经足够区分 HTTP 请求，就不需要再添加 endpoint 标签。
  • 避免在标签中包含冗余信息。例如，如果 method 已经包含 GET 或 POST，就不需要再添加 http_method 标签。

3. 使用标签值规范化​

标签值的规范化可以减少标签值的多样性，从而减少时间序列的数量。

优化建议：

  • 将标签值转换为小写或大写，以避免大小写不同导致的重复时间序列。
  • 使用枚举值代替自由文本。例如，将 status 标签的值限制为 200、404、500 等，而不是允许任意字符串。

4. 使用记录规则聚合数据​

记录规则（Recording Rules）可以预先计算和存储聚合数据，从而减少查询时的计算量。

优化建议：

  • 使用记录规则将高基数标签的数据聚合为低基数标签的数据。例如，可以将 http_requests_total 按 method 和 status 聚合为 http_requests_total_by_method_status。
yaml
groups:
- name: http_requests
  rules:
  - record: http_requests_total_by_method_status
    expr: sum(http_requests_total) by (method, status)

5. 使用 Prometheus 的标签重写功能​

Prometheus 提供了标签重写功能，可以在抓取数据时动态修改标签。

优化建议：

  • 使用 relabel_configs 在抓取数据时删除不必要的标签或重写标签值。
yaml
scrape_configs:
  - job_name: 'example'
    static_configs:
      - targets: ['localhost:9090']
    relabel_configs:
      - source_labels: [__meta_kubernetes_pod_name]
        target_label: pod_name
        action: replace

实际案例​

假设我们有一个监控系统，记录了每个用户的登录次数。原始指标如下：

yaml
user_logins_total{user_id="12345", region="us-east-1"}

由于 user_id 是高基数标签，我们可以将其优化为：

yaml
user_logins_total{user_group="premium", region="us-east-1"}

通过将 user_id 替换为 user_group，我们大大减少了时间序列的数量，从而提高了查询性能和减少了存储开销。

总结​

优化标签的使用是 Prometheus 性能调优的重要环节。通过避免高基数标签、使用合理的标签组合、规范化标签值、使用记录规则和标签重写功能，我们可以显著提高 Prometheus 的性能和存储效率。

附加资源​

练习​

  1. 检查你的 Prometheus 指标，找出是否存在高基数标签，并尝试优化它们。
  2. 创建一个记录规则，将某个高基数指标聚合为低基数指标。
  3. 使用 relabel_configs 重写一个标签，并观察其对时间序列数量的影响。