跳到主要内容

Elasticsearch 基数聚合

Elasticsearch的基数聚合（Cardinality Aggregation）是一种用于计算字段中唯一值数量的聚合操作。它类似于SQL中的COUNT(DISTINCT)，可以帮助你快速了解某个字段的唯一值数量。基数聚合在处理大规模数据时非常高效，尤其是在需要统计唯一值的场景中。

什么是基数聚合？​

基数聚合用于计算某个字段中不同值的数量。例如，假设你有一个包含用户访问记录的索引，你想知道有多少个不同的用户访问了你的网站。这时，基数聚合就可以派上用场。

基数聚合的核心思想是通过近似算法（如HyperLogLog++）来计算唯一值的数量。这种算法在牺牲少量精度的情况下，能够显著降低内存和计算资源的消耗，特别适合处理大规模数据集。

基数聚合的基本语法​

基数聚合的语法非常简单。以下是一个基本的示例：

json
{
  "aggs": {
    "unique_users": {
      "cardinality": {
        "field": "user_id"
      }
    }
  }
}

在这个示例中，我们对user_id字段进行基数聚合，计算其唯一值的数量。聚合结果将返回一个名为unique_users的字段，其中包含user_id字段的唯一值数量。

示例输入​

假设我们有以下数据：

json
[
  {"user_id": "1", "action": "login"},
  {"user_id": "2", "action": "view"},
  {"user_id": "1", "action": "purchase"},
  {"user_id": "3", "action": "login"}
]

示例输出​

执行上述基数聚合后，Elasticsearch将返回以下结果：

json
{
  "aggregations": {
    "unique_users": {
      "value": 3
    }
  }
}

在这个例子中，user_id字段有3个唯一值（1、2、3），因此基数聚合的结果为3。

基数聚合的精度控制​

基数聚合默认使用HyperLogLog++算法，该算法在大多数情况下能够提供足够精确的结果。然而，如果你需要更高的精度，可以通过调整precision_threshold参数来控制。

json
{
  "aggs": {
    "unique_users": {
      "cardinality": {
        "field": "user_id",
        "precision_threshold": 1000
      }
    }
  }
}

precision_threshold参数的值越大，基数聚合的精度越高，但同时也会消耗更多的内存。默认值为3000，适用于大多数场景。

提示

如果你不确定如何设置precision_threshold，可以先使用默认值，然后根据实际需求进行调整。

实际应用场景​

场景1：统计网站的唯一访问用户数​

假设你有一个网站访问日志的索引，每条记录包含用户的user_id和访问时间。你想统计一天内有多少个不同的用户访问了你的网站。

json
{
  "query": {
    "range": {
      "timestamp": {
        "gte": "2023-10-01T00:00:00",
        "lte": "2023-10-01T23:59:59"
      }
    }
  },
  "aggs": {
    "unique_users": {
      "cardinality": {
        "field": "user_id"
      }
    }
  }
}

这个查询将返回2023年10月1日当天访问网站的唯一用户数。

场景2：统计商品的唯一购买用户数​

假设你有一个电商平台的订单数据索引，每条记录包含product_id和user_id。你想统计某个商品的唯一购买用户数。

json
{
  "query": {
    "term": {
      "product_id": "12345"
    }
  },
  "aggs": {
    "unique_buyers": {
      "cardinality": {
        "field": "user_id"
      }
    }
  }
}

这个查询将返回购买了product_id为12345的商品的唯一用户数。

总结​

基数聚合是Elasticsearch中一个非常有用的工具，特别适合用于统计字段的唯一值数量。通过使用HyperLogLog++算法，基数聚合能够在处理大规模数据时保持高效和低资源消耗。你可以通过调整precision_threshold参数来控制精度，以满足不同的业务需求。

在实际应用中，基数聚合可以用于统计唯一访问用户数、唯一购买用户数等场景。通过结合查询条件，你可以灵活地获取所需的数据。

附加资源与练习​

  • 练习1：在一个包含用户评论的索引中，使用基数聚合统计有多少个不同的用户发表了评论。
  • 练习2：尝试调整precision_threshold参数，观察基数聚合结果的变化。
备注

如果你对基数聚合的底层算法感兴趣，可以进一步研究HyperLogLog++算法的工作原理。