跳到主要内容

Elasticsearch 分页技术

在Elasticsearch中，分页是一种常见的技术，用于处理大量数据的查询结果。通过分页，我们可以将查询结果分成多个小块，逐步加载数据，从而避免一次性加载过多数据导致的性能问题。本文将详细介绍Elasticsearch中的两种主要分页技术：from/size 和 search_after，并通过实际案例帮助你更好地理解它们的应用场景。

1. 什么是分页？​

分页是一种将大量数据分成多个小块的技术，每次只加载一部分数据。例如，当你在搜索引擎中查找内容时，通常会看到“下一页”或“上一页”的按钮，这就是分页的典型应用。在Elasticsearch中，分页可以帮助我们高效地处理大规模数据集。

2. Elasticsearch中的分页方法​

Elasticsearch提供了两种主要的分页方法：

  1. from/size 分页：通过指定 from 和 size 参数来实现分页。
  2. search_after 分页：通过指定一个排序值来实现分页，适用于深度分页场景。

接下来，我们将详细介绍这两种方法。

2.1 from/size 分页​

from/size 是Elasticsearch中最基本的分页方法。from 参数指定了从第几条记录开始返回结果，size 参数指定了每次返回的记录数量。

示例代码​

json
GET /my_index/_search
{
  "from": 10,
  "size": 5,
  "query": {
    "match_all": {}
  }
}

解释​

  • from: 10：从第10条记录开始返回结果。
  • size: 5：每次返回5条记录。

输出​

json
{
  "took": 5,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 100,
      "relation": "eq"
    },
    "max_score": 1.0,
    "hits": [
      {
        "_index": "my_index",
        "_type": "_doc",
        "_id": "11",
        "_score": 1.0,
        "_source": {
          "field1": "value1",
          "field2": "value2"
        }
      },
      // 其他4条记录
    ]
  }
}
注意

from/size 分页在处理大量数据时可能会导致性能问题，尤其是在深度分页（例如 from 值很大）时。这是因为Elasticsearch需要计算并跳过大量记录。

2.2 search_after 分页​

search_after 是一种更高效的分页方法，特别适用于深度分页场景。它通过指定一个排序值来实现分页，避免了 from/size 分页中的性能问题。

示例代码​

json
GET /my_index/_search
{
  "size": 5,
  "query": {
    "match_all": {}
  },
  "sort": [
    {
      "timestamp": "asc"
    },
    {
      "_id": "asc"
    }
  ],
  "search_after": [1633024800000, "doc_id_100"]
}

解释​

  • sort：指定排序字段。通常使用时间戳或唯一ID作为排序字段。
  • search_after：指定上一页最后一条记录的排序值，用于获取下一页数据。

输出​

json
{
  "took": 3,
  "timed_out": false,
  "_shards": {
    "total": 5,
    "successful": 5,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 100,
      "relation": "eq"
    },
    "max_score": null,
    "hits": [
      {
        "_index": "my_index",
        "_type": "_doc",
        "_id": "101",
        "_score": null,
        "_source": {
          "timestamp": 1633024801000,
          "field1": "value1",
          "field2": "value2"
        },
        "sort": [
          1633024801000,
          "doc_id_101"
        ]
      },
      // 其他4条记录
    ]
  }
}
提示

search_after 分页需要确保排序字段的唯一性，通常需要结合多个字段进行排序（例如时间戳和ID）。

3. 实际应用场景​

3.1 电商网站的商品列表​

假设你正在开发一个电商网站，商品列表需要支持分页加载。你可以使用 from/size 分页来实现简单的分页功能，但当用户浏览到第100页时，from/size 分页可能会导致性能问题。此时，你可以切换到 search_after 分页，以提高性能。

3.2 日志分析系统​

在日志分析系统中，通常需要查询大量的日志数据。使用 search_after 分页可以高效地分页加载日志数据，避免一次性加载过多数据导致的性能问题。

4. 总结​

Elasticsearch提供了两种主要的分页方法：from/size 和 search_after。from/size 分页适用于简单的分页场景，而 search_after 分页则更适合深度分页场景。在实际应用中，你可以根据具体需求选择合适的分页方法。

5. 附加资源与练习​

  • 练习1：尝试在Elasticsearch中使用 from/size 分页查询一个包含1000条记录的索引，观察性能变化。
  • 练习2：使用 search_after 分页实现一个日志分析系统的分页功能，比较其与 from/size 分页的性能差异。
进一步学习