跳到主要内容

Elasticsearch Edge N-gram 分词

Elasticsearch 是一个强大的搜索引擎，支持多种分词器来处理文本数据。其中，Edge N-gram 分词器是一种特殊的分词器，常用于实现前缀搜索或自动补全功能。本文将详细介绍 Edge N-gram 分词器的工作原理、配置方法以及实际应用场景。

什么是 Edge N-gram 分词器？​

Edge N-gram 分词器是一种将文本按字符切分的方式，但它只从单词的开头（即边缘，edge）开始生成 N-gram。N-gram 是指将文本按固定长度（N）切分成多个子字符串。例如，对于单词 "elastic"，使用 Edge N-gram 分词器（N=2）会生成以下分词结果：

  • el
  • ela
  • elas
  • elasti
  • elastic
备注

Edge N-gram 分词器与普通的 N-gram 分词器的区别在于，Edge N-gram 只从单词的开头生成分词，而普通的 N-gram 会从单词的任意位置生成分词。

Edge N-gram 分词器的配置​

在 Elasticsearch 中，Edge N-gram 分词器可以通过自定义分析器来配置。以下是一个典型的配置示例：

json
PUT /my_index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_edge_ngram_analyzer": {
          "tokenizer": "my_edge_ngram_tokenizer"
        }
      },
      "tokenizer": {
        "my_edge_ngram_tokenizer": {
          "type": "edge_ngram",
          "min_gram": 2,
          "max_gram": 10,
          "token_chars": [
            "letter",
            "digit"
          ]
        }
      }
    }
  }
}

参数说明​

  • type: 指定分词器类型为 edge_ngram。
  • min_gram: 指定生成的 N-gram 的最小长度。例如，min_gram=2 表示生成的 N-gram 至少包含 2 个字符。
  • max_gram: 指定生成的 N-gram 的最大长度。例如，max_gram=10 表示生成的 N-gram 最多包含 10 个字符。
  • token_chars: 指定哪些字符类型应该被保留。常见的选项包括 letter（字母）、digit（数字）等。

实际应用场景​

Edge N-gram 分词器最常见的应用场景是前缀搜索和自动补全。例如，当用户在搜索框中输入 "ela" 时，系统可以自动补全为 "elasticsearch"。

示例：实现自动补全功能​

假设我们有一个包含产品名称的索引，我们希望用户输入产品名称的前缀时，能够自动补全并返回匹配的结果。

  1. 创建索引并配置 Edge N-gram 分词器：
json
PUT /products
{
  "settings": {
    "analysis": {
      "analyzer": {
        "autocomplete_analyzer": {
          "tokenizer": "autocomplete_tokenizer"
        }
      },
      "tokenizer": {
        "autocomplete_tokenizer": {
          "type": "edge_ngram",
          "min_gram": 2,
          "max_gram": 10,
          "token_chars": [
            "letter"
          ]
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "name": {
        "type": "text",
        "analyzer": "autocomplete_analyzer"
      }
    }
  }
}
  1. 插入一些测试数据：
json
POST /products/_doc/1
{
  "name": "Elasticsearch"
}

POST /products/_doc/2
{
  "name": "Elastic"
}

POST /products/_doc/3
{
  "name": "Elastic Stack"
}
  1. 执行前缀搜索：
json
GET /products/_search
{
  "query": {
    "match": {
      "name": "ela"
    }
  }
}
  1. 返回结果：
json
{
  "hits": {
    "total": {
      "value": 3,
      "relation": "eq"
    },
    "hits": [
      {
        "_source": {
          "name": "Elasticsearch"
        }
      },
      {
        "_source": {
          "name": "Elastic"
        }
      },
      {
        "_source": {
          "name": "Elastic Stack"
        }
      }
    ]
  }
}
提示

在实际应用中，Edge N-gram 分词器可以与其他功能（如高亮显示、排序等）结合使用，以提供更好的搜索体验。

总结​

Edge N-gram 分词器是 Elasticsearch 中实现前缀搜索和自动补全功能的重要工具。通过合理配置 min_gram 和 max_gram 参数，可以灵活控制生成的分词长度，从而满足不同的搜索需求。

附加资源​

通过本文的学习，你应该已经掌握了 Elasticsearch Edge N-gram 分词器的基本概念和配置方法。希望你能在实际项目中灵活运用这一工具，提升搜索体验！