跳到主要内容

Elasticsearch 停用词

在全文搜索引擎中，停用词（Stop Words）是指在索引和搜索过程中被忽略的常见词汇。这些词汇通常是一些高频词，例如“的”、“是”、“在”等，它们对搜索结果的相关性贡献较小，甚至可能干扰搜索结果。Elasticsearch 提供了停用词功能，帮助用户优化搜索和分析。

什么是停用词？​

停用词是指在自然语言处理中被忽略的词汇。这些词汇通常是语言中的功能词，例如介词、连词、代词等。由于它们在文本中出现的频率很高，但对搜索结果的相关性贡献较小，因此在索引和搜索过程中可以忽略它们。

例如，在英文中，常见的停用词包括“the”、“is”、“in”等。在中文中，常见的停用词包括“的”、“是”、“在”等。

为什么使用停用词？​

使用停用词的主要目的是提高搜索效率和搜索结果的相关性。通过忽略这些高频词汇，可以减少索引的大小，加快搜索速度，并且减少不相关的结果。

备注

停用词的使用需要根据具体的应用场景来决定。在某些情况下，停用词可能会影响搜索结果的准确性，因此需要谨慎使用。

如何在Elasticsearch中配置停用词？​

在Elasticsearch中，可以通过配置分析器（Analyzer）来使用停用词。Elasticsearch 提供了多种内置的停用词列表，也支持自定义停用词列表。

使用内置停用词列表​

Elasticsearch 提供了多种语言的停用词列表。例如，可以使用 _english_ 停用词列表来忽略英文中的常见停用词。

json
PUT /my_index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "type": "custom",
          "tokenizer": "standard",
          "filter": ["lowercase", "english_stop"]
        }
      },
      "filter": {
        "english_stop": {
          "type": "stop",
          "stopwords": "_english_"
        }
      }
    }
  }
}

在上面的示例中，我们创建了一个自定义分析器 my_analyzer，它使用了 standard 分词器和 lowercase 过滤器，并且应用了 english_stop 停用词过滤器。

自定义停用词列表​

除了使用内置的停用词列表，还可以自定义停用词列表。例如，可以指定一个包含自定义停用词的数组。

json
PUT /my_index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "type": "custom",
          "tokenizer": "standard",
          "filter": ["lowercase", "custom_stop"]
        }
      },
      "filter": {
        "custom_stop": {
          "type": "stop",
          "stopwords": ["and", "the", "in"]
        }
      }
    }
  }
}

在这个示例中，我们定义了一个自定义停用词过滤器 custom_stop，它忽略了“and”、“the”和“in”这三个词。

实际应用场景​

假设我们有一个包含大量英文文章的索引，我们希望在这些文章中进行高效的全文搜索。通过使用停用词，我们可以忽略一些常见的词汇，从而提高搜索效率。

例如，当我们搜索“the quick brown fox”时，Elasticsearch 会忽略“the”这个词，只对“quick”、“brown”和“fox”进行搜索。这样可以减少不必要的计算，并且提高搜索结果的相关性。

总结​

停用词是全文搜索引擎中一个重要的概念，它可以帮助我们优化索引和搜索过程。通过忽略一些高频但无关紧要的词汇，我们可以减少索引的大小，加快搜索速度，并且提高搜索结果的相关性。

在Elasticsearch中，可以通过配置分析器来使用停用词。Elasticsearch 提供了多种内置的停用词列表，也支持自定义停用词列表。根据具体的应用场景，可以选择合适的停用词配置。

附加资源与练习​

  • 练习：尝试在Elasticsearch中创建一个自定义分析器，并使用自定义停用词列表进行索引和搜索。
  • 进一步阅读：Elasticsearch 官方文档中关于 停用词过滤器 的部分。

通过学习和实践，你将更好地理解停用词的作用，并能够在实际项目中灵活运用它们。