跳到主要内容

Elasticsearch 字符过滤器

在Elasticsearch中，字符过滤器（Character Filters）是文本分析过程中的第一步。它们的主要作用是在分词之前对原始文本进行预处理。字符过滤器可以用于移除或替换文本中的特定字符、HTML标签、或其他不需要的内容。通过使用字符过滤器，你可以确保输入到分词器的文本是干净且一致的，从而提高搜索和分析的准确性。

字符过滤器的作用​

字符过滤器通常用于以下场景：

  • 移除HTML标签。
  • 替换或删除特定字符（如标点符号）。
  • 将特定字符转换为其他形式（如将“&”转换为“and”）。

Elasticsearch提供了几种内置的字符过滤器，同时也支持自定义字符过滤器。

内置字符过滤器​

Elasticsearch内置了以下几种常见的字符过滤器：

  1. HTML Strip Character Filter：用于移除HTML标签。
  2. Mapping Character Filter：用于将特定字符或字符串映射为其他字符或字符串。
  3. Pattern Replace Character Filter：使用正则表达式替换文本中的字符。

1. HTML Strip Character Filter​

HTML Strip Character Filter用于从文本中移除HTML标签。这在处理从网页抓取的文本时非常有用。

示例：

json
PUT /my_index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_html_analyzer": {
          "tokenizer": "standard",
          "char_filter": ["html_strip"]
        }
      }
    }
  }
}

POST /my_index/_analyze
{
  "analyzer": "my_html_analyzer",
  "text": "<p>Hello <b>world</b>!</p>"
}

输入：

html
<p>Hello <b>world</b>!</p>

输出：

json
{
  "tokens": [
    {
      "token": "Hello",
      "start_offset": 3,
      "end_offset": 8,
      "type": "<ALPHANUM>",
      "position": 0
    },
    {
      "token": "world",
      "start_offset": 11,
      "end_offset": 16,
      "type": "<ALPHANUM>",
      "position": 1
    }
  ]
}
备注

注意：html_strip字符过滤器移除了所有的HTML标签，只保留了纯文本内容。

2. Mapping Character Filter​

Mapping Character Filter允许你将特定的字符或字符串映射为其他字符或字符串。这在处理缩写、特殊符号或拼写错误时非常有用。

示例：

json
PUT /my_index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_mapping_analyzer": {
          "tokenizer": "standard",
          "char_filter": ["my_mappings"]
        }
      },
      "char_filter": {
        "my_mappings": {
          "type": "mapping",
          "mappings": [
            "& => and",
            ":) => happy"
          ]
        }
      }
    }
  }
}

POST /my_index/_analyze
{
  "analyzer": "my_mapping_analyzer",
  "text": "Hello & world :)"
}

输入：

Hello & world :)

输出：

json
{
  "tokens": [
    {
      "token": "Hello",
      "start_offset": 0,
      "end_offset": 5,
      "type": "<ALPHANUM>",
      "position": 0
    },
    {
      "token": "and",
      "start_offset": 6,
      "end_offset": 7,
      "type": "<ALPHANUM>",
      "position": 1
    },
    {
      "token": "world",
      "start_offset": 8,
      "end_offset": 13,
      "type": "<ALPHANUM>",
      "position": 2
    },
    {
      "token": "happy",
      "start_offset": 14,
      "end_offset": 16,
      "type": "<ALPHANUM>",
      "position": 3
    }
  ]
}
提示

提示：你可以通过mappings参数定义多个映射规则，从而灵活处理各种字符替换需求。

3. Pattern Replace Character Filter​

Pattern Replace Character Filter使用正则表达式来替换文本中的字符。这在处理复杂的文本替换需求时非常有用。

示例：

json
PUT /my_index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_pattern_analyzer": {
          "tokenizer": "standard",
          "char_filter": ["my_pattern_replace"]
        }
      },
      "char_filter": {
        "my_pattern_replace": {
          "type": "pattern_replace",
          "pattern": "\\d+",
          "replacement": "NUMBER"
        }
      }
    }
  }
}

POST /my_index/_analyze
{
  "analyzer": "my_pattern_analyzer",
  "text": "There are 123 apples and 456 oranges."
}

输入：

There are 123 apples and 456 oranges.

输出：

json
{
  "tokens": [
    {
      "token": "There",
      "start_offset": 0,
      "end_offset": 5,
      "type": "<ALPHANUM>",
      "position": 0
    },
    {
      "token": "are",
      "start_offset": 6,
      "end_offset": 9,
      "type": "<ALPHANUM>",
      "position": 1
    },
    {
      "token": "NUMBER",
      "start_offset": 10,
      "end_offset": 13,
      "type": "<ALPHANUM>",
      "position": 2
    },
    {
      "token": "apples",
      "start_offset": 14,
      "end_offset": 20,
      "type": "<ALPHANUM>",
      "position": 3
    },
    {
      "token": "and",
      "start_offset": 21,
      "end_offset": 24,
      "type": "<ALPHANUM>",
      "position": 4
    },
    {
      "token": "NUMBER",
      "start_offset": 25,
      "end_offset": 28,
      "type": "<ALPHANUM>",
      "position": 5
    },
    {
      "token": "oranges",
      "start_offset": 29,
      "end_offset": 36,
      "type": "<ALPHANUM>",
      "position": 6
    }
  ]
}
警告

注意：正则表达式的使用需要谨慎，确保模式匹配的范围和替换结果是预期的。

实际应用场景​

场景1：处理HTML内容​

假设你正在构建一个搜索引擎，需要索引从网页抓取的文本内容。这些内容通常包含HTML标签，而你希望移除这些标签以便更好地进行分词和搜索。

解决方案： 使用html_strip字符过滤器来移除HTML标签。

场景2：处理特殊符号​

假设你的文本中包含大量的特殊符号（如“&”或“:)”），你希望将这些符号转换为更有意义的文本。

解决方案： 使用mapping字符过滤器将这些符号映射为相应的文本。

场景3：处理数字​

假设你的文本中包含大量的数字，而你希望将这些数字统一替换为“NUMBER”以便更好地进行文本分析。

解决方案： 使用pattern_replace字符过滤器通过正则表达式替换数字。

总结​

字符过滤器是Elasticsearch文本分析过程中的重要组成部分。它们可以在分词之前对文本进行预处理，从而提升搜索和分析的效果。通过使用内置的字符过滤器（如html_strip、mapping和pattern_replace），你可以灵活地处理各种文本预处理需求。

附加资源​

注意

警告：在使用字符过滤器时，确保它们不会影响文本的语义或导致意外的结果。