MK
摩柯社区 - 一个极简的技术知识社区
AI 面试

ElasticSearch自动创建索引机制解析

2023-03-026.7k 阅读

ElasticSearch自动创建索引机制基础概念

索引的概念

在ElasticSearch中，索引是一个存储数据的逻辑容器，它类似于关系型数据库中的数据库概念。一个索引可以包含多个类型（在ElasticSearch 7.0之后，类型的概念逐渐被弱化并最终在8.0版本移除），每个类型可以有多个文档。文档是ElasticSearch中最小的数据单元，类似于关系型数据库中的行记录。例如，我们可以创建一个名为“blog”的索引，用于存储博客文章，每篇博客文章就是一个文档。

自动创建索引的背景

在实际的应用开发中，手动去创建每一个索引是非常繁琐的操作，尤其是在数据量较大且数据动态变化频繁的场景下。例如，一个日志收集系统，每天可能会产生大量不同来源的日志，为每个来源的日志手动创建索引几乎是不现实的。ElasticSearch的自动创建索引机制就很好地解决了这个问题，它允许用户在写入数据时，如果指定的索引不存在，ElasticSearch会自动创建该索引，大大提高了开发效率。

ElasticSearch自动创建索引机制原理

文档路由

当一个文档被写入ElasticSearch时，ElasticSearch需要决定将这个文档存储在哪个分片（shard）上。这就涉及到文档路由的概念。文档路由是通过文档的ID来计算的，默认情况下，ElasticSearch使用公式shard = hash(_routing) % number_of_primary_shards来计算文档应该存储在哪个分片上。其中_routing默认是文档的ID，如果在写入文档时指定了routing参数，那么就使用指定的值。

在自动创建索引的过程中，当索引不存在时，ElasticSearch首先会根据文档路由的规则来确定文档应该存储的分片，然后再去创建索引以及相关的分片和副本。例如，假设我们有一个索引test_index，它有5个主分片。当我们写入一个文档{"_id": "1", "content": "test"}时，ElasticSearch会根据hash("1") % 5来计算出该文档应该存储在哪个主分片上。如果test_index索引不存在，它会先创建这个索引，然后将文档存储到对应的分片上。

动态映射（Dynamic Mapping）

动态映射是ElasticSearch自动创建索引机制中的一个关键部分。当一个新的索引被自动创建时，ElasticSearch需要为文档中的每个字段确定数据类型，这就是动态映射的作用。

ElasticSearch会根据文档中字段的实际值来猜测字段的数据类型。例如，如果一个字段的值是数字，ElasticSearch会将其映射为long或者double类型；如果是字符串，它会根据字符串的内容进一步判断是否为日期类型等。以下是一个简单的动态映射示例：

{
  "my_index": {
    "mappings": {
      "properties": {
        "name": {
          "type": "text"
        },
        "age": {
          "type": "long"
        },
        "birth_date": {
          "type": "date"
        }
      }
    }
  }
}

在这个示例中，当我们第一次向my_index索引写入包含name、age和birth_date字段的文档时，ElasticSearch根据文档中这些字段的值的类型，自动创建了上述的映射。

影响自动创建索引的配置参数

index.mapper.dynamic

这个参数控制着动态映射的行为，它有三个可选值：true、false和strict。

  • true（默认值）：当文档中出现新的字段时，ElasticSearch会自动为该字段添加到映射中。例如，我们有一个索引product，映射中只有name和price字段，当我们写入一个文档{"name": "book", "price": 10, "author": "John"}时，由于index.mapper.dynamic为true，ElasticSearch会自动为author字段添加映射。
  • false：如果设置为false，当文档中出现新的字段时，ElasticSearch不会自动为其添加映射，新字段的数据会被忽略，但文档仍然会被索引。例如，同样是上述product索引，在index.mapper.dynamic为false的情况下，写入包含author字段的文档，author字段的数据不会被索引，文档中只有name和price字段会被正常处理。
  • strict：当设置为strict时，如果文档中出现新的字段，ElasticSearch会抛出异常，文档写入失败。这在需要严格控制数据结构的场景下非常有用，比如金融数据的存储，不允许随意出现新的字段。

index.auto_create_index

这个参数控制着是否允许自动创建索引，它有三个可选值：true、false和一个索引模式的字符串。

  • true（默认值）：允许自动创建索引。只要写入的文档对应的索引不存在，ElasticSearch就会自动创建该索引。
  • false：禁止自动创建索引。如果尝试写入一个不存在的索引，会抛出异常，文档写入失败。例如，我们尝试向一个不存在的索引nonexistent_index写入文档{"message": "test"}，在index.auto_create_index为false的情况下，会收到类似index_not_found_exception的异常。
  • 索引模式字符串：可以通过指定一个索引模式字符串来精细控制哪些索引可以自动创建。例如，设置index.auto_create_index为logs-*，那么只有以logs-开头的索引可以自动创建，像logs-20230101这样的索引在写入时如果不存在会被自动创建，而products这样的索引则不会自动创建。

自动创建索引机制在不同操作中的表现

写入文档时的自动创建

当使用index API写入文档时，如果指定的索引不存在，ElasticSearch会自动创建索引并写入文档。以下是一个使用Python的Elasticsearch库的示例代码：

from elasticsearch import Elasticsearch

es = Elasticsearch()

doc = {
    "title": "Sample Document",
    "content": "This is a sample content"
}

response = es.index(index='new_index', id=1, body=doc)
print(response)

在上述代码中，我们尝试向new_index索引写入一个文档。如果new_index索引不存在，ElasticSearch会自动创建它，然后将文档写入。

批量写入文档时的自动创建

在批量写入（使用bulk API）时，同样支持自动创建索引。以下是一个批量写入的Python示例代码：

from elasticsearch import Elasticsearch, helpers

es = Elasticsearch()

actions = [
    {
        "_index": "bulk_index",
        "_id": 1,
        "title": "Document 1",
        "content": "Content of document 1"
    },
    {
        "_index": "bulk_index",
        "_id": 2,
        "title": "Document 2",
        "content": "Content of document 2"
    }
]

helpers.bulk(es, actions)

在这个示例中，如果bulk_index索引不存在，ElasticSearch会自动创建它，并批量写入这些文档。

查询时的自动创建

虽然ElasticSearch主要是在写入操作时自动创建索引，但在一些特定的查询场景下，也可能涉及到自动创建索引。例如，当使用_search API进行跨索引查询时，如果查询的索引中有不存在的索引，并且index.auto_create_index允许自动创建索引，那么ElasticSearch会自动创建该索引。不过这种情况相对较少，因为通常查询是在已存在的索引上进行的。

自动创建索引机制的潜在问题与解决方法

映射错误

由于动态映射是基于文档字段值来猜测数据类型，可能会出现映射错误的情况。例如，如果一个字段有时存储数字，有时存储字符串，动态映射可能无法正确地确定其类型。假设我们有一个字段amount，有时存储价格数字100，有时存储促销信息字符串"50% off"。ElasticSearch可能会将其映射为text类型，这可能不符合我们的预期，在后续进行数值计算等操作时会出现问题。

解决方法是可以使用显式映射来覆盖动态映射。在创建索引之前，我们可以定义好精确的映射。例如：

{
  "product": {
    "mappings": {
      "properties": {
        "amount": {
          "type": "float"
        }
      }
    }
  }
}

这样就明确指定了amount字段为float类型，避免了动态映射可能带来的错误。

索引爆炸

自动创建索引机制如果使用不当，可能会导致索引爆炸的问题。例如，在一个日志收集系统中，如果每个日志来源都被自动创建为一个索引，随着日志来源的不断增加，索引数量会急剧增长，这会消耗大量的系统资源，影响ElasticSearch的性能。

为了解决这个问题，可以通过设置index.auto_create_index参数来限制自动创建索引的范围。比如设置为logs-*，只允许以logs-开头的索引自动创建，这样可以避免随意创建大量不必要的索引。另外，也可以定期清理不再使用的索引，以保持系统资源的合理使用。

安全风险

自动创建索引机制可能带来一定的安全风险。如果恶意用户能够向ElasticSearch写入数据，并且index.auto_create_index为true，那么恶意用户可能会创建大量恶意索引，占用系统资源，甚至影响正常业务。

为了防范这种风险，首先要确保ElasticSearch的访问权限得到严格控制，只允许授权的用户或服务进行写入操作。可以通过设置用户名密码认证、使用SSL/TLS加密连接等方式来增强安全性。同时，合理设置index.auto_create_index参数，限制自动创建索引的范围，也能降低安全风险。

自动创建索引机制与集群环境

节点间的协调

在ElasticSearch集群环境中，当一个节点接收到创建索引的请求（无论是自动创建还是手动创建）时，该节点会将创建索引的请求转发给主节点（master node）。主节点负责实际的索引创建操作，包括分配分片和副本等。

例如，假设我们有一个包含三个节点的集群，节点A接收到一个写入请求，请求的索引不存在，需要自动创建。节点A会将这个创建索引的请求发送给主节点（假设是节点B），节点B创建索引后，会将相关的元数据信息同步给其他节点（节点A和节点C），这样整个集群就都知道了新创建的索引及其相关配置。

副本与自动创建

当一个索引自动创建时，ElasticSearch会根据索引的配置（number_of_replicas参数）来创建副本。副本的作用是提高数据的可用性和查询性能。例如，我们创建一个索引，number_of_replicas设置为1，那么每个主分片都会有一个对应的副本分片。在自动创建索引时，ElasticSearch会在集群的不同节点上分配这些副本分片，以确保数据的冗余和高可用性。

集群状态更新

每次自动创建索引时，集群状态都会发生更新。集群状态包含了集群中所有索引、节点、分片等信息。当一个新索引被创建后，集群状态会更新，包含新索引的相关信息，如索引名称、分片数量、副本数量以及每个分片所在的节点等。其他节点通过定期获取集群状态更新，来保持与整个集群的同步。例如，节点C在索引创建后，通过获取集群状态更新，得知了新创建的索引及其分片和副本的分布情况，从而能够正确地处理与该索引相关的读写请求。

高级应用场景下的自动创建索引机制

多租户应用

在多租户应用中，每个租户可能需要独立的索引来存储其数据。自动创建索引机制可以很好地满足这个需求。例如，一个SaaS（软件即服务）应用，每个租户都有自己的用户数据、订单数据等。当一个新租户注册时，可以通过自动创建索引机制为该租户创建独立的索引。假设租户ID为tenant_1，我们可以在写入该租户的第一条数据时，自动创建索引tenant_1_data。以下是一个简单的Java代码示例，使用Elasticsearch Java High - Level REST Client来实现：

import org.apache.http.HttpHost;
import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.action.index.IndexResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.common.xcontent.XContentType;

public class TenantIndexCreation {
    public static void main(String[] args) throws Exception {
        RestHighLevelClient client = new RestHighLevelClient(
                RestClient.builder(
                        new HttpHost("localhost", 9200, "http")));

        String tenantId = "tenant_1";
        String indexName = tenantId + "_data";

        IndexRequest request = new IndexRequest(indexName);
        request.id("1");
        request.source("{\"message\":\"Sample data for tenant 1\"}", XContentType.JSON);

        IndexResponse response = client.index(request, RequestOptions.DEFAULT);

        client.close();
    }
}

在这个示例中，当执行代码时，如果tenant_1_data索引不存在，ElasticSearch会自动创建它，并写入数据。

数据归档与分区

在数据归档和分区的场景下，自动创建索引机制也能发挥重要作用。例如，对于一个电商平台的订单数据，我们可能希望按照月份对订单数据进行归档，每个月的数据存储在一个独立的索引中。可以设置一个定时任务，在每个月的第一天，通过自动创建索引机制创建新的索引，然后将当月的订单数据写入该索引。假设当前月份是2023年5月，我们可以创建索引orders_202305。以下是一个使用Kibana的Timelion功能结合ElasticSearch自动创建索引机制的简单示例（假设已配置好Kibana与ElasticSearch的连接）：

.es(index=orders_*)
| esaggs(buckets=date_histogram, field=order_date, interval=month)

在这个Timelion查询中，当新的月份到来，首次查询涉及到新月份对应的索引（如orders_202306）时，如果该索引不存在，ElasticSearch会自动创建它，从而实现数据的按月归档和分区存储。

实时数据分析

在实时数据分析场景中，数据不断涌入，需要快速存储和分析。自动创建索引机制可以确保新的数据类型或数据源能够及时被索引。例如，一个物联网（IoT）设备监控系统，不断有新类型的设备数据上传。当新类型设备的第一条数据到达时，ElasticSearch可以自动创建相应的索引来存储这些数据。假设新设备类型为smart_sensor_3，当接收到该设备的数据时，会自动创建索引smart_sensor_3_data。通过这种方式，实时数据分析系统可以持续处理和分析不断变化的数据源，为业务提供及时的洞察。

与其他技术集成时的自动创建索引机制

与Logstash集成

Logstash是一个用于收集、处理和转发日志数据的工具，它经常与ElasticSearch集成。当Logstash将数据发送到ElasticSearch时，如果目标索引不存在，并且ElasticSearch配置允许自动创建索引，那么索引会被自动创建。以下是一个简单的Logstash配置示例：

input {
    file {
        path => "/var/log/syslog"
        start_position => "beginning"
    }
}
filter {
    # 可以在这里添加数据处理的过滤器
}
output {
    elasticsearch {
        hosts => ["localhost:9200"]
        index => "syslog-%{+YYYY.MM.dd}"
    }
}

在这个配置中，Logstash会从/var/log/syslog文件读取日志数据，并发送到ElasticSearch。索引名称根据日期动态生成，如syslog-2023.06.15。如果这个索引不存在，ElasticSearch会自动创建它。

与Beats集成

Beats是轻量级的数据采集器，如Filebeat用于收集文件数据，Metricbeat用于收集系统指标等。当Beats将数据发送到ElasticSearch时，同样支持自动创建索引。以Filebeat为例，其配置文件如下：

filebeat.inputs:
- type: log
  paths:
    - /var/log/*.log
output.elasticsearch:
  hosts: ["localhost:9200"]
  index: "filebeat-%{[agent.version]}-%{+yyyy.MM.dd}"

在这个配置中，Filebeat会收集/var/log/目录下的所有日志文件，并发送到ElasticSearch。索引名称包含Filebeat的版本和日期，如filebeat - 7.17.0 - 2023.06.16。如果该索引不存在，ElasticSearch会自动创建。

与Kibana集成

Kibana是ElasticSearch的可视化工具，它依赖于ElasticSearch的索引数据进行展示。在Kibana中创建可视化图表或仪表盘时，如果引用的索引不存在，并且ElasticSearch允许自动创建索引，那么在数据首次被查询时，索引会被自动创建。例如，在Kibana的Discover页面，如果我们搜索一个不存在的索引中的数据，ElasticSearch会自动创建该索引，然后Kibana可以正常展示数据。这使得用户在Kibana中可以快速探索和分析数据，而无需手动预先创建索引。

通过以上对ElasticSearch自动创建索引机制的深入解析，包括其原理、配置参数、在不同操作和场景下的表现以及与其他技术的集成等方面，我们可以更好地理解和运用这一机制，在实际的应用开发和数据管理中充分发挥ElasticSearch的优势。无论是处理海量日志数据、构建多租户应用，还是进行实时数据分析，自动创建索引机制都为我们提供了便捷和高效的数据存储与管理方式。同时，我们也要注意其潜在的问题，并采取相应的解决方法，确保系统的稳定运行和数据的准确性。