ElasticSearch打开和关闭索引操作
2022-08-191.2k 阅读
ElasticSearch 索引状态概述
在 ElasticSearch 中，索引是存储和组织数据的核心结构。索引的状态对于数据的访问、管理以及性能有着至关重要的影响。索引主要有两种关键状态：打开（Open）和关闭（Close）。
打开状态的特性
当索引处于打开状态时，它可以正常地接受文档的增、删、改、查操作。这意味着用户能够实时地向索引中添加新的数据，更新已有的记录，删除不再需要的文档，并且可以高效地执行各种搜索查询。例如，一个用于存储电商商品信息的索引，在打开状态下，商家可以随时添加新上架的商品，修改商品的价格、库存等信息，同时用户也能够随时搜索到最新的商品列表。打开状态的索引，其底层的各种数据结构和服务组件都处于活跃状态，随时响应来自客户端的请求。ElasticSearch 通过分布式的架构，确保打开状态的索引能够在多个节点上进行数据的存储和检索，以实现高可用性和高性能。
关闭状态的特性
而当索引被关闭后，它就不能接受上述的常规操作了。关闭索引主要是为了在某些场景下减少资源的占用。比如，当一个索引中的数据在特定时间段内不会被使用，例如一些按季度或年度归档的数据索引，关闭它可以释放内存、CPU 等资源，这些资源可以被其他更活跃的索引使用。关闭的索引在物理存储上仍然存在，只是其相关的服务和数据结构不再处于活跃运行状态，类似于被“冻结”。虽然不能直接操作其中的数据，但在需要时，可以随时将其重新打开恢复到可用状态。
关闭 ElasticSearch 索引操作
关闭索引的场景和必要性
- 资源优化场景：在大型的 ElasticSearch 集群中，可能存在大量的索引。有些索引可能只在特定的业务周期内使用，比如某些临时分析任务创建的索引，任务完成后短期内不会再被用到。关闭这些索引可以显著减少 ElasticSearch 节点的内存占用。因为索引在打开状态下，ElasticSearch 需要为其维护各种数据结构，如倒排索引、文档缓存等，这些都占用内存资源。关闭索引后，这些资源可以被释放，从而提高整个集群对于其他活跃索引的服务能力。
- 维护与升级场景：当对 ElasticSearch 集群进行维护操作，如节点硬件升级、软件版本更新等，关闭相关索引可以避免在操作过程中因意外情况导致数据不一致或损坏。例如，在进行节点硬件更换时，如果索引处于打开状态，可能会因为硬件切换过程中的短暂网络中断等问题，导致正在进行的写入操作失败，数据丢失或不完整。关闭索引后，可以确保在维护操作期间，索引数据的完整性和一致性。
使用 ElasticSearch REST API 关闭索引
- 基本语法：关闭索引可以通过 ElasticSearch 的 REST API 来实现。其基本的 HTTP 请求格式为
POST /{index}/_close，其中{index}是要关闭的索引名称。例如，如果要关闭名为product_index的索引，请求如下：
POST /product_index/_close
- 请求示例与解析：上述请求发送后，ElasticSearch 服务器会首先检查该索引是否符合关闭条件。如果索引正在进行一些关键操作，如大规模的文档写入、索引合并等，ElasticSearch 会等待这些操作完成后再尝试关闭索引。如果索引处于健康状态且没有阻止关闭的操作，ElasticSearch 会将该索引的状态从打开切换为关闭，并在响应中返回操作结果。响应示例如下：
{
"acknowledged": true
}
acknowledged 字段为 true 表示关闭索引的操作被成功接收并处理。如果该字段为 false，则表示操作失败，可能需要检查索引状态、集群健康状况等因素来排查问题。
使用 ElasticSearch 客户端关闭索引（以 Java 客户端为例）
- 引入依赖：首先，需要在项目中引入 ElasticSearch Java 客户端的依赖。如果使用 Maven 构建项目，在
pom.xml文件中添加如下依赖：
<dependency>
<groupId>org.elasticsearch.client</groupId>
<artifactId>elasticsearch-rest-high-level-client</artifactId>
<version>7.17.0</version>
</dependency>
- 关闭索引代码示例：以下是使用 Java 高级 REST 客户端关闭索引的代码示例：
import org.apache.http.HttpHost;
import org.elasticsearch.action.admin.indices.close.CloseIndexRequest;
import org.elasticsearch.action.admin.indices.close.CloseIndexResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestHighLevelClient;
import java.io.IOException;
public class CloseIndexExample {
public static void main(String[] args) {
RestHighLevelClient client = new RestHighLevelClient(
RestClient.builder(
new HttpHost("localhost", 9200, "http")));
CloseIndexRequest request = new CloseIndexRequest("product_index");
try {
CloseIndexResponse response = client.indices().close(request, RequestOptions.DEFAULT);
if (response.isAcknowledged()) {
System.out.println("Index closed successfully.");
} else {
System.out.println("Index close operation failed.");
}
} catch (IOException e) {
e.printStackTrace();
} finally {
try {
client.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
}
在上述代码中，首先创建了一个 RestHighLevelClient 连接到本地的 ElasticSearch 实例。然后构建一个 CloseIndexRequest 对象，指定要关闭的索引名称为 product_index。通过 client.indices().close 方法执行关闭索引的操作，并根据返回的 CloseIndexResponse 判断操作是否成功。
关闭索引的注意事项
- 集群健康状况：在关闭索引之前，需要确保集群处于健康状态。如果集群处于不健康状态，如部分节点离线、磁盘空间不足等，关闭索引操作可能会失败。可以通过
GET /_cluster/healthAPI 来检查集群健康状况。如果集群健康状态为red，表示有主分片未分配，此时关闭索引可能会导致数据丢失风险；如果为yellow，表示有副本分片未分配，虽然可以关闭索引，但可能会影响集群的高可用性。 - 索引依赖关系：某些索引可能与其他索引或 ElasticSearch 功能存在依赖关系。例如，可能存在跨索引搜索的配置，或者某些索引是基于其他索引的数据进行聚合分析的。在关闭索引之前，需要确认这些依赖关系，避免因关闭索引导致相关功能无法正常运行。可以通过分析查询语句、索引映射配置以及 ElasticSearch 的监控工具来排查索引之间的依赖关系。
- 数据备份：在关闭索引前，强烈建议对索引数据进行备份。虽然关闭索引本身不会删除数据，但在后续的集群操作、硬件故障等情况下，数据可能存在丢失风险。可以使用 ElasticSearch 的快照与恢复功能来进行数据备份。例如，先创建一个仓库，然后将索引数据快照到该仓库中，这样在需要时可以从快照恢复数据。
打开 ElasticSearch 索引操作
打开索引的场景和必要性
- 数据恢复与重新使用场景：当之前关闭的索引数据需要再次被访问和操作时，就需要打开索引。比如，之前按季度归档关闭的财务数据索引，到了新的季度需要对历史数据进行对比分析，此时就必须打开索引才能执行查询操作。打开索引后，相关的数据结构和服务组件会重新初始化并加载到内存中，使得索引恢复到可读写状态，满足业务对历史数据的访问需求。
- 业务扩展场景：在业务发展过程中，可能会基于之前关闭的索引进行功能扩展。例如，之前关闭的用户行为日志索引，随着业务分析需求的增加，需要对这些历史日志数据进行更深入的挖掘，以发现用户行为模式，从而优化产品功能。这种情况下，打开索引是实现业务扩展的第一步，为后续的数据处理和分析提供数据基础。
使用 ElasticSearch REST API 打开索引
- 基本语法：打开索引同样通过 REST API 完成，其基本的 HTTP 请求格式为
POST /{index}/_open，其中{index}为要打开的索引名称。例如，要打开之前关闭的product_index索引，请求如下：
POST /product_index/_open
- 请求示例与解析：当发送上述请求后，ElasticSearch 服务器会检查该索引的状态以及相关的配置信息。如果索引的物理存储文件完整且符合打开条件，ElasticSearch 会重新初始化索引的各种数据结构，如加载倒排索引、恢复文档缓存等，并将索引状态从关闭切换为打开。响应示例如下：
{
"acknowledged": true
}
acknowledged 字段为 true 表示打开索引的操作成功。若为 false，则需要检查索引的物理存储是否损坏、配置是否正确等因素来排查问题。
使用 ElasticSearch 客户端打开索引（以 Python 客户端为例）
- 安装依赖：使用 Python 操作 ElasticSearch 需要安装
elasticsearch库。可以通过pip install elasticsearch命令进行安装。 - 打开索引代码示例：以下是使用 Python 的
elasticsearch库打开索引的代码示例：
from elasticsearch import Elasticsearch
es = Elasticsearch([{'host': 'localhost', 'port': 9200}])
index_name = 'product_index'
try:
response = es.indices.open(index=index_name)
if response['acknowledged']:
print(f"Index {index_name} opened successfully.")
else:
print(f"Index {index_name} open operation failed.")
except Exception as e:
print(f"An error occurred: {e}")
在上述代码中，首先创建了一个 Elasticsearch 对象连接到本地的 ElasticSearch 实例。然后通过 es.indices.open 方法尝试打开指定名称的索引，并根据返回的响应判断打开操作是否成功。
打开索引的注意事项
- 索引物理文件完整性：在打开索引之前，要确保索引的物理存储文件没有损坏。如果在关闭索引后，存储索引数据的磁盘发生故障、文件被误删除或修改等，可能导致索引无法正常打开。可以通过 ElasticSearch 的集群状态 API（如
GET /_cluster/state）来检查索引的物理状态信息，查看索引分片的存储路径以及文件状态。如果发现索引文件损坏，可能需要从备份中恢复数据。 - 版本兼容性：如果在关闭索引后，ElasticSearch 进行了版本升级，需要注意版本兼容性问题。不同版本的 ElasticSearch 在索引结构、配置等方面可能存在差异。在打开索引前，需要查阅 ElasticSearch 的版本升级文档，了解是否有针对索引格式的更改。如果存在兼容性问题，可能需要进行索引格式转换等操作。例如，某些版本升级后，可能需要重新索引数据以适应新的索引格式。
- 资源预分配：打开索引会重新占用一定的系统资源，包括内存、CPU 等。在打开索引之前，需要评估集群当前的资源状况，确保有足够的资源来支持索引的打开和后续的操作。可以通过 ElasticSearch 的监控工具，如 Kibana 的监控面板，查看当前集群的资源使用情况，如内存使用率、CPU 负载等。如果资源不足，可能需要先进行资源扩展，如增加节点、扩大内存等，以避免打开索引后影响集群的整体性能。
索引打开与关闭的性能影响及优化
关闭索引对性能的影响
- 资源释放：关闭索引最直接的性能影响就是资源的释放。如前文所述，打开状态的索引会占用内存来维护各种数据结构，关闭索引后，这些内存资源会被释放回操作系统，可供其他进程或 ElasticSearch 集群内的其他索引使用。例如，一个占用大量内存的大型日志索引关闭后，集群内其他索引的搜索和写入性能可能会得到提升，因为有更多的内存可用于缓存数据和执行查询操作。同时，关闭索引也会减少 CPU 的负载，因为不再需要为该索引处理各种读写请求、维护索引结构等操作。
- 数据访问限制：然而，关闭索引也带来了数据访问的限制。一旦索引关闭，所有针对该索引的增、删、改、查操作都会失败。这对于依赖该索引数据的业务流程来说是不可接受的，所以在关闭索引之前，需要充分评估业务对数据的实时访问需求。如果业务在某些时间段内确实不需要访问该索引数据，关闭索引可以在不影响业务的前提下优化集群性能。
打开索引对性能的影响
- 资源占用与初始化开销：打开索引时，ElasticSearch 需要重新初始化索引的各种数据结构，这会带来一定的资源开销。首先是内存方面，需要重新加载倒排索引、文档缓存等数据结构到内存中，这可能导致瞬间的内存压力增大。如果集群内存不足，可能会引发频繁的内存交换，严重影响集群性能。其次，CPU 也会因为初始化索引结构、恢复索引状态等操作而负载升高。例如，一个大型索引在打开时，可能会使 CPU 使用率在短时间内飙升到较高水平。
- 恢复时间与业务等待：打开索引的过程需要一定的时间，尤其是对于数据量较大的索引。在索引打开完成之前，业务无法正常访问该索引的数据。这就需要在业务规划中考虑到索引打开的恢复时间，尽量选择在业务低峰期进行索引打开操作，以减少对业务的影响。同时，可以通过优化索引的物理存储结构、提高硬件性能等方式来缩短索引打开的恢复时间。
性能优化策略
- 资源规划与动态调整：在集群规划阶段，需要根据业务需求合理规划索引的数量和规模，以及集群的硬件资源配置。对于一些使用频率较低的索引，可以在业务低谷期关闭以释放资源，而在需要使用时提前规划打开操作，确保有足够的资源支持。同时，可以利用 ElasticSearch 的动态资源分配功能，根据集群的负载情况自动调整资源分配。例如，当某个索引关闭后释放了大量内存，可以将这些内存动态分配给其他活跃索引使用。
- 索引结构优化：优化索引结构可以减少打开和关闭索引的性能开销。例如，合理设计索引的分片数量，避免过多或过少的分片。过多的分片会增加索引管理的复杂性和资源开销，而过少的分片可能会影响索引的扩展性和性能。另外，优化文档的映射结构，避免不必要的字段和复杂的数据类型，也可以提高索引的操作性能。在索引关闭和打开过程中，更简单的索引结构可以更快地完成初始化和释放操作。
- 硬件性能提升：提升硬件性能是优化索引打开和关闭性能的重要手段。使用高性能的磁盘存储设备，如 SSD，可以加快索引数据的读取和写入速度，从而缩短索引打开时的数据加载时间。增加服务器的内存容量，可以减少内存交换，确保索引在打开和运行过程中有足够的内存来维护数据结构。同时，使用多核 CPU 可以提高索引操作的并行处理能力，降低 CPU 负载，加快索引打开和关闭的速度。
索引打开与关闭操作的监控与维护
监控索引状态
- 使用 ElasticSearch API 监控：ElasticSearch 提供了丰富的 API 来监控索引状态。通过
GET /_cat/indices?vAPI，可以获取集群中所有索引的简要信息，包括索引名称、状态（open 或 close）、文档数量、主分片数量等。例如，响应结果如下：
health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
yellow open product_index V0k6J0e9QJ6bZJ00000000 1 1 100 0 10mb 5mb
green close old_log_index 0000000000000000000000 1 1 0 0 0b 0b
从上述结果中，可以清晰地看到 product_index 处于打开状态，而 old_log_index 处于关闭状态。另外，通过 GET /{index}/_settings API 可以获取指定索引的详细配置信息，包括索引的分片设置、存储路径等，这对于了解索引的当前状态和配置非常有帮助。
2. 利用 Kibana 监控：Kibana 作为 ElasticSearch 的可视化工具，提供了直观的界面来监控索引状态。在 Kibana 的“Indices”页面，可以看到集群中所有索引的列表，每个索引的状态以不同颜色标识，打开状态的索引通常显示为绿色，关闭状态的索引显示为灰色。同时，还可以通过图表查看索引的各种指标，如文档数量的变化、存储大小的增长等，方便及时发现索引状态的异常变化。
维护索引打开与关闭操作记录
- 日志记录：ElasticSearch 的日志文件记录了索引打开与关闭操作的详细信息。在
elasticsearch.log文件中，可以找到每次索引打开和关闭操作的时间、操作类型、索引名称以及操作结果等信息。例如：
[2023-10-01T10:00:00,000][INFO ][o.e.c.m.MetaDataIndexTemplateService] [node-1] [product_index] creating index, cause [api], templates [], shards [1]/[1]
[2023-10-02T15:00:00,000][INFO ][o.e.c.m.MetaDataIndexService] [node-1] [product_index] closed index
通过分析这些日志记录，可以了解索引操作的历史情况，排查操作失败的原因，以及跟踪索引的生命周期。 2. 自定义记录：除了 ElasticSearch 自身的日志记录，还可以在业务代码中添加自定义的操作记录。例如，在使用客户端进行索引打开或关闭操作时，记录操作的时间、用户信息、操作原因等额外信息。这样可以从业务层面更好地管理和审计索引操作，尤其是在多人协作的环境中，方便追溯操作来源和目的。
处理索引打开与关闭异常
- 打开异常处理：如果索引打开失败，首先要检查 ElasticSearch 的日志文件，查看具体的错误信息。常见的原因包括索引物理文件损坏、版本兼容性问题、资源不足等。如果是索引文件损坏，可以尝试从备份中恢复数据；对于版本兼容性问题，需要根据 ElasticSearch 的版本升级文档进行相应的调整，如索引格式转换；如果是资源不足，可以通过增加硬件资源或优化集群配置来解决。同时，可以使用 ElasticSearch 的
/_cluster/stateAPI 来查看索引的详细状态信息，帮助定位问题。 - 关闭异常处理：当索引关闭操作失败时，同样需要查看日志文件获取错误详情。可能的原因有索引正在进行关键操作（如写入、合并等）、集群健康状况不佳等。如果是因为索引正在进行操作导致关闭失败，可以等待操作完成后再次尝试关闭；对于集群健康问题，需要先解决集群的故障，如修复节点故障、调整磁盘空间等，然后再进行关闭操作。此外，还可以通过
GET /{index}/_pending_tasksAPI 查看索引当前的任务队列，了解是否有影响关闭操作的任务在执行。