MK
摩柯社区 - 一个极简的技术知识社区
AI 面试

ElasticSearch索引信息的管理与维护

2022-05-192.1k 阅读

ElasticSearch索引信息的管理与维护

索引的创建

在ElasticSearch中，创建索引是开始使用其强大功能的第一步。我们可以使用ElasticSearch的REST API来创建索引。以下是通过curl命令创建一个简单索引的示例：

curl -X PUT "localhost:9200/my_index?pretty" -H 'Content-Type: application/json' -d'
{
    "settings": {
        "number_of_shards": 3,
        "number_of_replicas": 2
    }
}'

在上述示例中，我们使用PUT请求到localhost:9200/my_index端点来创建名为my_index的索引。pretty参数用于使返回的JSON结果更易读。在请求体中，我们定义了索引的设置，number_of_shards指定了索引的主分片数量为3，number_of_replicas指定了每个主分片的副本数量为2。

ElasticSearch在创建索引时，会根据这些设置来分配数据存储和提供高可用性。主分片负责实际的数据存储和读写操作，而副本分片则用于在主分片出现故障时提供数据冗余和读取负载均衡。

如果我们使用的是ElasticSearch的Java客户端，创建索引的代码如下：

import org.elasticsearch.action.admin.indices.create.CreateIndexRequest;
import org.elasticsearch.action.admin.indices.create.CreateIndexResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.common.xcontent.XContentType;
import java.io.IOException;

public class CreateIndexExample {
    private final RestHighLevelClient client;

    public CreateIndexExample(RestHighLevelClient client) {
        this.client = client;
    }

    public void createIndex() throws IOException {
        CreateIndexRequest request = new CreateIndexRequest("my_index");
        request.settings(Settings.builder()
               .put("number_of_shards", 3)
               .put("number_of_replicas", 2));
        CreateIndexResponse createIndexResponse = client.indices().create(request, RequestOptions.DEFAULT);
        if (createIndexResponse.isAcknowledged()) {
            System.out.println("Index created successfully");
        } else {
            System.out.println("Index creation failed");
        }
    }
}

在这段Java代码中，我们首先创建了一个CreateIndexRequest对象，并设置了索引名称为my_index，同时配置了分片和副本数量。然后通过RestHighLevelClient的indices().create方法来执行索引创建操作，并根据返回的CreateIndexResponse判断索引是否创建成功。

索引的删除

当一个索引不再需要时，我们可以将其删除以释放资源。同样通过REST API，使用DELETE请求来删除索引，示例如下：

curl -X DELETE "localhost:9200/my_index?pretty"

上述命令会删除名为my_index的索引。在删除索引时需要谨慎操作，因为一旦索引被删除，其中所有的数据都将永久丢失。

在Java客户端中删除索引的代码如下：

import org.elasticsearch.action.admin.indices.delete.DeleteIndexRequest;
import org.elasticsearch.action.support.master.AcknowledgedResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestHighLevelClient;
import java.io.IOException;

public class DeleteIndexExample {
    private final RestHighLevelClient client;

    public DeleteIndexExample(RestHighLevelClient client) {
        this.client = client;
    }

    public void deleteIndex() throws IOException {
        DeleteIndexRequest request = new DeleteIndexRequest("my_index");
        AcknowledgedResponse response = client.indices().delete(request, RequestOptions.DEFAULT);
        if (response.isAcknowledged()) {
            System.out.println("Index deleted successfully");
        } else {
            System.out.println("Index deletion failed");
        }
    }
}

在这段Java代码中，我们创建了DeleteIndexRequest对象并指定要删除的索引名称，通过RestHighLevelClient的indices().delete方法执行删除操作，并根据AcknowledgedResponse判断删除是否成功。

索引设置的修改

有时候我们需要修改已创建索引的设置，比如调整分片数量或者副本数量。但需要注意的是，并非所有的设置都可以在索引创建后修改。例如，主分片数量在索引创建后通常不能直接修改，除非使用特殊的索引重建方法。

修改副本数量的REST API示例如下：

curl -X PUT "localhost:9200/my_index/_settings?pretty" -H 'Content-Type: application/json' -d'
{
    "settings": {
        "number_of_replicas": 3
    }
}'

上述命令将my_index索引的副本数量从原来的设置修改为3。

在Java客户端中修改索引设置的代码如下：

import org.elasticsearch.action.admin.indices.settings.put.UpdateSettingsRequest;
import org.elasticsearch.action.support.master.AcknowledgedResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.common.settings.Settings;
import java.io.IOException;

public class UpdateIndexSettingsExample {
    private final RestHighLevelClient client;

    public UpdateIndexSettingsExample(RestHighLevelClient client) {
        this.client = client;
    }

    public void updateSettings() throws IOException {
        UpdateSettingsRequest request = new UpdateSettingsRequest("my_index");
        request.settings(Settings.builder()
               .put("number_of_replicas", 3));
        AcknowledgedResponse response = client.indices().updateSettings(request, RequestOptions.DEFAULT);
        if (response.isAcknowledged()) {
            System.out.println("Index settings updated successfully");
        } else {
            System.out.println("Index settings update failed");
        }
    }
}

在这段Java代码中，我们创建UpdateSettingsRequest对象，指定要修改设置的索引名称，并设置新的副本数量。通过RestHighLevelClient的indices().updateSettings方法来执行设置修改操作，并根据AcknowledgedResponse判断修改是否成功。

索引别名的管理

索引别名是一个指向一个或多个索引的可切换的名字。它提供了一种灵活的方式来管理索引，例如在进行索引重建或滚动索引时，可以通过别名来保持应用程序对索引的透明访问。

创建索引别名的REST API示例如下：

curl -X POST "localhost:9200/_aliases?pretty" -H 'Content-Type: application/json' -d'
{
    "actions": [
        {
            "add": {
                "index": "my_index",
                "alias": "my_alias"
            }
        }
    ]
}'

上述命令为my_index索引创建了一个名为my_alias的别名。

在Java客户端中创建索引别名的代码如下：

import org.elasticsearch.action.aliases.Alias;
import org.elasticsearch.action.aliases.AliasesRequest;
import org.elasticsearch.action.aliases.UpdateAliasesRequest;
import org.elasticsearch.action.support.master.AcknowledgedResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestHighLevelClient;
import java.io.IOException;

public class CreateIndexAliasExample {
    private final RestHighLevelClient client;

    public CreateIndexAliasExample(RestHighLevelClient client) {
        this.client = client;
    }

    public void createAlias() throws IOException {
        Alias alias = new Alias("my_alias");
        AliasesRequest aliasesRequest = new AliasesRequest();
        aliasesRequest.addAliasAction(AliasesRequest.AliasActions.add().index("my_index").alias(alias));
        UpdateAliasesRequest updateAliasesRequest = new UpdateAliasesRequest(aliasesRequest);
        AcknowledgedResponse response = client.indices().updateAliases(updateAliasesRequest, RequestOptions.DEFAULT);
        if (response.isAcknowledged()) {
            System.out.println("Index alias created successfully");
        } else {
            System.out.println("Index alias creation failed");
        }
    }
}

在这段Java代码中，我们首先创建了一个Alias对象指定别名名称，然后构建AliasesRequest并添加添加别名的操作，最后通过RestHighLevelClient的indices().updateAliases方法来创建别名，并根据AcknowledgedResponse判断创建是否成功。

删除索引别名的REST API示例如下：

curl -X POST "localhost:9200/_aliases?pretty" -H 'Content-Type: application/json' -d'
{
    "actions": [
        {
            "remove": {
                "index": "my_index",
                "alias": "my_alias"
            }
        }
    ]
}'

在Java客户端中删除索引别名的代码如下：

import org.elasticsearch.action.aliases.AliasesRequest;
import org.elasticsearch.action.aliases.UpdateAliasesRequest;
import org.elasticsearch.action.support.master.AcknowledgedResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestHighLevelClient;
import java.io.IOException;

public class DeleteIndexAliasExample {
    private final RestHighLevelClient client;

    public DeleteIndexAliasExample(RestHighLevelClient client) {
        this.client = client;
    }

    public void deleteAlias() throws IOException {
        AliasesRequest aliasesRequest = new AliasesRequest();
        aliasesRequest.addAliasAction(AliasesRequest.AliasActions.remove().index("my_index").alias("my_alias"));
        UpdateAliasesRequest updateAliasesRequest = new UpdateAliasesRequest(aliasesRequest);
        AcknowledgedResponse response = client.indices().updateAliases(updateAliasesRequest, RequestOptions.DEFAULT);
        if (response.isAcknowledged()) {
            System.out.println("Index alias deleted successfully");
        } else {
            System.out.println("Index alias deletion failed");
        }
    }
}

索引模板的使用

索引模板允许我们定义一组默认的设置和映射，当创建新索引时，如果新索引的名称匹配模板中的模式，就会应用这些设置和映射。

创建索引模板的REST API示例如下：

curl -X PUT "localhost:9200/_template/my_template?pretty" -H 'Content-Type: application/json' -d'
{
    "index_patterns": ["my_index*"],
    "settings": {
        "number_of_shards": 2,
        "number_of_replicas": 1
    },
    "mappings": {
        "properties": {
            "field1": {
                "type": "text"
            },
            "field2": {
                "type": "integer"
            }
        }
    }
}'

上述命令创建了一个名为my_template的索引模板，该模板会应用到名称以my_index开头的所有新创建的索引上。模板中定义了默认的分片和副本数量，以及索引的映射，指定了field1为文本类型，field2为整数类型。

在Java客户端中创建索引模板的代码如下：

import org.elasticsearch.action.admin.indices.template.put.PutIndexTemplateRequest;
import org.elasticsearch.action.admin.indices.template.put.PutIndexTemplateResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.common.xcontent.XContentType;
import java.io.IOException;

public class CreateIndexTemplateExample {
    private final RestHighLevelClient client;

    public CreateIndexTemplateExample(RestHighLevelClient client) {
        this.client = client;
    }

    public void createIndexTemplate() throws IOException {
        PutIndexTemplateRequest request = new PutIndexTemplateRequest("my_template");
        request.patterns("my_index*");
        request.settings(Settings.builder()
               .put("number_of_shards", 2)
               .put("number_of_replicas", 1));
        String mappings = "{" +
                "\"properties\": {" +
                "\"field1\": {\"type\": \"text\"}," +
                "\"field2\": {\"type\": \"integer\"}" +
                "}}";
        request.mapping(mappings, XContentType.JSON);
        PutIndexTemplateResponse response = client.indices().putTemplate(request, RequestOptions.DEFAULT);
        if (response.isAcknowledged()) {
            System.out.println("Index template created successfully");
        } else {
            System.out.println("Index template creation failed");
        }
    }
}

在这段Java代码中，我们创建了PutIndexTemplateRequest对象，设置模板名称、匹配模式、索引设置和映射。通过RestHighLevelClient的indices().putTemplate方法创建索引模板，并根据PutIndexTemplateResponse判断创建是否成功。

索引的优化与维护

  1. 索引合并 ElasticSearch在写入数据时，会将数据先写入到多个小的段（segment）中。随着时间的推移，这些小的段会影响查询性能，因为查询时需要遍历更多的段。索引合并操作可以将多个小的段合并成大的段，从而提高查询性能。

通过REST API触发索引合并的示例如下：

curl -X POST "localhost:9200/my_index/_forcemerge?pretty"

上述命令会对my_index索引执行强制合并操作。在Java客户端中执行索引合并的代码如下：

import org.elasticsearch.action.indices.forcemerge.ForceMergeRequest;
import org.elasticsearch.action.indices.forcemerge.ForceMergeResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestHighLevelClient;
import java.io.IOException;

public class IndexForceMergeExample {
    private final RestHighLevelClient client;

    public IndexForceMergeExample(RestHighLevelClient client) {
        this.client = client;
    }

    public void forceMergeIndex() throws IOException {
        ForceMergeRequest request = new ForceMergeRequest("my_index");
        ForceMergeResponse response = client.indices().forceMerge(request, RequestOptions.DEFAULT);
        if (response.isAcknowledged()) {
            System.out.println("Index force merge successfully");
        } else {
            System.out.println("Index force merge failed");
        }
    }
}
  1. 索引刷新 索引刷新操作会将内存中的数据写入到磁盘上的段中，使这些数据可以被搜索到。默认情况下，ElasticSearch每隔1秒自动执行一次刷新操作。但在某些情况下，比如需要立即让新写入的数据可搜索，我们可以手动触发刷新。

通过REST API触发索引刷新的示例如下：

curl -X POST "localhost:9200/my_index/_refresh?pretty"

在Java客户端中触发索引刷新的代码如下：

import org.elasticsearch.action.support.master.AcknowledgedResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.index.reindex.RefreshRequest;
import java.io.IOException;

public class IndexRefreshExample {
    private final RestHighLevelClient client;

    public IndexRefreshExample(RestHighLevelClient client) {
        this.client = client;
    }

    public void refreshIndex() throws IOException {
        RefreshRequest request = new RefreshRequest("my_index");
        AcknowledgedResponse response = client.indices().refresh(request, RequestOptions.DEFAULT);
        if (response.isAcknowledged()) {
            System.out.println("Index refreshed successfully");
        } else {
            System.out.println("Index refresh failed");
        }
    }
}
  1. 索引清理 随着数据的不断写入和删除，索引中可能会出现一些已删除但未释放的空间。索引清理操作可以回收这些空间，优化索引的存储效率。虽然ElasticSearch会在后台自动执行一些清理操作，但在某些情况下，手动触发清理可能会更合适。

通过REST API触发索引清理的示例如下：

curl -X POST "localhost:9200/my_index/_optimize?pretty"

需要注意的是，从ElasticSearch 7.0版本开始，_optimize API已被弃用，建议使用_forcemerge API来替代。

索引的监控与健康检查

  1. 索引健康检查 ElasticSearch提供了一个简单的API来检查索引的健康状态。通过这个API，我们可以了解索引的分片和副本的分配情况，以及是否存在潜在的问题。

使用REST API检查索引健康状态的示例如下：

curl -X GET "localhost:9200/_cluster/health/my_index?pretty"

上述命令会返回my_index索引的健康状态信息。健康状态可能的值有green（所有分片和副本都正常）、yellow（所有主分片都正常，但部分副本缺失）和red（部分主分片缺失）。

在Java客户端中检查索引健康状态的代码如下：

import org.elasticsearch.action.admin.cluster.health.ClusterHealthRequest;
import org.elasticsearch.action.admin.cluster.health.ClusterHealthResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestHighLevelClient;
import java.io.IOException;

public class IndexHealthCheckExample {
    private final RestHighLevelClient client;

    public IndexHealthCheckExample(RestHighLevelClient client) {
        this.client = client;
    }

    public void checkIndexHealth() throws IOException {
        ClusterHealthRequest request = new ClusterHealthRequest("my_index");
        ClusterHealthResponse response = client.cluster().health(request, RequestOptions.DEFAULT);
        System.out.println("Index health status: " + response.getStatus());
    }
}
  1. 索引监控指标 ElasticSearch提供了丰富的监控指标，可以帮助我们深入了解索引的性能和运行状况。我们可以通过_stats API获取索引的各种统计信息，例如文档数量、存储大小、索引和搜索的操作次数等。

使用REST API获取索引统计信息的示例如下：

curl -X GET "localhost:9200/my_index/_stats?pretty"

在Java客户端中获取索引统计信息的代码如下：

import org.elasticsearch.action.indices.stats.IndicesStatsRequest;
import org.elasticsearch.action.indices.stats.IndicesStatsResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestHighLevelClient;
import java.io.IOException;

public class IndexStatsExample {
    private final RestHighLevelClient client;

    public IndexStatsExample(RestHighLevelClient client) {
        this.client = client;
    }

    public void getIndexStats() throws IOException {
        IndicesStatsRequest request = new IndicesStatsRequest("my_index");
        IndicesStatsResponse response = client.indices().stats(request, RequestOptions.DEFAULT);
        System.out.println("Document count: " + response.getIndices().get("my_index").getDocs().getCount());
        System.out.println("Index size: " + response.getIndices().get("my_index").getTotal().getStore().getSizeInBytes());
    }
}

通过对索引的监控和健康检查，我们可以及时发现并解决潜在的问题，确保ElasticSearch索引的高效运行和数据的可用性。

在实际应用中，对ElasticSearch索引的管理与维护是一个持续的过程，需要根据业务需求和数据特点不断优化索引设置、监控索引状态，并及时采取相应的维护措施，以保证ElasticSearch能够高效地为业务提供搜索和数据分析支持。