InfluxDB保留策略创建实战教程

一、InfluxDB保留策略基础概念

InfluxDB是一个开源的时序数据库，专为处理时间序列数据而设计。在InfluxDB中，保留策略（Retention Policy）起着关键作用，它决定了数据在数据库中保存的时长以及数据如何被分区存储。

保留策略定义了数据的留存期限，比如某些监控数据，我们可能只需要保存最近一周的数据，超过一周的数据对当前业务分析没有太大价值，就可以通过保留策略进行设置。同时，保留策略还涉及到数据的副本因子（副本数量），这关系到数据的冗余和可用性。

每个InfluxDB数据库都至少有一个保留策略，默认情况下，InfluxDB会创建一个名为“autogen”的保留策略，其留存期限为永久，副本因子为1。

二、保留策略相关术语

留存期限（Duration） 留存期限指定了数据应该保留多长时间。它以时间单位表示，例如“1d”表示1天，“1w”表示1周，“1y”表示1年等。当数据超过设定的留存期限时，InfluxDB会自动删除这些数据。
副本因子（Replica N Factor） 副本因子决定了数据在集群中的副本数量。在单节点InfluxDB环境中，副本因子通常设置为1。但在集群环境中，较高的副本因子可以提高数据的可用性和容错能力。例如，副本因子为3意味着数据会在三个不同的节点上存储，这样即使其中一个或两个节点出现故障，数据仍然可以被访问。
默认保留策略 每个数据库都有一个默认的保留策略，写入数据库的数据如果没有指定特定的保留策略，就会使用默认保留策略。可以随时更改默认保留策略。

三、创建保留策略的场景

资源优化 在存储资源有限的情况下，通过合理设置保留策略，可以避免存储过多过期无用的数据，释放磁盘空间。例如，对于一些短期的系统性能监控数据，如每分钟采集一次的CPU使用率数据，可能只需要保留最近一个月的数据用于分析近期系统性能趋势，超过一个月的数据对当前分析价值不大，就可以设置一个月的留存期限。
合规性要求 某些行业有特定的数据保留规定，例如金融行业可能需要保留交易记录若干年以满足监管要求。InfluxDB的保留策略可以帮助满足这些合规性需求，确保数据按照规定的时间进行存储和删除。
数据分层存储 对于不同重要性或使用频率的数据，可以创建不同的保留策略。比如，核心业务数据需要长期保存，而一些辅助性的临时数据可以设置较短的留存期限。这样可以实现数据的分层存储，提高存储效率。

四、使用InfluxDB命令行工具创建保留策略

连接到InfluxDB 首先，确保InfluxDB已经安装并启动。打开终端，使用以下命令连接到InfluxDB：

influx

这将打开InfluxDB的命令行界面。

选择数据库 在InfluxDB命令行中，使用以下命令选择要操作的数据库：

use <database_name>

例如，如果数据库名为“monitoring”，则输入：

use monitoring

创建保留策略 使用CREATE RETENTION POLICY语句来创建保留策略。基本语法如下：

CREATE RETENTION POLICY <retention_policy_name> ON <database_name> DURATION <duration> REPLICATION <replica_factor> [DEFAULT]

<retention_policy_name>：保留策略的名称，自定义，需遵循命名规范（只能包含字母、数字、下划线和连字符，且不能以数字开头）。
<database_name>：要应用该保留策略的数据库名称。
<duration>：数据的留存期限。
<replica_factor>：副本因子。
[DEFAULT]：可选参数，如果指定，则该保留策略将成为数据库的默认保留策略。

例如，要在“monitoring”数据库中创建一个名为“one_week_retention”的保留策略，留存期限为一周，副本因子为1，并将其设置为默认保留策略，可以使用以下命令：

CREATE RETENTION POLICY one_week_retention ON monitoring DURATION 1w REPLICATION 1 DEFAULT

五、使用InfluxDB HTTP API创建保留策略

API基本信息 InfluxDB提供了HTTP API来进行各种操作，包括创建保留策略。API的基本URL格式为：http://<influxdb_host>:<port>/query，其中<influxdb_host>是InfluxDB服务器的主机名或IP地址，<port>是InfluxDB的HTTP端口，默认为8086。
使用cURL命令创建保留策略 以下是使用cURL命令通过HTTP API创建保留策略的示例。假设InfluxDB服务器运行在本地（127.0.0.1），端口为8086，数据库名为“test_db”，要创建一个名为“two_day_retention”，留存期限为2天，副本因子为1的保留策略：

curl -G 'http://127.0.0.1:8086/query' --data-urlencode "q=CREATE RETENTION POLICY two_day_retention ON test_db DURATION 2d REPLICATION 1"

如果要将其设置为默认保留策略，命令如下：

curl -G 'http://127.0.0.1:8086/query' --data-urlencode "q=CREATE RETENTION POLICY two_day_retention ON test_db DURATION 2d REPLICATION 1 DEFAULT"

使用编程语言调用API创建保留策略 以Python为例，使用requests库来调用InfluxDB的HTTP API创建保留策略。假设数据库名为“example_db”，要创建一个名为“three_month_retention”，留存期限为3个月，副本因子为1的保留策略：

import requests

url = 'http://127.0.0.1:8086/query'
params = {
    'q': 'CREATE RETENTION POLICY three_month_retention ON example_db DURATION 3mon REPLICATION 1'
}
response = requests.get(url, params=params)
print(response.text)

如果要设置为默认保留策略，只需在q参数的SQL语句中添加DEFAULT关键字：

import requests

url = 'http://127.0.0.1:8086/query'
params = {
    'q': 'CREATE RETENTION POLICY three_month_retention ON example_db DURATION 3mon REPLICATION 1 DEFAULT'
}
response = requests.get(url, params=params)
print(response.text)

六、查看保留策略

使用InfluxDB命令行工具查看 在InfluxDB命令行中，选择要查看保留策略的数据库后，使用SHOW RETENTION POLICIES命令：

use <database_name>
SHOW RETENTION POLICIES

例如，对于“monitoring”数据库：

use monitoring
SHOW RETENTION POLICIES

这将列出“monitoring”数据库中的所有保留策略，包括策略名称、留存期限、副本因子以及是否为默认策略等信息。

使用HTTP API查看 通过HTTP API查看保留策略，使用SHOW RETENTION POLICIES语句作为查询参数。例如，使用cURL命令：

curl -G 'http://127.0.0.1:8086/query' --data-urlencode "q=SHOW RETENTION POLICIES ON <database_name>"

将<database_name>替换为实际的数据库名称，如“test_db”：

curl -G 'http://127.0.0.1:8086/query' --data-urlencode "q=SHOW RETENTION POLICIES ON test_db"

InfluxDB将返回包含保留策略信息的JSON格式数据。

七、修改保留策略

使用InfluxDB命令行工具修改 使用ALTER RETENTION POLICY语句来修改保留策略。语法如下：

ALTER RETENTION POLICY <retention_policy_name> ON <database_name> DURATION <new_duration> REPLICATION <new_replica_factor> [DEFAULT]

例如，要将“monitoring”数据库中“one_week_retention”保留策略的留存期限修改为两周，副本因子修改为2，并设置为默认策略，可以使用以下命令：

ALTER RETENTION POLICY one_week_retention ON monitoring DURATION 2w REPLICATION 2 DEFAULT

使用HTTP API修改 通过HTTP API修改保留策略，同样使用ALTER RETENTION POLICY语句作为查询参数。例如，使用cURL命令：

curl -G 'http://127.0.0.1:8086/query' --data-urlencode "q=ALTER RETENTION POLICY <retention_policy_name> ON <database_name> DURATION <new_duration> REPLICATION <new_replica_factor> [DEFAULT]"

将<retention_policy_name>、<database_name>、<new_duration>和<new_replica_factor>替换为实际的值。

八、删除保留策略

使用InfluxDB命令行工具删除 使用DROP RETENTION POLICY语句删除保留策略。语法如下：

DROP RETENTION POLICY <retention_policy_name> ON <database_name>

例如，要删除“monitoring”数据库中的“one_week_retention”保留策略，可以使用以下命令：

DROP RETENTION POLICY one_week_retention ON monitoring

需要注意的是，不能删除默认保留策略，除非先将其他保留策略设置为默认策略。

使用HTTP API删除 通过HTTP API删除保留策略，使用DROP RETENTION POLICY语句作为查询参数。例如，使用cURL命令：

curl -G 'http://127.0.0.1:8086/query' --data-urlencode "q=DROP RETENTION POLICY <retention_policy_name> ON <database_name>"

将<retention_policy_name>和<database_name>替换为实际的值。

九、保留策略与数据分区

数据分区原理 InfluxDB根据保留策略对数据进行分区存储。每个保留策略都有对应的时间分区，时间分区的大小由InfluxDB的配置决定，默认情况下，每个分区覆盖7天的数据。随着时间的推移，新的数据会被写入新的分区，旧的分区在数据超过保留期限后会被删除。
对查询性能的影响 合理设置保留策略和分区大小对查询性能有重要影响。较小的分区可以加快某些查询的速度，因为InfluxDB只需要在较小的数据范围内进行搜索。例如，对于短期查询（如查看最近一天的监控数据），如果分区设置为一天，查询可以更快地定位到相关数据。但如果分区过小，会导致分区数量过多，增加系统管理开销。

在进行跨分区查询时，InfluxDB需要合并多个分区的数据，这可能会降低查询性能。因此，在设计保留策略和分区时，需要综合考虑数据的使用模式和查询需求。

十、保留策略在集群环境中的应用

副本因子的重要性 在InfluxDB集群环境中，副本因子的设置尤为重要。较高的副本因子可以提高数据的可用性和容错能力。例如，当一个节点出现故障时，其他副本节点可以继续提供数据服务。然而，增加副本因子也会增加存储成本，因为数据会在多个节点上复制。
同步与一致性 InfluxDB集群通过Raft协议来保证副本之间的数据一致性。当写入数据时，数据会首先被写入到领导者节点，然后领导者节点会将数据同步到其他副本节点。在这个过程中，可能会存在一定的延迟，但InfluxDB会尽力确保数据的最终一致性。
保留策略的管理 在集群环境中，保留策略的创建、修改和删除操作与单节点环境类似。但需要注意的是，这些操作会在整个集群中生效，影响所有节点上的数据存储和管理。因此，在进行保留策略的调整时，需要谨慎操作，充分考虑对整个集群的影响。

十一、常见问题及解决方法

无法删除默认保留策略 如前文所述，不能直接删除默认保留策略。解决方法是先将其他保留策略设置为默认策略，然后再删除原默认保留策略。例如：

-- 将“new_policy”设置为默认策略
ALTER RETENTION POLICY new_policy ON <database_name> DEFAULT
-- 删除原默认保留策略“autogen”
DROP RETENTION POLICY autogen ON <database_name>

数据未按预期删除 如果发现数据没有按照保留策略设置的期限删除，可能有以下原因：

配置问题：检查InfluxDB的配置文件，确保data目录设置正确，且storage-engine配置与保留策略设置兼容。
查询问题：确认查询语句是否正确，有时可能因为查询条件不准确，导致误以为数据未被删除。可以使用SHOW SERIES命令查看实际存储的系列，以及SHOW TAG VALUES命令查看标签值，来确认数据状态。

副本因子设置无效 在集群环境中，如果副本因子设置没有生效，可能是节点之间的通信问题或集群配置错误。检查集群节点之间的网络连接，确保所有节点都能正常通信。同时，查看InfluxDB的集群配置文件，确认节点信息和副本因子设置是否正确。

通过以上详细的介绍和实战示例，相信你已经对InfluxDB保留策略的创建、管理及相关应用有了深入的理解。在实际应用中，根据业务需求合理设置保留策略，可以有效管理时间序列数据，提高存储效率和查询性能。