MK
摩柯社区 - 一个极简的技术知识社区
AI 面试

Redis serverCron函数的功能拓展

2021-07-297.8k 阅读

Redis serverCron 函数概述

Redis 是一个开源的内存数据结构存储系统，常被用作数据库、缓存和消息中间件。在 Redis 的内部机制中，serverCron 函数扮演着至关重要的角色。它是 Redis 服务器的“心跳”，定期执行一系列维护和管理任务，以确保 Redis 服务器的稳定运行和高效性能。

serverCron 函数的执行频率可以通过配置文件中的 hz 参数来调整，默认情况下 hz 的值为 10，这意味着 serverCron 每秒执行 10 次。该函数主要负责以下几类任务：

  1. 内存管理：检查和调整内存使用情况，包括释放不再使用的内存空间，确保 Redis 的内存占用始终处于合理范围。例如，当 Redis 使用的内存接近配置的最大内存限制时，serverCron 会触发内存淘汰策略，移除一些不常用的键值对，以腾出空间。
  2. 过期键处理：定期扫描数据库，删除已经过期的键值对。Redis 采用惰性删除和定期删除相结合的方式处理过期键。惰性删除是在客户端访问键时检查键是否过期，如果过期则删除；而定期删除就是由 serverCron 函数完成的，它按照一定的频率随机检查一部分数据库中的键，删除过期的键，从而避免大量过期键占用内存。
  3. 统计信息更新：更新服务器的各种统计信息，如每秒处理的命令数、客户端连接数、内存使用量等。这些统计信息对于监控 Redis 服务器的运行状态和性能分析非常重要，例如系统管理员可以通过这些统计信息来判断服务器是否负载过高，是否需要进行扩容等操作。
  4. 持久化操作：如果开启了持久化功能（如 RDB 或 AOF），serverCron 会触发相应的持久化操作。对于 RDB 持久化，它会按照配置的时间间隔，将内存中的数据以快照的形式保存到磁盘上；对于 AOF 持久化，它会将写命令追加到 AOF 文件中，确保数据的可恢复性。

原始 serverCron 函数的实现剖析

在 Redis 的源代码中（以 Redis 6.2 版本为例），serverCron 函数位于 server.c 文件中。下面是简化后的 serverCron 函数的核心代码结构：

void serverCron(struct aeEventLoop *eventLoop, long long id, void *clientData) {
    // 处理一些全局状态的更新
    updateCachedTime();

    // 处理客户端相关的操作
    clientsCron();

    // 处理数据库相关的操作，包括过期键删除
    databasesCron();

    // 处理持久化相关的操作
    if (server.rdb_child_pid == -1 && server.aof_child_pid == -1) {
        if (server.rdb_last_save_time &&
            (server.unixtime - server.rdb_last_save_time) > server.rdb_save_period)
        {
            rdbSaveBackground(server.rdb_filename);
        }
        if (server.aof_state != AOF_OFF &&
            (server.aof_last_fsync_time == 0 ||
             (server.unixtime - server.aof_last_fsync_time) > server.aof_fsync_period))
        {
            aof_fsync(AOF_FSYNC_ALWAYS);
        }
    }

    // 处理集群相关的操作（如果是集群模式）
    if (server.cluster_enabled) {
        clusterCron();
    }

    // 更新统计信息
    updateServerStats();
}

从上述代码可以看出，serverCron 函数依次调用了多个子函数来完成不同类型的任务。例如，updateCachedTime 函数用于更新服务器的缓存时间，这个时间用于各种操作的时间戳计算，如过期键的判断。clientsCron 函数处理与客户端连接相关的任务，例如检查是否有客户端连接超时需要关闭等。databasesCron 函数则负责扫描数据库，删除过期键。

在持久化方面，如果当前没有正在进行的 RDB 或 AOF 子进程（即 server.rdb_child_pid 和 server.aof_child_pid 都为 -1），并且满足一定的时间条件，就会触发相应的持久化操作。对于 RDB 持久化，当距离上次保存时间超过配置的 rdb_save_period 时，会调用 rdbSaveBackground 函数进行后台 RDB 保存；对于 AOF 持久化，当距离上次同步时间超过配置的 aof_fsync_period 时，会调用 aof_fsync 函数进行 AOF 文件同步。

功能拓展方向分析

虽然 Redis 原生的 serverCron 函数已经涵盖了许多重要的服务器维护任务，但在实际应用场景中，仍有一些可以拓展的方向，以满足更复杂的业务需求和系统管理要求。以下是几个常见的功能拓展方向：

自定义监控指标

  1. 业务指标监控：除了 Redis 自身提供的通用统计信息，许多应用场景下需要监控与业务相关的指标。例如，在一个电商系统中使用 Redis 作为商品库存缓存，可能需要统计某个商品的缓存命中次数、库存更新频率等。通过拓展 serverCron 函数，可以在每次执行时收集这些业务相关的数据，并提供给外部监控系统（如 Prometheus + Grafana）进行展示和分析。
  2. 资源利用率监控：进一步深入监控 Redis 服务器所依赖的系统资源，如 CPU 核利用率、磁盘 I/O 带宽、网络流量等。这些信息对于全面了解 Redis 服务器的运行环境和性能瓶颈非常有帮助。例如，当发现磁盘 I/O 带宽过高时，可能意味着持久化操作过于频繁，需要调整持久化策略。

复杂的过期键处理策略

  1. 分层过期处理：在一些大数据量的 Redis 应用中，简单的随机扫描过期键可能无法满足性能要求。可以拓展 serverCron 函数实现分层过期处理策略，例如将键按照访问频率或重要性进行分层，对不同层的键采用不同的过期扫描频率和处理方式。对于访问频率高且重要的键，可以降低过期扫描频率，以减少对正常业务的影响；而对于低频且不重要的键，可以提高扫描频率，尽快释放内存。
  2. 过期键回调：提供一种机制，当键过期时执行自定义的回调函数。这在一些业务场景中非常有用，比如当某个商品的库存缓存键过期时，自动触发重新加载库存的操作，而不需要客户端在下次访问时才发现库存已过期并手动重新加载。

动态配置调整

  1. 自适应内存管理：根据当前系统的负载情况和内存使用趋势，动态调整 Redis 的内存淘汰策略和最大内存限制。例如，当系统整体内存利用率较低时，适当增加 Redis 的最大内存限制，以提高缓存命中率；当系统负载过高且 Redis 内存占用过大时，自动切换到更激进的内存淘汰策略，确保系统的稳定性。
  2. 持久化策略动态调整：根据业务的读写模式和数据重要性，动态调整 RDB 和 AOF 的持久化策略。例如，在业务高峰期，减少 RDB 持久化的频率，以降低磁盘 I/O 对性能的影响；而在业务低谷期，增加 RDB 持久化频率，确保数据的安全性。

功能拓展实现示例

下面以添加自定义监控指标和复杂过期键处理策略中的过期键回调这两个功能拓展为例，展示具体的实现过程。

添加自定义监控指标

  1. 定义监控数据结构：首先，在 Redis 的服务器结构体 redisServer 中添加自定义监控指标的字段。在 server.h 文件中，找到 struct redisServer 结构体定义，添加如下字段：
struct redisServer {
    // 其他原有字段...
    long long custom_hit_count; // 自定义的缓存命中次数
    long long custom_update_count; // 自定义的库存更新次数
};
  1. 在 serverCron 中更新指标：在 serverCron 函数中，根据业务逻辑更新这些自定义指标。假设在某个业务函数中，每当缓存命中和库存更新时会调用特定的函数通知 serverCron。在 serverCron 函数所在的 server.c 文件中，添加如下更新代码：
void serverCron(struct aeEventLoop *eventLoop, long long id, void *clientData) {
    // 原有的 serverCron 函数代码...

    // 更新自定义监控指标
    server.custom_hit_count += get_custom_hit_count();
    server.custom_update_count += get_custom_update_count();
}

这里 get_custom_hit_count 和 get_custom_update_count 是自定义的函数，用于获取当前时间段内的缓存命中次数和库存更新次数。具体实现需要根据业务逻辑在相应的操作函数中记录和统计这些数据。

  1. 暴露监控指标：为了让外部监控系统能够获取这些自定义指标，可以通过 Redis 的 INFO 命令进行扩展。在 server.c 文件中的 infoCommand 函数中，添加如下代码：
void infoCommand(client *c) {
    // 原有的 infoCommand 函数代码...

    addInfoField(c, "custom_hit_count", server.custom_hit_count);
    addInfoField(c, "custom_update_count", server.custom_update_count);
}

这样，当执行 INFO 命令时，就会返回自定义的监控指标数据，外部监控系统可以通过解析 INFO 命令的输出获取这些数据。

实现过期键回调

  1. 定义回调函数类型：在 server.h 文件中定义一个函数指针类型，用于表示过期键回调函数：
typedef void (*expire_callback)(robj *key);

这里 robj 是 Redis 中对象的通用数据结构，key 就是过期的键。

  1. 为键设置回调函数：在 Redis 中，当设置键值对时，可以为键关联一个过期回调函数。需要修改 setKey 函数（位于 db.c 文件中），添加如下代码：
void setKey(redisDb *db, robj *key, robj *val) {
    // 原有的 setKey 函数代码...

    // 假设通过一个新的命令参数来设置回调函数，这里简单示例为如果键名包含 "callback" 则设置回调
    if (strstr(key->ptr, "callback")) {
        dictSetVal(db->dict, key, val);
        expireCallbackTable[key] = my_expire_callback;
    }
}

这里 expireCallbackTable 是一个新定义的字典，用于存储键和对应的回调函数。my_expire_callback 是一个自定义的回调函数示例：

void my_expire_callback(robj *key) {
    // 这里可以执行自定义的操作，例如重新加载数据
    printf("Key %s expired, reloading data...\n", (char *)key->ptr);
}
  1. 在 serverCron 中触发回调：在 databasesCron 函数（位于 server.c 文件中）中，当删除过期键时，检查是否有对应的回调函数并执行。修改 databasesCron 函数如下：
void databasesCron(void) {
    // 原有的 databasesCron 函数代码...

    // 遍历所有数据库
    for (j = 0; j < server.dbnum; j++) {
        redisDb *db = server.db + j;
        dictIterator *di = dictGetSafeIterator(db->dict);
        dictEntry *de;

        while((de = dictNext(di)) != NULL) {
            robj *key = dictGetKey(de);
            if (keyIsExpired(db,key)) {
                expire_callback cb = expireCallbackTable[key];
                if (cb) {
                    cb(key);
                }
                // 原有的删除过期键代码...
                propagateExpire(db,key,server.lazyfree_lazy_expire);
                notifyKeyspaceEvent(NOTIFY_EXPIRED,
                                    "expired",key,db->id);
                if (server.lazyfree_lazy_expire) {
                    dbAsyncDelete(db,key);
                } else {
                    dictDelete(db->dict,key);
                }
            }
        }
        dictReleaseIterator(di);
    }
}

通过上述步骤，就实现了为过期键设置自定义回调函数的功能，当键过期时会自动触发相应的回调操作。

拓展功能的注意事项

在对 serverCron 函数进行功能拓展时，需要注意以下几个方面：

性能影响

由于 serverCron 函数是定期执行的，拓展的功能应该尽量轻量级，避免在函数中执行耗时过长的操作。例如，在添加自定义监控指标时，数据的收集和统计应该尽可能高效，避免在 serverCron 函数中进行复杂的数据库查询或大量的计算。对于复杂过期键处理策略中的分层过期处理，扫描算法应该经过优化，以平衡过期键清理效果和对正常业务的性能影响。

兼容性

拓展功能时要确保与 Redis 的现有功能和版本兼容性。修改 Redis 的源代码可能会影响后续版本的升级和维护。在进行代码修改前，应该仔细研究 Redis 的代码结构和设计理念，尽量采用可插拔式的方式添加新功能，以便在 Redis 版本更新时能够更容易地进行合并和适配。例如，在添加自定义监控指标时，通过扩展 INFO 命令的方式是一种相对兼容的做法，不会对 Redis 的核心功能造成太大影响。

错误处理

在实现拓展功能的过程中，要充分考虑各种可能的错误情况并进行合理的处理。例如，在实现过期键回调时，回调函数可能会执行失败，此时应该有相应的错误日志记录和恢复机制，避免因为回调函数的错误导致 Redis 服务器出现异常。同样，在动态配置调整功能中，当调整内存淘汰策略或持久化策略时，可能会因为配置参数不合法等原因导致操作失败，需要对这些错误情况进行妥善处理，确保服务器的稳定性。

应用场景举例

电商库存缓存场景

  1. 自定义监控指标应用：在电商系统中，使用 Redis 作为商品库存缓存。通过拓展 serverCron 函数添加自定义监控指标，如某个热门商品的缓存命中次数和库存更新次数。系统管理员可以根据这些指标分析商品的热门程度和库存管理效率。例如，如果某个商品的缓存命中次数很高，但库存更新次数也频繁，可能意味着该商品的库存管理策略需要优化，以减少不必要的更新操作。
  2. 过期键回调应用：当商品库存缓存键过期时，通过过期键回调机制自动触发重新加载库存的操作。这样可以确保在客户端下次访问商品库存时，能够获取到最新的库存信息，而不需要客户端额外处理缓存过期的情况。这不仅提高了系统的可用性，还简化了客户端的代码逻辑。

分布式系统会话管理场景

  1. 自定义监控指标应用：在分布式系统中，Redis 常用于存储用户会话信息。通过拓展 serverCron 函数监控会话创建频率、会话过期频率等指标。这些指标可以帮助运维人员了解系统的用户活跃度和会话管理情况。例如，如果会话过期频率突然升高，可能意味着系统存在会话管理漏洞或异常情况，需要及时排查。
  2. 复杂过期键处理策略应用：对于会话信息，可以采用分层过期处理策略。将活跃用户的会话键放在一个层，设置较低的过期扫描频率，因为这些会话键的访问频率较高，频繁扫描会影响性能；而对于长时间未活跃用户的会话键放在另一个层，设置较高的过期扫描频率，以便及时释放内存。这样可以在保证系统性能的同时，有效地管理内存资源。

总结拓展功能的价值

通过对 Redis serverCron 函数的功能拓展，可以使 Redis 更好地适应各种复杂的业务场景和系统管理需求。自定义监控指标能够提供更丰富的业务和系统运行数据，帮助运维人员和开发人员深入了解系统性能和运行状态，从而做出更合理的优化决策。复杂的过期键处理策略不仅提高了内存管理的效率，还能满足业务对数据一致性和及时性的要求。动态配置调整功能则增强了 Redis 服务器的自适应能力，使其能够在不同的系统负载和业务需求下保持良好的运行状态。虽然功能拓展需要谨慎操作，注意性能、兼容性和错误处理等问题，但从长远来看，这些拓展功能能够显著提升 Redis 在实际应用中的价值和竞争力。