MK
摩柯社区 - 一个极简的技术知识社区
AI 面试

Memcached与Redis的对比与选择

2023-05-044.9k 阅读

1. 基础概念

1.1 Memcached 简介

Memcached 是一个高性能的分布式内存对象缓存系统，最初是为了加速 LiveJournal 访问速度而开发。它主要用于减轻数据库负载，通过在内存中缓存数据库查询结果等数据，使得后续相同请求可以直接从缓存中获取数据，而无需再次访问数据库，极大提高了系统的响应速度。

Memcached 工作模式较为简单，它采用 Key - Value 存储结构。客户端将数据以键值对的形式发送给 Memcached 服务器，服务器将这些数据存储在内存中。当客户端需要获取数据时，通过发送键值来请求，Memcached 服务器根据键值查找并返回相应的数据。如果数据不存在，则返回空值。

1.2 Redis 简介

Redis 是一个开源的、基于内存的数据结构存储系统，它可以用作数据库、缓存和消息中间件。Redis 支持多种数据结构，如字符串（String）、哈希（Hash）、列表（List）、集合（Set）和有序集合（Sorted Set）等。这使得 Redis 在处理不同类型的数据和业务逻辑时更加灵活。

Redis 同样以 Key - Value 形式存储数据，但与 Memcached 不同的是，其 Value 可以是复杂的数据结构。例如，一个 Hash 类型的 Value 可以存储多个字段和对应的值，类似数据库中的一条记录。这种特性使得 Redis 在处理一些需要更复杂数据结构的场景时具有很大优势。

2. 数据结构

2.1 Memcached 的数据结构

Memcached 仅支持简单的 Key - Value 数据结构。其中，Key 是唯一标识数据的字符串，Value 则可以是任何类型的数据，如字符串、数字、对象序列化后的二进制数据等。Memcached 对 Key 和 Value 的长度有一定限制，通常 Key 的最大长度为 250 字节左右，Value 的最大长度一般为 1MB。

例如，在使用 Memcached 缓存用户信息时，假设用户 ID 作为 Key，用户信息（如姓名、年龄等序列化后的字符串）作为 Value。代码示例如下（以 Python 和 pymemcache 库为例）：

import pymemcache.client.base

# 连接 Memcached 服务器
client = pymemcache.client.base.Client(('localhost', 11211))

# 设置键值对
client.set('user:1', '{"name": "John", "age": 30}')

# 获取数据
data = client.get('user:1')
print(data)

2.2 Redis 的数据结构

  • 字符串（String）：这是 Redis 最基本的数据结构，与 Memcached 的 Key - Value 类似，但 Redis 的字符串更灵活，它不仅可以存储普通字符串，还可以进行一些原子操作，如自增、自减。例如，可以将字符串存储为计数器的值，通过 INCR 命令实现原子性的增加操作。
import redis

r = redis.Redis(host='localhost', port=6379, db = 0)
r.set('counter', 10)
r.incr('counter')
print(r.get('counter'))
  • 哈希（Hash）：适合存储对象，一个 Hash 可以包含多个字段和对应的值。例如，存储用户详细信息，每个字段可以是用户的不同属性，如姓名、地址、电话等。
r.hset('user:1', 'name', 'John')
r.hset('user:1', 'age', 30)
print(r.hgetall('user:1'))
  • 列表（List）：Redis 的列表是一个有序的字符串链表，可以从两端进行插入和删除操作。常用于实现消息队列，新消息从列表的一端插入，消费者从另一端取出。
r.rpush('message_queue', 'Hello')
r.rpush('message_queue', 'World')
print(r.lrange('message_queue', 0, -1))
  • 集合（Set）：无序且唯一的字符串集合。适用于需要去重的场景，如统计网站的独立访客。
r.sadd('visitors', 'user1')
r.sadd('visitors', 'user2')
r.sadd('visitors', 'user1')  # 重复添加不会生效
print(r.smembers('visitors'))
  • 有序集合（Sorted Set）：在集合的基础上，每个成员都关联一个分数（score），根据分数进行排序。常用于排行榜相关的应用，如游戏玩家的积分排行榜。
r.zadd('rankings', {'player1': 100, 'player2': 200})
print(r.zrange('rankings', 0, -1, withscores = True))

3. 性能对比

3.1 内存管理

  • Memcached 的内存管理：Memcached 采用 slab 分配机制。它将内存划分为不同大小的 slab 类，每个 slab 类包含多个 chunk。当存储数据时，根据数据大小选择合适的 slab 类，并从该 slab 类的空闲 chunk 中分配空间。这种机制虽然简单，但存在内存浪费问题，因为 chunk 大小是固定的，数据可能无法完全填满 chunk，导致部分空间浪费。

例如，如果一个 slab 类的 chunk 大小为 128 字节，而存储的数据只有 50 字节，那么就会浪费 78 字节的空间。

  • Redis 的内存管理：Redis 采用了更加灵活的内存分配策略，其底层使用了 jemalloc 内存分配器。jemalloc 可以根据数据大小动态分配内存，减少内存碎片的产生。同时，Redis 支持对内存使用的精细控制，如设置最大内存限制，当内存使用达到限制时，可以根据配置的策略进行数据淘汰。

例如，可以通过配置 maxmemory 参数设置 Redis 实例的最大内存使用量，并通过 maxmemory - policy 参数设置内存满时的淘汰策略，如 volatile - lru（在设置了过期时间的键中，使用最近最少使用策略淘汰键）、allkeys - lru（在所有键中使用最近最少使用策略淘汰键）等。

3.2 读写性能

  • Memcached 的读写性能：Memcached 的读写性能非常高，因为它的设计目标就是简单快速的缓存。在单线程模型下，它能够快速地处理大量的并发请求。由于数据结构简单，查询操作直接通过 Key 进行哈希查找，时间复杂度为 O(1)。在高并发读场景下，Memcached 表现出色，能够快速响应请求，减轻后端数据库压力。

例如，在一个高并发的新闻网站中，将新闻内容缓存到 Memcached 中，大量用户同时请求相同新闻时，Memcached 可以迅速返回缓存的内容。

  • Redis 的读写性能：Redis 虽然也是基于内存的存储系统，但由于其支持复杂的数据结构和丰富的操作，在处理简单的 Key - Value 读写时，性能略低于 Memcached。不过，在处理特定数据结构和操作时，Redis 展现出独特的优势。例如，在进行批量操作（如 mset、mget）时，Redis 可以通过减少网络开销来提高性能。而且，Redis 的多线程 I/O 模型在一定程度上提高了并发处理能力，尤其在处理大量小数据的读写时表现良好。

例如，在一个社交应用中，使用 Redis 的 Hash 结构存储用户的各种属性，通过一次 hgetall 操作获取用户的所有属性，减少了多次单独查询的开销。

4. 持久化机制

4.1 Memcached 的持久化

Memcached 本身不支持持久化，数据存储在内存中，一旦服务器重启或出现故障，所有缓存数据将丢失。这是因为 Memcached 设计初衷就是作为纯粹的缓存，数据的持久化存储由后端数据库负责。

4.2 Redis 的持久化

  • RDB（Redis Database）：RDB 是 Redis 默认的持久化方式，它将某个时间点的内存数据以快照的形式保存到磁盘。RDB 持久化可以通过配置文件设置触发条件，如在指定时间内发生了指定次数的写操作。生成的 RDB 文件是一个紧凑的二进制文件，恢复数据时速度较快，适合用于数据备份和灾难恢复场景。

例如，在配置文件中设置 save 900 1 表示在 900 秒内如果有至少 1 次写操作，就触发 RDB 持久化。

  • AOF（Append - Only - File）：AOF 持久化方式是将 Redis 执行的写命令以日志的形式追加到文件末尾。这种方式可以保证数据的完整性和一致性，因为它记录了每一个写操作。AOF 文件可以通过重写机制进行压缩，避免文件过大。在 Redis 重启时，会重新执行 AOF 文件中的命令来恢复数据。

例如，可以通过配置 appendonly yes 开启 AOF 持久化，通过 auto - aof - rewrite - min - size 和 auto - aof - rewrite - percentage 参数设置 AOF 文件重写的条件。

5. 集群模式

5.1 Memcached 的集群模式

Memcached 的集群模式主要是通过客户端实现分布式。客户端通过一致性哈希算法将 Key 映射到不同的 Memcached 服务器节点上。当客户端进行读写操作时，根据 Key 计算哈希值，确定数据所在的服务器节点。这种方式实现简单，但存在一些缺点，如节点的添加和删除会导致大量数据的重新分布，影响系统性能。

例如，在一个由多个 Memcached 服务器组成的集群中，客户端使用一致性哈希算法将用户数据分布到不同节点上。当新增一个节点时，客户端需要重新计算哈希值，可能导致部分数据需要迁移到新节点。

5.2 Redis 的集群模式

  • 主从复制：Redis 的主从复制是一种简单的集群方式，主节点负责处理写操作，并将写命令同步到从节点。从节点负责读操作，通过这种方式可以提高系统的读性能和数据的冗余备份。主从复制可以通过配置 slaveof 命令来设置从节点。

例如，在从节点的配置文件中添加 slaveof <master_ip> <master_port> 即可将该节点设置为指定主节点的从节点。

  • 哨兵模式：在主从复制的基础上，哨兵模式增加了自动故障检测和故障转移功能。多个哨兵节点会定期监控主节点和从节点的状态，当主节点出现故障时，哨兵会自动选举一个从节点晋升为主节点，并通知其他从节点和客户端进行更新。

例如，通过配置哨兵节点的配置文件，设置 sentinel monitor <master_name> <master_ip> <master_port> <quorum> 来监控主节点，其中 <quorum> 表示判断主节点失效的最少投票数。

  • Redis Cluster：Redis Cluster 是 Redis 官方提供的分布式解决方案，它采用去中心化的思想，每个节点都可以处理读写请求。节点之间通过 Gossip 协议进行通信，自动发现和维护集群状态。Redis Cluster 使用哈希槽（hash slot）来分配数据，将整个 Key 空间划分为 16384 个哈希槽，每个节点负责一部分哈希槽。当数据写入时，根据 Key 计算哈希值，确定该 Key 所在的哈希槽，进而找到对应的节点。这种方式在节点的添加和删除时，数据迁移更加平滑，对系统性能影响较小。

例如，在搭建 Redis Cluster 时，需要至少 3 个主节点和 3 个从节点，通过 redis - trib.rb 工具来创建和管理集群。

6. 应用场景

6.1 Memcached 的应用场景

  • 页面缓存：在 Web 应用中，将渲染后的页面缓存到 Memcached 中。当用户请求相同页面时，直接从缓存中返回页面内容，大大提高页面加载速度，减轻后端服务器和数据库的压力。例如，新闻网站的文章详情页，大部分内容在一段时间内不会变化，可以缓存整个页面。
import pymemcache.client.base

client = pymemcache.client.base.Client(('localhost', 11211))

# 假设渲染后的页面内容
page_content = "<html>...</html>"
client.set('article:1', page_content)

# 获取页面内容
cached_page = client.get('article:1')
print(cached_page)
  • 数据库查询结果缓存：对于一些频繁查询且结果不经常变化的数据库查询，将查询结果缓存到 Memcached 中。如电商网站的商品分类列表，在商品分类不频繁变动的情况下，缓存查询结果可以减少数据库的查询次数。

6.2 Redis 的应用场景

  • 会话缓存：在 Web 应用中，使用 Redis 存储用户会话信息。由于 Redis 支持丰富的数据结构，可以方便地存储和管理用户的登录状态、购物车等信息。例如，使用 Hash 结构存储用户会话，每个字段对应不同的会话属性。
import redis

r = redis.Redis(host='localhost', port=6379, db = 0)

# 存储用户会话信息
r.hset('session:1', 'user_id', 123)
r.hset('session:1', 'login_time', '2023 - 10 - 01 12:00:00')

# 获取用户会话信息
session_info = r.hgetall('session:1')
print(session_info)
  • 实时统计：利用 Redis 的原子操作和数据结构，进行实时统计。如网站的在线人数统计，可以使用 Set 结构存储在线用户 ID，通过 sadd 和 scard 命令实现用户上线和统计在线人数功能。
r.sadd('online_users', 'user1')
r.sadd('online_users', 'user2')
print(r.scard('online_users'))
  • 消息队列：使用 Redis 的 List 结构实现简单的消息队列。生产者将消息从列表的一端插入，消费者从另一端取出并处理。例如，在一个订单处理系统中，订单消息可以通过 Redis 列表进行传递。
# 生产者
r.rpush('order_queue', 'order1')

# 消费者
message = r.lpop('order_queue')
print(message)

7. 安全性

7.1 Memcached 的安全性

Memcached 本身的安全性相对较低。它没有内置的身份验证机制，默认情况下，任何可以访问 Memcached 服务器端口的客户端都可以进行读写操作。这就要求在部署 Memcached 时，必须通过网络层面的安全措施，如防火墙来限制访问。同时，由于 Memcached 数据存储在内存中，可能存在数据泄露风险，如果服务器被攻击，内存中的数据可能被窃取。

7.2 Redis 的安全性

Redis 提供了多种安全机制。从 Redis 2.6 版本开始，支持密码验证，通过配置 requirepass 参数设置密码，客户端连接时需要提供正确的密码才能进行操作。此外，Redis 可以通过配置绑定地址（bind 参数），限制只能从指定的 IP 地址访问，进一步增强安全性。同时，对于数据的保护，Redis 的持久化文件也可以通过设置合适的文件权限来防止非法访问。

例如，在 Redis 配置文件中设置 requirepass mypassword，客户端连接时：

import redis

r = redis.Redis(host='localhost', port=6379, db = 0, password='mypassword')

8. 编程语言支持

8.1 Memcached 的编程语言支持

Memcached 对多种编程语言都有良好的支持，包括 Python、Java、C++、PHP 等。以 Python 为例，常用的库有 pymemcache，它提供了简单易用的接口来操作 Memcached。如前面代码示例中展示的，通过 pymemcache.client.base.Client 类可以方便地进行设置和获取数据操作。

在 Java 中，可以使用 spymemcached 库，示例代码如下：

import net.spy.memcached.MemcachedClient;
import java.net.InetSocketAddress;

public class MemcachedExample {
    public static void main(String[] args) throws Exception {
        MemcachedClient client = new MemcachedClient(new InetSocketAddress("localhost", 11211));
        client.set("key", 0, "value");
        Object result = client.get("key");
        System.out.println(result);
        client.shutdown();
    }
}

8.2 Redis 的编程语言支持

Redis 同样广泛支持多种编程语言，如 Python 中的 redis - py 库、Java 中的 Jedis 库、C++ 中的 hiredis 库等。以 Python 的 redis - py 库为例，它提供了丰富的方法来操作 Redis 的各种数据结构。如前面代码示例中，通过 redis.Redis 类的实例可以方便地进行字符串、哈希、列表等数据结构的操作。

在 Java 中，使用 Jedis 库示例如下：

import redis.clients.jedis.Jedis;

public class RedisExample {
    public static void main(String[] args) {
        Jedis jedis = new Jedis("localhost", 6379);
        jedis.set("key", "value");
        String result = jedis.get("key");
        System.out.println(result);
        jedis.close();
    }
}

9. 成本考量

9.1 Memcached 的成本

Memcached 是开源软件，本身没有授权费用。在部署方面，由于其设计简单，对服务器资源要求相对较低，在内存使用合理的情况下，可以在较低配置的服务器上运行。但如果需要构建大规模集群，由于其客户端分布式方式可能导致数据迁移等性能问题，可能需要投入更多的运维成本来优化和管理。

9.2 Redis 的成本

Redis 同样是开源免费的。在部署成本上，由于其功能丰富，对内存等资源需求相对较高。特别是在启用持久化功能后，可能需要更多的磁盘空间来存储持久化文件。在集群部署方面，虽然 Redis Cluster 等模式在数据迁移等方面表现较好，但搭建和管理集群相对复杂，可能需要专业的运维人员，增加了人力成本。不过，从整体应用角度来看，Redis 的强大功能可以满足更多复杂业务需求，在一些场景下能够节省开发成本，提高业务效率。

10. 总结对比与选择建议

综上所述，Memcached 和 Redis 在多个方面存在差异。Memcached 数据结构简单，读写性能极高，适合作为纯粹的缓存，在高并发读场景下表现出色，如页面缓存和简单的数据库查询结果缓存。而 Redis 凭借丰富的数据结构、持久化机制、集群模式等优势，适用于更复杂的业务场景，如会话缓存、实时统计、消息队列等。

在选择时，需要根据具体的业务需求来决定。如果业务主要是简单的缓存需求，对数据结构要求不高，追求极致的读写性能，且不需要数据持久化，那么 Memcached 是一个不错的选择。但如果业务需要处理复杂的数据结构，对数据持久化有要求，或需要实现一些高级功能如消息队列、实时统计等，Redis 则更为合适。同时，还需要综合考虑成本、安全性等因素，确保选择的缓存方案能够满足业务的长期发展需求。