MK
摩柯社区 - 一个极简的技术知识社区
AI 面试

MongoDB副本集备份与恢复策略

2021-05-026.7k 阅读

MongoDB 副本集备份与恢复策略

理解 MongoDB 副本集

在深入探讨备份与恢复策略之前，我们先来了解一下 MongoDB 副本集。副本集是一组维护相同数据集的 MongoDB 实例。其中一个成员被选举为主节点（Primary），其余的为从节点（Secondary）。主节点处理所有的写操作，然后将这些操作记录在 oplog（操作日志）中。从节点通过复制主节点的 oplog 来保持数据同步。

副本集的主要优势在于提供数据冗余和高可用性。如果主节点发生故障，副本集中的一个从节点会自动被选举为新的主节点，整个集群仍然可以继续提供服务。

备份策略

1. 基于文件系统的备份

这种备份方式简单直接，通过直接复制 MongoDB 数据目录来实现。它的优点是操作简单，不需要额外的工具。但缺点也很明显，这种备份方式要求 MongoDB 实例停止运行，因为在备份过程中如果数据文件被修改，可能会导致备份数据不完整或损坏。

步骤：

  1. 停止 MongoDB 服务。
  2. 复制数据目录。例如，在 Linux 系统下，如果 MongoDB 数据目录为 /var/lib/mongodb，可以使用以下命令复制：
cp -r /var/lib/mongodb /backup/mongodb_backup
  1. 启动 MongoDB 服务。

2. 使用 mongodump 工具

mongodump 是 MongoDB 自带的工具，用于将数据库数据导出为 BSON（二进制 JSON）格式。它可以在 MongoDB 实例运行时进行备份，不会影响数据库的正常使用。

语法：

mongodump --uri="mongodb://username:password@host:port/database" --out=/backup/directory
  • --uri：指定连接 MongoDB 的 URI，包括用户名、密码、主机、端口和数据库名称。
  • --out：指定备份文件输出的目录。

示例： 假设我们要备份本地运行的 MongoDB 数据库 testdb，用户名为 admin，密码为 password，端口为 27017，备份到 /backup/mongo_backup 目录。

mongodump --uri="mongodb://admin:password@localhost:27017/testdb" --out=/backup/mongo_backup

备份完成后，/backup/mongo_backup 目录下会生成一个与数据库名相同的目录，里面包含各个集合的数据文件和元数据文件。

3. 基于副本集的备份

在副本集中，可以选择从节点进行备份，这样可以减少对主节点性能的影响。因为从节点已经通过复制主节点的 oplog 保持数据同步，所以从节点的数据是最新的（有一定的复制延迟）。

步骤：

  1. 连接到副本集的从节点。
mongo --host secondary_host:port
  1. 在从节点上执行 rs.slaveOk() 命令，允许从节点处理读操作，因为默认情况下从节点不允许读取数据。
rs.slaveOk()
  1. 使用 mongodump 工具进行备份。
mongodump --uri="mongodb://username:password@secondary_host:port/database" --out=/backup/directory

恢复策略

1. 使用 mongorestore 恢复

mongorestore 是与 mongodump 对应的恢复工具，用于将 BSON 格式的备份数据恢复到 MongoDB 数据库中。

语法：

mongorestore --uri="mongodb://username:password@host:port/database" /backup/directory
  • --uri：指定连接 MongoDB 的 URI，包括用户名、密码、主机、端口和数据库名称。
  • /backup/directory：指定备份文件所在的目录。

示例： 假设我们要将 /backup/mongo_backup 目录下的备份数据恢复到本地运行的 MongoDB 数据库 testdb 中，用户名为 admin，密码为 password，端口为 27017。

mongorestore --uri="mongodb://admin:password@localhost:27017/testdb" /backup/mongo_backup

mongorestore 会自动识别备份目录中的文件结构，并将数据恢复到相应的集合和数据库中。

2. 从文件系统备份恢复

如果是基于文件系统的备份，恢复过程相对简单。但同样需要停止 MongoDB 服务。

步骤：

  1. 停止 MongoDB 服务。
  2. 删除当前 MongoDB 数据目录下的所有文件。例如，在 Linux 系统下：
rm -rf /var/lib/mongodb/*
  1. 将备份的数据目录复制回原来的位置。
cp -r /backup/mongodb_backup /var/lib/mongodb
  1. 启动 MongoDB 服务。

备份与恢复的高级策略

1. 增量备份与恢复

增量备份只备份自上次备份以来发生变化的数据。在 MongoDB 中，可以通过 oplog 来实现增量备份的概念。由于 oplog 记录了主节点上所有的写操作，我们可以基于 oplog 来创建增量备份。

步骤：

  1. 初始全量备份：首先进行一次全量备份，例如使用 mongodump 进行全量备份。
  2. 记录 oplog 位置：在全量备份完成后，记录主节点的 oplog 位置。可以通过连接到主节点并执行以下命令获取：
var optail = db.getSiblingDB("local").oplog.rs.find().sort({$natural:-1}).limit(1);
printjson(optail);

记录下 ts 字段的值，这个值代表 oplog 的时间戳。 3. 增量备份：定期获取自上次记录的 oplog 位置以来的 oplog 记录，并保存为备份文件。可以编写一个脚本，使用 MongoDB 的 Node.js 驱动来实现：

const { MongoClient } = require('mongodb');

async function incrementalBackup() {
    const uri = "mongodb://admin:password@primary_host:port";
    const client = new MongoClient(uri);

    try {
        await client.connect();

        const oplogCollection = client.db('local').collection('oplog.rs');
        const lastOplog = { ts: new Date(lastOplogTimestamp) };
        const incrementalOplog = await oplogCollection.find({ ts: { $gt: lastOplog.ts } }).toArray();

        // 保存增量 oplog 记录到文件
        const fs = require('fs');
        fs.writeFileSync('incremental_oplog_backup.json', JSON.stringify(incrementalOplog));

        // 更新 lastOplogTimestamp
        lastOplogTimestamp = incrementalOplog[incrementalOplog.length - 1].ts;
    } catch (e) {
        console.error(e);
    } finally {
        await client.close();
    }
}

// 假设 lastOplogTimestamp 已初始化
incrementalBackup();
  1. 恢复：在恢复时，首先恢复全量备份，然后按照记录的 oplog 顺序应用增量备份的 oplog 记录。可以使用 mongo 命令行工具或编写脚本来应用 oplog 记录。例如，使用 mongo 命令行工具：
mongo --eval "load('incremental_oplog_backup.json')"

2. 多副本集备份与恢复

在大规模生产环境中，可能会有多个副本集。对于多副本集的备份与恢复，需要协调各个副本集的备份操作，确保数据的一致性。

备份：

  1. 对每个副本集分别进行备份，可以选择从节点进行备份以减少对主节点的影响。
  2. 记录每个副本集备份时的 oplog 位置，以便在恢复时能够准确地应用增量备份。

恢复：

  1. 按照备份的顺序，依次恢复每个副本集的全量备份。
  2. 基于记录的 oplog 位置，依次应用每个副本集的增量备份，确保各个副本集之间的数据一致性。

备份与恢复的注意事项

1. 数据一致性

在备份过程中，要确保数据的一致性。对于基于文件系统的备份，停止 MongoDB 服务可以保证数据一致性，但会影响服务可用性。对于在线备份（如 mongodump），虽然不影响服务，但可能会因为数据的并发修改而导致备份数据存在一定的不一致性。在恢复时，要注意数据一致性的验证，特别是在进行增量恢复时。

2. 备份频率与存储

备份频率要根据数据的重要性和变化频率来确定。对于重要且变化频繁的数据，需要更频繁地进行备份。同时，要考虑备份数据的存储问题，确保备份数据的安全性和可访问性。可以将备份数据存储在不同的存储介质或地理位置，以防止数据丢失。

3. 权限与认证

在进行备份与恢复操作时，要确保操作的用户具有足够的权限。对于需要认证的 MongoDB 实例，要正确提供用户名和密码。同时，要注意保护备份文件的安全，防止敏感数据泄露。

通过合理选择备份与恢复策略，并注意上述事项，可以有效地保护 MongoDB 数据，确保数据的可用性和一致性。在实际应用中，要根据具体的业务需求和环境特点，制定适合的备份与恢复方案。