MK
摩柯社区 - 一个极简的技术知识社区
AI 面试

MariaDB选择性复制技术详解

2021-09-241.4k 阅读

MariaDB 选择性复制简介

在数据库管理中，复制是一项关键技术，它允许将数据从一个 MariaDB 服务器（主服务器）复制到一个或多个其他服务器（从服务器）。MariaDB 的选择性复制功能提供了一种更为灵活的方式，能够基于特定的规则过滤数据，只将符合条件的数据从主服务器复制到从服务器。这在许多场景下非常有用，例如：

  • 数据隔离：不同部门或业务线可能只需要特定部分的数据，通过选择性复制可以实现数据的隔离，让每个部门的从服务器只获取自己所需的数据。
  • 数据隐私：某些敏感数据可能不适合在所有环境中复制，选择性复制可以排除这些敏感数据，从而保护数据隐私。
  • 减轻负载：从服务器可能资源有限，不需要完整的数据集，选择性复制可以减少从服务器的数据量，降低其负载。

基于数据库的选择性复制

原理

基于数据库的选择性复制是指在复制过程中，根据数据库名称来决定哪些数据库的数据需要被复制。主服务器在将二进制日志事件发送给从服务器时，从服务器会根据配置决定是否接收特定数据库相关的事件。

配置步骤

  1. 主服务器配置
    • 编辑主服务器的 my.cnf 文件，确保开启二进制日志功能：
[mysqld]
log - bin = /var/lib/mysql/mysql - bin.log
server - id = 1

- 重启 MariaDB 服务使配置生效：

sudo systemctl restart mariadb
  1. 从服务器配置
    • 编辑从服务器的 my.cnf 文件，设置 server - id（必须与主服务器不同），并配置 replicate - do - db 或 replicate - ignore - db 参数。
    • 如果要复制特定数据库（例如 test_db），配置 replicate - do - db：
[mysqld]
server - id = 2
replicate - do - db = test_db

- 如果要忽略特定数据库（例如 `sensitive_db`），配置 `replicate - ignore - db`：

[mysqld]
server - id = 2
replicate - ignore - db = sensitive_db

- 重启 MariaDB 服务：

sudo systemctl restart mariadb
  1. 设置主从关系
    • 在主服务器上，获取二进制日志文件名和位置：
SHOW MASTER STATUS;

- 在从服务器上，使用获取到的信息配置主服务器连接：

CHANGE MASTER TO
    MASTER_HOST = '主服务器IP',
    MASTER_USER = '复制用户',
    MASTER_PASSWORD = '复制用户密码',
    MASTER_LOG_FILE = '主服务器二进制日志文件名',
    MASTER_LOG_POS = 主服务器二进制日志位置;

- 启动从服务器复制：

START SLAVE;

- 检查从服务器状态：

SHOW SLAVE STATUS \G;

确保 Slave_IO_Running 和 Slave_SQL_Running 都为 Yes，且 Seconds_Behind_Master 为 0 或接近 0。

基于表的选择性复制

原理

基于表的选择性复制允许更细粒度的控制，即根据表名来决定是否复制数据。这种方式在主服务器将二进制日志事件发送给从服务器时，从服务器会依据配置对特定表进行过滤。

配置步骤

  1. 主服务器配置：与基于数据库的选择性复制类似，确保主服务器开启二进制日志功能并设置 server - id。
  2. 从服务器配置
    • 编辑 my.cnf 文件，设置 server - id，并使用 replicate - do - table 或 replicate - ignore - table 参数。
    • 如果要复制特定表（例如 test_db.test_table），配置 replicate - do - table：
[mysqld]
server - id = 2
replicate - do - table = test_db.test_table

- 如果要忽略特定表（例如 `test_db.sensitive_table`），配置 `replicate - ignore - table`：

[mysqld]
server - id = 2
replicate - ignore - table = test_db.sensitive_table

- 重启 MariaDB 服务。

3. 设置主从关系：同基于数据库的选择性复制步骤，在主服务器获取二进制日志信息，在从服务器配置主服务器连接并启动复制，最后检查从服务器状态。

基于过滤规则的选择性复制

原理

基于过滤规则的选择性复制更为灵活，它可以根据 SQL 语句中的条件来决定是否复制数据。例如，可以根据表中某一列的值来决定是否复制该行数据。

配置步骤

  1. 主服务器配置：确保主服务器开启二进制日志功能并设置 server - id。
  2. 从服务器配置
    • 编辑 my.cnf 文件，设置 server - id。
    • 配置 replicate - wild - do - table 或 replicate - wild - ignore - table 参数。这些参数支持通配符，例如：
[mysqld]
server - id = 2
replicate - wild - do - table = test_db.%_important

上述配置表示复制 test_db 数据库中所有表名以 _important 结尾的表。 - 也可以使用 replicate - rewrite - db 参数来重写数据库名。例如：

[mysqld]
server - id = 2
replicate - rewrite - db = 'old_db->new_db'

这会将主服务器上 old_db 数据库的事件在从服务器上应用到 new_db 数据库。 - 重启 MariaDB 服务。 3. 设置主从关系：与前面的方法类似，获取主服务器二进制日志信息，配置从服务器连接，启动复制并检查状态。

基于行的过滤复制

原理

基于行的过滤复制在基于过滤规则的基础上，进一步深入到行级别。它可以根据行数据中的具体值来决定是否复制该行。这需要使用 MariaDB 的行复制格式，并且通过编写自定义的过滤函数来实现。

配置步骤

  1. 主服务器配置
    • 确保主服务器开启二进制日志功能并设置 server - id。同时，将复制格式设置为行模式：
[mysqld]
log - bin = /var/lib/mysql/mysql - bin.log
server - id = 1
binlog - format = ROW

- 重启 MariaDB 服务。

2. 从服务器配置 - 编辑 my.cnf 文件，设置 server - id。 - 编写一个自定义的过滤函数。例如，假设我们有一个 employees 表，只有 department 为 'Engineering' 的行才需要复制。我们可以编写如下的过滤函数：

DELIMITER //
CREATE FUNCTION filter_employees() RETURNS boolean
DETERMINISTIC
BEGIN
    DECLARE should_replicate boolean;
    SELECT department = 'Engineering' INTO should_replicate FROM NEW;
    RETURN should_replicate;
END //
DELIMITER ;

- 配置 `replicate - do - table` 并关联过滤函数：

[mysqld]
server - id = 2
replicate - do - table = company.employees
rpl - filter - employees = filter_employees()

- 重启 MariaDB 服务。

3. 设置主从关系：获取主服务器二进制日志信息，配置从服务器连接，启动复制并检查状态。

选择性复制中的常见问题及解决方法

数据不一致问题

  1. 原因：在选择性复制过程中，如果配置错误或者网络问题导致部分数据未能及时复制，可能会出现主从服务器数据不一致的情况。
  2. 解决方法
    • 仔细检查配置文件，确保 replicate - do - db、replicate - do - table 等参数设置正确。
    • 使用 SHOW SLAVE STATUS 命令检查从服务器状态，查看是否有错误信息。如果 Slave_IO_Running 或 Slave_SQL_Running 为 No，根据错误提示进行修复。
    • 可以通过手动同步数据来解决不一致问题。例如，在从服务器上使用 INSERT INTO... SELECT 语句从主服务器获取缺失的数据。

性能问题

  1. 原因：选择性复制可能会增加主从服务器的处理负担，特别是在复杂过滤规则的情况下。此外，如果网络带宽不足，也会影响复制性能。
  2. 解决方法
    • 尽量简化过滤规则，避免使用过于复杂的条件。例如，基于数据库或表的选择性复制通常比基于行的过滤复制性能更好。
    • 确保主从服务器之间有足够的网络带宽。可以通过优化网络配置或增加带宽来提高复制速度。
    • 定期监控主从服务器的性能指标，如 CPU 使用率、内存使用率等，根据监控结果进行调整。

复制延迟问题

  1. 原因：从服务器处理复制事件的速度可能跟不上主服务器生成事件的速度，导致复制延迟。这可能是由于从服务器硬件性能不足、负载过高或者网络延迟等原因引起的。
  2. 解决方法
    • 检查从服务器的硬件资源，如 CPU、内存、磁盘 I/O 等。如果资源不足，可以考虑升级硬件。
    • 优化从服务器上其他运行的应用程序，减少其对资源的占用，以提高复制性能。
    • 检查网络连接，确保主从服务器之间网络稳定，延迟较低。可以通过调整网络设置或更换网络设备来改善网络状况。

选择性复制在实际场景中的应用

多租户场景

在多租户应用中，每个租户的数据通常存储在独立的数据库或表中。通过选择性复制，可以将不同租户的数据复制到不同的从服务器，实现数据隔离和资源优化。例如，对于高优先级租户，可以将其数据复制到性能更好的从服务器，而低优先级租户的数据则复制到普通配置的从服务器。

数据备份与恢复

在数据备份场景中，选择性复制可以只备份关键数据，减少备份数据量和备份时间。例如，对于一个包含大量历史数据的数据库，可以只复制最近一段时间内的数据到备份服务器，提高备份效率。在恢复数据时，也可以根据需要选择性地恢复特定的数据。

数据分发与缓存

在数据分发系统中，选择性复制可以将部分数据分发给不同的节点，以满足不同节点的需求。例如，在一个分布式应用中，某些节点可能只需要部分核心数据，通过选择性复制可以快速将这些数据分发到相应节点，同时减轻主服务器的负载。此外，从服务器还可以作为数据缓存，提供更快的数据访问速度。

总结 MariaDB 选择性复制的优势与挑战

MariaDB 的选择性复制技术为数据库管理带来了极大的灵活性，能够满足不同场景下的数据复制需求。它的优势在于可以实现数据隔离、保护数据隐私、优化资源利用等。然而，选择性复制也面临一些挑战，如配置的复杂性、可能出现的数据不一致和性能问题等。通过深入理解其原理和配置方法，并结合实际场景进行合理的规划和优化，可以充分发挥 MariaDB 选择性复制的优势，提高数据库系统的可靠性和性能。在实际应用中，需要根据具体需求仔细权衡各种选择性复制方式的优缺点，选择最适合的方案。同时，持续监控和优化主从服务器的状态也是确保选择性复制顺利运行的关键。