MK
摩柯社区 - 一个极简的技术知识社区
AI 面试

MariaDB多源复制相关命令实践

2024-05-281.9k 阅读

MariaDB 多源复制概述

在数据库管理中，复制是一项关键技术，它允许将数据从一个数据库服务器（主服务器）复制到一个或多个其他服务器（从服务器）。MariaDB 的多源复制功能则在此基础上进一步扩展，允许一个从服务器同时从多个主服务器复制数据。这在许多场景下非常有用，比如在处理多个独立数据源的集成，或者在分布式系统中需要整合不同业务模块的数据时。

多源复制打破了传统一对一或一对多复制的限制，使得从服务器能够从多个不同的主服务器同步数据，极大地增强了数据整合和管理的灵活性。从本质上来说，MariaDB 的多源复制是基于二进制日志（binary log）和中继日志（relay log）机制实现的。主服务器将数据库的更改记录到二进制日志中，从服务器通过读取主服务器的二进制日志，并将其记录到自己的中继日志中，然后重放中继日志来应用这些更改，从而实现数据的同步。

环境准备

安装 MariaDB

在开始多源复制实践之前，我们需要准备多个 MariaDB 实例。这里以在 Linux 系统（CentOS 为例）上安装 MariaDB 为例。

首先，安装 MariaDB 仓库：

yum install -y mariadb-server mariadb

安装完成后，启动 MariaDB 服务：

systemctl start mariadb

并设置开机自启：

systemctl enable mariadb

接着，进行简单的安全设置，通过运行以下命令：

mysql_secure_installation

按照提示设置 root 密码，移除匿名用户，禁止远程 root 登录等。

配置主服务器

假设我们有两个主服务器，分别命名为 master1 和 master2，以及一个从服务器 slave。

对于 master1，编辑其配置文件（通常为 /etc/my.cnf），添加或修改以下配置：

[mysqld]
server-id = 1
log-bin = /var/lib/mysql/mysql-bin
binlog-format = ROW

重启 MariaDB 服务使配置生效：

systemctl restart mariadb

登录到 master1 的 MariaDB 控制台，创建用于复制的用户并授予权限：

CREATE USER'replication_user'@'%' IDENTIFIED BY 'password';
GRANT REPLICATION SLAVE ON *.* TO'replication_user'@'%';
FLUSH PRIVILEGES;

记录主服务器的状态，用于从服务器配置：

SHOW MASTER STATUS;

假设输出如下：

+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 | 154      |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+

这里的 File 和 Position 值在配置从服务器时会用到。

同样的步骤配置 master2，修改 server-id 为 2，其他配置类似。

配置从服务器

编辑从服务器 slave 的配置文件 /etc/my.cnf，添加或修改以下配置：

[mysqld]
server-id = 3
relay-log = /var/lib/mysql/mysql-relay-bin

重启 MariaDB 服务。

多源复制相关命令实践

配置从服务器连接主服务器 1

登录到从服务器的 MariaDB 控制台，使用以下命令配置与 master1 的连接：

CHANGE MASTER TO
    MASTER_HOST='master1_ip',
    MASTER_USER='replication_user',
    MASTER_PASSWORD='password',
    MASTER_LOG_FILE='mysql-bin.000001',
    MASTER_LOG_POS=154,
    FOR CHANNEL'master1_channel';

这里的 master1_ip 是 master1 的实际 IP 地址，master1_channel 是自定义的通道名称，用于标识与 master1 的复制关系。

配置从服务器连接主服务器 2

类似地，配置与 master2 的连接：

CHANGE MASTER TO
    MASTER_HOST='master2_ip',
    MASTER_USER='replication_user',
    MASTER_PASSWORD='password',
    MASTER_LOG_FILE='mysql-bin.000001',
    MASTER_LOG_POS=154,
    FOR CHANNEL'master2_channel';

这里的 master2_ip 是 master2 的实际 IP 地址，master2_channel 是用于标识与 master2 复制关系的通道名称。

启动多源复制

配置好与两个主服务器的连接后，使用以下命令启动多源复制：

START SLAVE FOR CHANNEL'master1_channel';
START SLAVE FOR CHANNEL'master2_channel';

查看复制状态

可以使用以下命令查看每个通道的复制状态：

SHOW SLAVE STATUS FOR CHANNEL'master1_channel'\G;
SHOW SLAVE STATUS FOR CHANNEL'master2_channel'\G;

输出结果中，关键的字段如 Slave_IO_Running 和 Slave_SQL_Running 应该都为 Yes，表示复制的 I/O 线程和 SQL 线程都在正常运行。Seconds_Behind_Master 字段表示从服务器落后主服务器的时间，如果为 0，则表示从服务器与主服务器同步良好。

常见问题及解决方法

  1. 复制延迟：如果 Seconds_Behind_Master 数值较大，可能是从服务器处理速度慢。可以检查从服务器的系统资源（CPU、内存、磁盘 I/O 等），确保其性能足够。另外，主服务器上的大事务也可能导致复制延迟，尽量避免在主服务器上执行长时间运行的事务。
  2. 复制中断：如果 Slave_IO_Running 或 Slave_SQL_Running 为 No，可以查看错误日志（通常在 /var/log/mariadb/mariadb.log），根据错误信息进行排查。常见的原因包括网络问题、权限问题等。如果是网络问题，确保主从服务器之间的网络畅通；如果是权限问题，检查复制用户的权限是否正确设置。

多源复制的拓扑管理

在实际应用中，可能需要对多源复制的拓扑结构进行调整，比如添加或移除主服务器。

添加主服务器

假设要添加一个新的主服务器 master3。首先在 master3 上进行与 master1、master2 类似的配置，包括设置 server-id、开启二进制日志等。然后在从服务器上，使用 CHANGE MASTER TO 命令配置与 master3 的连接，例如：

CHANGE MASTER TO
    MASTER_HOST='master3_ip',
    MASTER_USER='replication_user',
    MASTER_PASSWORD='password',
    MASTER_LOG_FILE='mysql-bin.000001',
    MASTER_LOG_POS=154,
    FOR CHANNEL'master3_channel';

最后，启动与 master3 的复制：

START SLAVE FOR CHANNEL'master3_channel';

移除主服务器

如果要移除 master1，首先停止与 master1 的复制：

STOP SLAVE FOR CHANNEL'master1_channel';

然后可以使用 RESET SLAVE FOR CHANNEL'master1_channel'; 命令重置与 master1 相关的复制设置。如果不再需要与 master1 的任何复制关系，可以进一步删除相关的通道配置信息。

多源复制在实际场景中的应用

数据集成场景

在企业中，不同部门可能使用不同的数据库来管理自己的业务数据。例如，销售部门使用一个数据库记录客户订单信息，财务部门使用另一个数据库记录财务交易数据。通过 MariaDB 的多源复制，可以将这两个数据库的数据同步到一个整合的数据库中，方便进行数据分析和决策支持。

分布式系统数据同步

在分布式系统中，不同的节点可能负责处理不同类型的业务逻辑，每个节点都有自己的数据库。多源复制可以确保各个节点之间的数据一致性，使得整个分布式系统能够协同工作。比如，一个电商系统中，商品管理模块、订单处理模块和用户管理模块可能分布在不同的节点上，通过多源复制可以将各个模块的数据同步到其他需要的节点。

灾难恢复与高可用性

多源复制可以增强数据库的灾难恢复能力和高可用性。如果一个主服务器出现故障，从服务器可以继续从其他正常的主服务器复制数据，减少数据丢失的风险。同时，在进行数据库升级或维护时，可以利用多源复制将数据逐步迁移到新的服务器上，而不影响业务的正常运行。

性能优化

调整复制线程数量

MariaDB 允许调整复制线程的数量，以提高复制性能。可以通过在从服务器的配置文件中设置 slave_parallel_workers 参数来指定并行复制的线程数。例如：

[mysqld]
slave_parallel_workers = 4

这里设置了 4 个并行复制线程，根据服务器的硬件资源和实际负载情况，可以适当调整这个数值。

优化网络配置

由于多源复制依赖网络进行数据传输，优化网络配置可以显著提高复制性能。确保主从服务器之间的网络带宽足够，减少网络延迟和丢包。可以通过调整网络接口参数、使用高速网络设备等方式来优化网络。

合理分配资源

在从服务器上，要合理分配系统资源给复制任务。避免其他高负载的任务与复制任务竞争资源。例如，可以通过设置 CPU 亲和性，将复制线程绑定到特定的 CPU 核心上，以提高复制效率。

安全性考虑

保护复制用户

复制用户的密码应该设置得足够复杂，并且定期更换。同时，限制复制用户的访问来源，只允许从授权的从服务器 IP 地址进行连接。在创建复制用户时，可以使用 CREATE USER'replication_user'@'slave_ip' IDENTIFIED BY 'password'; 这样的语句，将用户绑定到特定的从服务器 IP。

加密传输

为了保证数据在传输过程中的安全性，可以启用 MariaDB 的加密功能，如 SSL/TLS 加密。在主从服务器的配置文件中添加以下配置：

[mysqld]
ssl-ca=/path/to/ca.crt
ssl-cert=/path/to/server.crt
ssl-key=/path/to/server.key

在从服务器连接主服务器时，也需要指定使用 SSL：

CHANGE MASTER TO
    MASTER_HOST='master_ip',
    MASTER_USER='replication_user',
    MASTER_PASSWORD='password',
    MASTER_LOG_FILE='mysql-bin.000001',
    MASTER_LOG_POS=154,
    MASTER_SSL=1,
    MASTER_SSL_CA='/path/to/ca.crt',
    MASTER_SSL_CERT='/path/to/client.crt',
    MASTER_SSL_KEY='/path/to/client.key',
    FOR CHANNEL'master_channel';

这样可以确保主从服务器之间传输的数据是加密的，防止数据被窃取或篡改。

定期审计

定期对多源复制的配置和运行状态进行审计，检查是否存在安全风险。例如，检查复制用户的权限是否有异常变动，是否存在未经授权的主从连接等。可以通过查看数据库日志、使用数据库审计工具等方式进行审计。

通过以上对 MariaDB 多源复制相关命令的实践、实际应用场景、性能优化和安全性考虑的介绍，相信读者对 MariaDB 的多源复制功能有了更深入的理解和掌握。在实际应用中，可以根据具体的业务需求和系统环境，灵活运用多源复制技术，构建高效、可靠、安全的数据管理架构。