MK
摩柯社区 - 一个极简的技术知识社区
AI 面试

PostgreSQL软件目录结构规划与管理

2024-08-016.9k 阅读

1. PostgreSQL 软件目录结构概述

PostgreSQL 作为一款强大的开源关系型数据库管理系统，其目录结构对于理解和管理数据库至关重要。合理的目录结构规划不仅有助于系统的稳定运行，还方便维护、升级以及数据备份恢复等操作。

1.1 初始安装目录

当我们安装 PostgreSQL 时，会生成一个基础的目录结构。以常见的 Linux 系统安装为例，默认安装路径可能在 /usr/pgsql-<version> 下，其中 <version> 是具体的 PostgreSQL 版本号，如 /usr/pgsql - 13。在这个目录下，包含了可执行文件、共享库、配置文件模板等关键组件。

  • bin 目录：此目录存放着 PostgreSQL 的各种可执行文件。例如，postgres 是数据库服务器的主进程启动程序，通过执行 postgres -D /var/lib/pgsql/<version>/data （假设数据目录在 /var/lib/pgsql/<version>/data），就可以启动数据库服务器。还有 psql，它是用于与 PostgreSQL 数据库进行交互的命令行客户端工具，我们可以通过 psql -U <username> -d <database> 来连接指定用户和数据库。
# 启动 PostgreSQL 服务器
postgres -D /var/lib/pgsql/13/data
# 使用 psql 连接数据库
psql -U myuser -d mydatabase

  • lib 目录：存储 PostgreSQL 运行所依赖的共享库文件。这些库文件包含了各种功能模块，如存储引擎相关库、网络通信库等。当 PostgreSQL 服务器启动或客户端连接时，会加载这些共享库以实现相应的功能。

  • share 目录：该目录存放着一些共享资源，包括 SQL 命令的帮助文档、数据库模板、字符集定义等。例如，数据库模板文件（如 template0 和 template1）位于此目录，新建数据库时若不指定模板，默认会基于 template1 进行创建。

1.2 数据目录

数据目录是 PostgreSQL 存放实际数据的核心位置，默认路径通常是 /var/lib/pgsql/<version>/data。这个目录结构复杂且关键，包含了众多子目录和文件。

  • base 目录：存储用户创建的所有数据库的数据文件。每个数据库在 base 目录下都有一个对应的子目录，子目录名称为数据库的 OID（对象标识符）。例如，若数据库 mydatabase 的 OID 是 16384，则在 base/16384 目录下会存放该数据库的所有表空间、表、索引等数据文件。
-- 创建一个新数据库
CREATE DATABASE mydatabase;
-- 查看数据库 OID
SELECT oid, datname FROM pg_database WHERE datname ='mydatabase';

  • global 目录：存放与整个集群相关的系统目录和文件，如系统表空间 pg_global 的数据文件。这些文件包含了整个 PostgreSQL 集群的元数据信息，如数据库列表、用户列表等。

  • pg_clog 目录：用于记录事务提交日志。PostgreSQL 通过这些日志来实现事务的原子性、一致性和持久性。当一个事务提交或回滚时，相应的记录会写入 pg_clog 目录下的文件中。

  • pg_logical 目录：在逻辑解码相关功能中使用，存储逻辑解码的状态信息和相关文件。逻辑解码允许从 PostgreSQL 数据库中提取逻辑数据更改流，用于数据复制、数据分发等场景。

  • pg_multixact 目录：处理多事务相关的信息，如并发事务间的可见性信息。它对于确保并发事务执行过程中的数据一致性起着重要作用。

  • pg_notify 目录：与数据库通知机制相关，存储有关 LISTEN/NOTIFY 机制的状态信息。通过 LISTEN 命令监听特定事件，当有 NOTIFY 发生时，相关信息会在此目录有所体现。

-- 监听 channel1 通道
LISTEN channel1;
-- 发送通知到 channel1 通道
NOTIFY channel1, 'Hello, PostgreSQL';

  • pg_replslot 目录：如果开启了复制功能，此目录用于存储复制槽相关的信息。复制槽是 PostgreSQL 复制架构中的重要概念，用于确保主从复制过程中的数据一致性和连续性。

  • pg_serial 目录：处理序列化事务相关的信息，对于维护事务执行顺序和数据一致性至关重要，特别是在高并发且涉及复杂事务交互的场景下。

  • pg_snapshots 目录：保存数据库快照信息。数据库快照是某个时间点数据库状态的一个一致视图，常用于备份、恢复以及某些一致性检查操作。

  • pg_stat 目录：存储统计信息相关文件。PostgreSQL 通过这些统计信息来优化查询执行计划，如表的行数、列的不同值数量等信息会在此记录。

  • pg_stat_tmp 目录：临时统计信息目录，用于存储一些临时生成的统计数据，这些数据会定期更新到 pg_stat 目录。

  • pg_subtrans 目录：处理子事务相关的信息，在嵌套事务场景下发挥作用，确保子事务的正确执行和管理。

  • pg_tblspc 目录：管理表空间相关信息。表空间允许用户将数据库对象（如表、索引等）存储在指定的位置，通过在 pg_tblspc 目录下创建符号链接等方式来关联实际的存储位置。

-- 创建一个新的表空间
CREATE TABLESPACE mytblspc LOCATION '/var/lib/pgsql/13/tblspc';
-- 在新表空间创建表
CREATE TABLE mytable (id int) TABLESPACE mytblspc;

  • pg_twophase 目录：与两阶段提交相关，存储两阶段提交过程中的事务状态信息，确保分布式事务的原子性和一致性。

  • pg_xact 目录：存放事务相关的 XLOG（预写式日志）文件，这些文件记录了数据库的所有修改操作，是实现数据库恢复和复制的关键。

  • postgresql.conf：这是 PostgreSQL 最重要的配置文件，用于设置服务器的各种参数，如内存分配、日志级别、连接设置等。例如，通过修改 shared_buffers 参数可以调整服务器用于缓存数据的内存大小。

# 修改 shared_buffers 参数
shared_buffers = '2GB'

  • postmaster.opts：记录启动数据库服务器时使用的命令行选项，当需要回顾服务器启动参数或排查启动相关问题时，此文件很有帮助。

  • pg_hba.conf：用于配置客户端认证方式，决定哪些主机、用户可以连接到 PostgreSQL 数据库以及使用何种认证方式（如密码认证、信任认证等）。

# 允许 192.168.1.0/24 网段的用户使用 md5 密码认证连接
host all all 192.168.1.0/24 md5

2. 目录结构规划原则

2.1 数据与程序分离

将数据目录和程序安装目录分开是一个重要原则。这样做的好处是在程序升级、重新安装或出现问题需要处理程序部分时，不会误操作影响到数据。同时，数据目录可以单独进行备份、迁移等操作，提高了数据的安全性和可管理性。例如，数据目录 /var/lib/pgsql/13/data 可以定期备份到其他存储设备，而 /usr/pgsql - 13 程序目录的更新不会干扰到数据备份流程。

2.2 便于维护和扩展

目录结构应设计得易于维护和扩展。对于数据目录，不同类型的数据（如系统数据、用户数据、日志数据等）应存放在不同的子目录中，这样在进行维护操作（如清理日志、检查特定数据库数据等）时可以快速定位。在扩展方面，当需要增加新功能（如启用新的插件、支持新的存储方式等）时，目录结构应能够方便地容纳新的文件和目录。比如，如果要引入一个新的插件，按照规划好的目录结构，可以在特定的插件目录（假设为 /usr/pgsql - 13/plugins）下安装，并且在配置文件中简单配置即可使用。

2.3 安全性考虑

安全性在目录结构规划中不容忽视。数据目录应设置合适的权限，只有 PostgreSQL 运行用户（通常是 postgres 用户）具有读写权限，避免其他用户误操作或恶意篡改数据。对于程序目录，可执行文件的权限也应严格控制，防止未经授权的执行。例如，通过 chown -R postgres:postgres /var/lib/pgsql/13/data 和 chmod -R 700 /var/lib/pgsql/13/data 来设置数据目录的所有者为 postgres 用户，并只赋予所有者读写执行权限。

3. 自定义目录结构规划

3.1 多实例目录规划

在一些场景下，可能需要在同一台服务器上运行多个 PostgreSQL 实例，每个实例服务于不同的业务或用户。为了实现多实例的良好管理，我们可以为每个实例规划独立的目录结构。

假设我们要创建两个实例，实例 1 版本为 13，实例 2 版本为 14。我们可以在 /var/lib/pgsql 下创建两个独立的目录，如 /var/lib/pgsql/instance1 - 13 和 /var/lib/pgsql/instance2 - 14。每个实例目录下再按照标准的数据目录结构创建 data 子目录，存放各自的数据。同时，在程序安装目录方面，可以在 /usr/pgsql - 13 和 /usr/pgsql - 14 分别存放不同版本的程序文件。

# 创建实例 1 的数据目录
mkdir -p /var/lib/pgsql/instance1 - 13/data
# 初始化实例 1
/usr/pgsql - 13/bin/initdb -D /var/lib/pgsql/instance1 - 13/data
# 创建实例 2 的数据目录
mkdir -p /var/lib/pgsql/instance2 - 14/data
# 初始化实例 2
/usr/pgsql - 14/bin/initdb -D /var/lib/pgsql/instance2 - 14/data

在启动实例时，通过指定不同的数据目录来启动各自的服务器。

# 启动实例 1
/usr/pgsql - 13/bin/postgres -D /var/lib/pgsql/instance1 - 13/data
# 启动实例 2
/usr/pgsql - 14/bin/postgres -D /var/lib/pgsql/instance2 - 14/data

3.2 分布式存储目录规划

对于大规模数据或高可用性要求的场景，可能会采用分布式存储方式。在这种情况下，数据目录需要跨多个存储设备或节点进行规划。

假设我们有三个存储节点，分别为 node1、node2 和 node3。我们可以在每个节点上创建相同结构的数据目录，如 /data/pgsql/data。然后通过 PostgreSQL 的流复制或其他分布式技术，将数据同步到各个节点。在主节点上，数据正常写入本地数据目录，同时通过复制机制将日志等信息发送到从节点，从节点根据接收到的日志更新本地数据目录。

-- 在主节点配置流复制
-- 修改 postgresql.conf
wal_level = replica
max_wal_senders = 3
wal_keep_segments = 16
# 修改 pg_hba.conf 允许从节点连接
host replication replica_node1_ip/32 md5
host replication replica_node2_ip/32 md5
host replication replica_node3_ip/32 md5

从节点则通过 pg_basebackup 工具进行初始化，并配置相应的连接参数连接到主节点。

# 在从节点 1 初始化
pg_basebackup -h master_node_ip -U replication_user -D /data/pgsql/data -X stream -P

3.3 备份与恢复相关目录规划

为了保证数据的安全性，备份是必不可少的操作。我们可以规划专门的备份目录，如 /backup/pgsql。在这个目录下，可以按照时间、实例等维度创建子目录进行备份存储。

# 创建备份目录
mkdir -p /backup/pgsql
# 按照日期创建备份子目录
mkdir -p /backup/pgsql/$(date +%Y%m%d)

在进行备份时，可使用 pg_dump 或 pg_basebackup 等工具将数据备份到指定目录。

# 使用 pg_dump 备份数据库
pg_dump -U myuser -d mydatabase > /backup/pgsql/$(date +%Y%m%d)/mydatabase_backup.sql
# 使用 pg_basebackup 进行全量备份
pg_basebackup -U replication_user -D /backup/pgsql/$(date +%Y%m%d)/full_backup -X stream -P

恢复时，根据备份类型从相应的备份目录读取数据进行恢复。

# 恢复 pg_dump 备份
psql -U myuser -d mydatabase < /backup/pgsql/20230101/mydatabase_backup.sql
# 恢复 pg_basebackup 备份
# 停止 PostgreSQL 服务
pg_ctl stop -D /var/lib/pgsql/13/data
# 移除现有数据目录内容
rm -rf /var/lib/pgsql/13/data/*
# 复制备份数据到数据目录
cp -r /backup/pgsql/20230101/full_backup/* /var/lib/pgsql/13/data/
# 启动 PostgreSQL 服务
pg_ctl start -D /var/lib/pgsql/13/data

4. 目录结构管理操作

4.1 目录权限管理

如前文提到，合理的目录权限设置对于 PostgreSQL 的安全运行至关重要。除了设置数据目录和程序目录的基本权限外，还需要根据不同的子目录功能进行细化权限管理。

对于数据目录中的敏感子目录，如 pg_xact，应确保只有 PostgreSQL 运行用户可读写，防止事务日志被篡改。

# 设置 pg_xact 目录权限
chown -R postgres:postgres /var/lib/pgsql/13/data/pg_xact
chmod -R 700 /var/lib/pgsql/13/data/pg_xact

对于存储共享资源的 share 目录，通常可以设置为只读权限，允许所有用户查看帮助文档等内容，但防止意外修改。

# 设置 share 目录权限
chown -R postgres:postgres /usr/pgsql - 13/share
chmod -R 555 /usr/pgsql - 13/share

4.2 目录清理与优化

随着 PostgreSQL 的运行，一些目录会不断产生文件，如日志目录。定期清理和优化这些目录对于系统性能和磁盘空间管理很有必要。

对于日志目录（假设日志文件存放在 /var/log/pgsql），可以根据日志文件的大小或时间进行清理。

# 根据文件大小清理日志文件，删除大于 100MB 的日志文件
find /var/log/pgsql -type f -size +100M -exec rm {} \;
# 根据文件修改时间清理日志文件，删除 30 天前的日志文件
find /var/log/pgsql -type f -mtime +30 -exec rm {} \;

在数据目录方面，对于已删除数据库对应的 base 目录下的子目录，应及时清理，释放磁盘空间。

-- 删除数据库
DROP DATABASE mydeletedatabase;
-- 手动清理 base 目录下对应数据库 OID 的子目录（假设数据库 OID 为 16385）
rm -rf /var/lib/pgsql/13/data/base/16385

4.3 目录迁移与复制

在某些情况下，可能需要将 PostgreSQL 的数据目录或程序目录迁移到新的位置，或者进行目录复制以创建新的实例。

迁移数据目录时，首先要停止 PostgreSQL 服务，然后将整个数据目录复制到新位置，并更新配置文件中的数据目录路径。

# 停止 PostgreSQL 服务
pg_ctl stop -D /var/lib/pgsql/13/data
# 复制数据目录到新位置
cp -r /var/lib/pgsql/13/data /new_location/pgsql/data
# 修改 postgresql.conf 中的 data_directory 参数
sed -i 's|data_directory =.*|data_directory = ''/new_location/pgsql/data''|' /var/lib/pgsql/13/data/postgresql.conf
# 启动 PostgreSQL 服务
pg_ctl start -D /new_location/pgsql/data

复制目录创建新实例时，可参考多实例目录规划部分的操作，先复制程序目录和数据目录，然后对数据目录进行初始化等操作。

# 复制程序目录
cp -r /usr/pgsql - 13 /usr/pgsql - new_instance
# 复制数据目录模板
cp -r /var/lib/pgsql/13/data /var/lib/pgsql/new_instance/data
# 初始化新实例数据目录
/usr/pgsql - new_instance/bin/initdb -D /var/lib/pgsql/new_instance/data

通过合理的目录结构规划和有效的管理操作，能够确保 PostgreSQL 数据库系统的高效、稳定运行，满足不同业务场景下的数据存储和管理需求。无论是单实例还是多实例部署，分布式存储还是备份恢复，清晰合理的目录结构都是关键的基础。