实现PostgreSQL受控备份恢复并加固取消后的数据库回滚
This commit is contained in:
1 parent
943fb8c459
commit
626ba534f7
10 files changed
+1068
-16
No files matched your search
@@ -0,0 +1,65 @@
|
||||
# PostgreSQL 备份恢复说明
|
||||
|
||||
## 支持范围
|
||||
|
||||
Scert 的 `backup` 命令现已接入 PostgreSQL 官方工具,可在同一备份目录保存:
|
||||
|
||||
- `scert.pgdump`:自定义格式的数据库一致性归档,包含数据库对象、数据、序列、对象所有者与授权。
|
||||
- `scert.json`:不含数据库账号密码的配置。
|
||||
- `master.key`、`secrets.json`:主密钥和加密凭据。
|
||||
- `certificates/`:托管证书文件。
|
||||
- `manifest.json`:文件大小、权限与 SHA-256 校验清单。
|
||||
|
||||
自动 `restore` 目前只支持**原目标数据库、对象清单及所有者一致**的恢复。跨数据库、跨结构迁移版本、对象增删、角色变更或空库灾难恢复不在自动流程支持范围;检查不符时明确拒绝,不能把拒绝保护当作灾难恢复已完成。
|
||||
|
||||
PostgreSQL 集群级角色、角色密码、表空间定义、服务端配置,以及数据库连接所用的外置 CA/客户端证书文件不由此归档创建或恢复。请由数据库管理员单独保护这些资源。数据库账户轮换后,旧备份中的加密密码可能已经失效;恢复旧凭据前应确认它们仍然有效。
|
||||
|
||||
## 运行前提
|
||||
|
||||
1. 在运行 Scert CLI 的机器安装官方 `pg_dump`、`pg_restore`,将可信工具目录加入 `PATH`。
|
||||
2. 两个工具的主版本一致,至少为 PostgreSQL 16;`pg_dump` 的主版本不得低于数据库服务端主版本。工具缺失、版本检查失败或服务端不兼容时停止,不发布不完整备份。
|
||||
3. 数据库连接保持 `sslmode=verify-full`。允许显式 CA、客户端证书/私钥、连接超时和应用名称参数;没有显式 CA 时使用工具的系统信任库,不跳过证书验证。
|
||||
4. 使用 Scert 专属数据库,并停止所有连接该数据库的 Scert 实例及外部结构变更任务。CLI 的本机进程锁不能阻止另一台机器上的进程写入。
|
||||
5. 账号应有读取完整数据及恢复对应对象、所有者和授权的权限。需要的角色、扩展、表空间必须预先存在;权限不足时单事务恢复失败,不忽略错误或静默丢弃 ACL。
|
||||
6. 为新备份及恢复前完整快照预留足够空间。成功恢复后也会保留恢复前快照,需由管理员根据保留策略管理;Scert 不自动删除历史备份。
|
||||
|
||||
以下命令中的路径仅为示例,应替换为本机实际配置与备份路径:
|
||||
|
||||
```bash
|
||||
pg_dump --version
|
||||
pg_restore --version
|
||||
scert --config /scert/config/scert.json backup --output /scert/backup/manual-20260916
|
||||
scert --config /scert/config/scert.json restore --input /scert/backup/manual-20260916
|
||||
```
|
||||
|
||||
## 恢复安全流程
|
||||
|
||||
1. 校验备份清单、配置和加密凭据引用。
|
||||
2. 检查 PostgreSQL 自定义归档头,并通过 `pg_restore` 完整解码到丢弃流;此时不连接目标库。
|
||||
3. 验证配置路径、数据目录、数据库连接目标与当前配置一致,取得本机进程锁。
|
||||
4. 在内存中固定当前账号,用它创建恢复前快照;替换配置或主密钥不能改变本次导入及回滚账号。
|
||||
5. 比较两份归档对象清单。采用严格相等检查,避免 `pg_restore --clean` 只清理归档列出对象而残留额外数据,也保证反向恢复不会留下新对象。
|
||||
6. 保存当前配置,使用 `--clean --if-exists --single-transaction --exit-on-error` 导入,然后恢复凭据及证书。
|
||||
7. 任一步失败时尝试恢复原数据库及配置。请求取消后,数据库回滚仍使用独立的五分钟超时;回滚失败明确要求管理员停止服务并使用保留的快照人工恢复。
|
||||
|
||||
普通工具操作最长三十分钟,版本检查最长十秒,对象清单读取最长三十秒。超时不会被报告为成功。独立回滚不保证抵抗进程被强制杀死、主机断电、磁盘故障或数据库不可达。
|
||||
|
||||
## 敏感信息与信任边界
|
||||
|
||||
- 账号密码只在内存中解密,通过专属子进程环境传递,不写命令行、普通配置、清单或错误日志。继承的 `PG*` 环境变量会清除,避免其改变目标或降低 TLS。
|
||||
- 子进程环境不是对同一操作系统账号或管理员的保密边界。维护操作应在可信主机、专用账号下执行,不能与不可信程序共享账号。
|
||||
- 不透传 `pg_dump`、`pg_restore` 的原始错误输出,避免其回显业务数据或连接信息;失败时检查工具、网络、TLS、空间和数据库权限,不要将完整连接串粘贴到日志。
|
||||
- 归档中有业务数据,备份同时包含主密钥及证书私钥。目录及文件采用受限权限,但**整个备份不是加密容器**;异地存储时须加密并限制访问。
|
||||
- SHA-256 清单只能发现文件损坏或与既有清单不符,不能证明备份来源可信。PostgreSQL 归档可能携带可执行 SQL,只能恢复可信来源的备份,不能导入第三方提供的未知归档。
|
||||
|
||||
## 当前验证状态
|
||||
|
||||
- 已有工具协议替身测试,覆盖完整备份、配置/凭据/证书联动、导入与证书失败、取消、回滚失败、对象差异、归档解码失败、既有文件保护等分支。
|
||||
- 实际测试子进程验证了执行失败脱敏和超时终止;该子进程不是 PostgreSQL 官方工具。
|
||||
- 尚未完成真实 PostgreSQL 服务上的备份、恢复、权限及业务恢复演练,也未完成空库灾难恢复开发。不得仅凭替身测试、Linux 构建或前端测试宣称生产验收通过。
|
||||
|
||||
## 官方语义参考
|
||||
|
||||
- [PostgreSQL 16 libpq 连接参数](https://www.postgresql.org/docs/16/libpq-connect.html):`sslrootcert=system` 与严格 TLS。
|
||||
- [PostgreSQL 16 pg_restore](https://www.postgresql.org/docs/16/app-pgrestore.html):标准输出、单事务恢复、所有者、ACL 及可信归档要求。
|
||||
- [PostgreSQL 16 pg_dump](https://www.postgresql.org/docs/16/app-pgdump.html):自定义格式、一致性归档与服务端版本兼容。
|
||||
+19
-3
@@ -39,7 +39,7 @@
|
||||
- [✓] 修复关闭 Web 静态页面导致核心服务无法启动的回归;保留 API、桌面管理及续期服务,覆盖已初始化和首次切换两种场景。
|
||||
- [✓] 修复 PostgreSQL URL 查询参数覆盖加密账号、连接目标和脱敏遗漏;新增落盘拒绝、运行时拒绝、特殊密码、驱动优先级及模糊测试,最新全量回归通过。
|
||||
- [✓] 复审三库接入后的备份恢复兼容性:MySQL 接入加密凭据,PostgreSQL 未实现完整备份时明确拒绝,禁止漏备份却报告成功;内存凭据与拒绝操作的回归测试通过,不代表真实数据库备份恢复已验收。
|
||||
- [!] PostgreSQL 完整备份恢复尚未实现,不能宣称三种数据库的全部运维能力均已完成。
|
||||
- [✓] PostgreSQL 官方工具备份及同目标、同对象清单恢复代码和本地回归通过,包含恢复前快照和取消后的独立限时回滚;真实数据库演练、空库灾难恢复和跨结构版本恢复尚未完成,不能宣称三库运维全部验收。
|
||||
- [!] 新版 Linux 发布包和桌面浏览器验收:本地独立服务启动及发布脚本执行此前被策略拒绝,未绕过限制。
|
||||
- [ ] 真实 MySQL/PostgreSQL 的连接、迁移、权限及完整业务链路验收。
|
||||
- [ ] Linux 最小权限 systemd 下的初始化、防火墙及管理入口切换验收。
|
||||
@@ -47,6 +47,20 @@
|
||||
|
||||
## 本轮验证
|
||||
|
||||
### PostgreSQL 维护功能续接验证(2026-09-16 21:43)
|
||||
|
||||
- 修改前创建并推送中文检查点 `943fb8c`,未混入历史补丁、脚本或二进制。
|
||||
- 最新后端全量普通测试、全量竞态检测、`go vet`、`go mod verify`、`go mod tidy -diff` 全部通过。
|
||||
- 完整备份、恢复成功/失败/取消/回滚、取消不发布、缺工具保护等关键场景以 `-race -count=10` 重复通过;数据库行为由工具协议替身模拟,没有真实数据库连接。
|
||||
- 实际子进程失败脱敏、超时终止测试通过;测试子进程是 Go 测试程序,不是 PostgreSQL 官方工具。
|
||||
- 桌面模块普通测试、竞态检测、静态检查、依赖校验及一致性检查通过;前端 39 项测试及生产构建通过,产物保留在 `.runtime/frontend-postgres-backup-20260916-2128`。
|
||||
- Linux amd64 无 CGO 源码构建及 CLI 测试二进制交叉编译通过,最新测试产物为 `.runtime/cli-postgres-backup-linux-20260916-2140.test`;没有执行 Linux 测试二进制,没有生成新版发布包或部署远程服务器。
|
||||
- 覆盖率快照 `.runtime/postgres-backup-20260916-2136.out` 的 CLI 总语句覆盖率为 51.5%,此快照早于最后两个补充测试,不代表全代码全面覆盖或实机验收。
|
||||
- 中间发现测试代码括号遗漏以及测试断言将 `--no-password` 错判为密码泄漏,均已修正;上述最终全量回归是在修正和全部代码改动完成后执行。
|
||||
- 差异、Go 格式和 UTF-8 无 BOM 检查通过。文档、注释与提示为中文,无中文 HTML 数字实体;未删除用户历史文件,未连接远程主机或修改真实 DNS、证书和生产数据库。
|
||||
|
||||
以下为前序初始化及连接串安全阶段的验证记录,不替代上述本轮结果。
|
||||
|
||||
在 Windows 开发工作区执行并通过:
|
||||
|
||||
```text
|
||||
@@ -107,7 +121,9 @@ HTTPS 集成测试只连接本机回环地址,严格校验证书及名称,
|
||||
|
||||
新增数据库加密引用后,MySQL 维护操作必须在内存中解密账号再建立连接,不能直接使用无账号的持久化 DSN。恢复前应固定可用连接,避免配置和主密钥替换过程中失去快照或回滚连接。备份校验必须包括数据库凭据引用。
|
||||
|
||||
PostgreSQL 当前可选择初始化,但原完整备份实现只有 SQLite/MySQL。本轮先让 PostgreSQL 的 `backup`、`restore` 明确失败,在创建输出或替换目标前阻止不完整备份被当作成功。完整实现及真实恢复演练仍是生产准入阻塞,不能把这一防护当作备份功能开发完成。
|
||||
PostgreSQL 原完整备份实现只有 SQLite/MySQL,前序版本先采用明确拒绝保护。2026-09-16 本轮已接入官方 `pg_dump`/`pg_restore`:要求同主版本且至少为 16,生成自定义归档并完整解码校验,配置、加密凭据、证书共同纳入备份清单。缺工具、解码失败或快照失败不能发布备份。
|
||||
|
||||
自动恢复只支持相同目标及严格一致的对象清单,保留所有者和授权;先保存当前数据库快照,再以单事务导入,后续证书或凭据失败则恢复原数据。MySQL 和 PostgreSQL 回滚不再沿用已取消请求,改用独立五分钟超时。空库灾难恢复、跨结构版本恢复仍需原生工具和管理员流程。详细前提、保密边界及限制见 `PostgreSQL备份恢复说明.md`;本地替身测试不能替代真实恢复演练。
|
||||
|
||||
### PostgreSQL 连接串安全边界
|
||||
|
||||
@@ -129,4 +145,4 @@ PostgreSQL 连接串日志辅助函数改为整体隐藏,解析失败不返回
|
||||
|
||||
## 下一步
|
||||
|
||||
优先补齐 PostgreSQL 完整备份恢复,完成非特权防火墙策略回归及 Linux 实机验证;在允许启动服务和执行发布脚本的环境中完成浏览器、实际证书指纹核对与 Linux 发布验收。真实数据库和 DNS/ACME 测试必须使用专属测试数据与已授权域名,并明确测试范围,不能清空生产数据库或触碰禁止修改的域名。
|
||||
优先完成 PostgreSQL 官方工具与真实数据库的备份恢复演练,并继续设计空库灾难恢复和跨结构版本恢复;完成非特权防火墙策略及 Linux 实机验证。在允许启动服务和执行发布脚本的环境中完成浏览器、实际证书指纹核对与 Linux 发布验收。真实数据库和 DNS/ACME 测试必须使用专属测试数据与已授权域名,并明确测试范围,不能清空生产数据库或触碰禁止修改的域名。
|
||||
Reference in new issue
Block a user