加固PostgreSQL连接参数与凭据脱敏并完成重复回归
This commit is contained in:
1 parent
16428f05b3
commit
781da9f32c
7 files changed
+278
-42
No files matched your search
@@ -479,6 +479,11 @@ func (c Config) Validate() error {
|
||||
if databaseDSNContainsPassword(c.Database.Driver, c.Database.DSN) {
|
||||
return fmt.Errorf("数据库连接信息不能包含密码,请使用加密凭据引用")
|
||||
}
|
||||
if c.Database.Driver == "postgres" {
|
||||
if err := ValidatePostgresDSN(c.Database.DSN); err != nil {
|
||||
return err
|
||||
}
|
||||
}
|
||||
}
|
||||
if c.Database.MaxOpenConns < 1 || c.Database.MaxIdleConns < 0 || c.Database.MaxIdleConns > c.Database.MaxOpenConns {
|
||||
return fmt.Errorf("数据库连接池配置无效")
|
||||
|
||||
@@ -0,0 +1,43 @@
|
||||
package config
|
||||
|
||||
import (
|
||||
"errors"
|
||||
"net/url"
|
||||
"strings"
|
||||
)
|
||||
|
||||
// ValidatePostgresDSN 同时用于配置落盘和数据库连接前检查,不读取环境或外部文件。
|
||||
// 账号只能由加密凭据注入;查询参数不能改写验证过的主机、数据库或凭据来源。
|
||||
func ValidatePostgresDSN(dsn string) error {
|
||||
parsed, err := url.Parse(strings.TrimSpace(dsn))
|
||||
if err != nil || (parsed.Scheme != "postgres" && parsed.Scheme != "postgresql") {
|
||||
return errors.New("PostgreSQL 数据库连接信息必须使用不含账号密码的 postgres:// URL")
|
||||
}
|
||||
if parsed.User != nil {
|
||||
return errors.New("PostgreSQL 用户名和密码只能保存到加密凭据中")
|
||||
}
|
||||
if strings.TrimSpace(parsed.Hostname()) == "" || strings.Trim(strings.TrimSpace(parsed.Path), "/") == "" {
|
||||
return errors.New("PostgreSQL 连接信息必须包含主机和数据库")
|
||||
}
|
||||
if parsed.Opaque != "" || parsed.Fragment != "" {
|
||||
return errors.New("PostgreSQL 连接信息不能包含片段或不透明地址")
|
||||
}
|
||||
query, err := url.ParseQuery(parsed.RawQuery)
|
||||
if err != nil {
|
||||
return errors.New("PostgreSQL 连接参数编码无效")
|
||||
}
|
||||
for key, values := range query {
|
||||
if key == "" || key != strings.ToLower(strings.TrimSpace(key)) || len(values) != 1 {
|
||||
return errors.New("PostgreSQL 连接参数必须为小写且不能重复")
|
||||
}
|
||||
switch key {
|
||||
case "user", "password", "sslpassword", "host", "hostaddr", "port", "dbname", "database",
|
||||
"service", "servicefile", "passfile":
|
||||
return errors.New("PostgreSQL 查询参数不能包含账号密码或覆盖连接目标及凭据来源")
|
||||
}
|
||||
}
|
||||
if query.Get("sslmode") != "verify-full" {
|
||||
return errors.New("PostgreSQL 连接必须使用 sslmode=verify-full")
|
||||
}
|
||||
return nil
|
||||
}
|
||||
@@ -0,0 +1,75 @@
|
||||
package config
|
||||
|
||||
import (
|
||||
"os"
|
||||
"path/filepath"
|
||||
"strings"
|
||||
"testing"
|
||||
)
|
||||
|
||||
func TestPostgresUnsafeDSNCannotBeSaved(t *testing.T) {
|
||||
const base = "postgres://db.example.test:5432/scert?sslmode=verify-full"
|
||||
for _, suffix := range []string{
|
||||
"&password=unsafe-secret", "&pass%77ord=unsafe-secret", "&user=other-user",
|
||||
"&host=other.example.test", "&port=5433", "&dbname=other", "&database=other",
|
||||
"&service=other", "&servicefile=/tmp/service", "&passfile=/tmp/passwords",
|
||||
"&sslpassword=unsafe-secret", "&sslmode=disable", "&application_name=%zz",
|
||||
"#unsafe-secret", "&Password=unsafe-secret",
|
||||
} {
|
||||
t.Run(suffix, func(t *testing.T) {
|
||||
cfg := Default(t.TempDir())
|
||||
cfg.Database.Driver = "postgres"
|
||||
cfg.Database.DSN = base + suffix
|
||||
cfg.Database.CredentialRef = "secret://database/test"
|
||||
path := filepath.Join(t.TempDir(), "scert.json")
|
||||
err := cfg.Save(path)
|
||||
if err == nil {
|
||||
t.Fatal("含凭据或连接覆盖参数的配置未被拒绝")
|
||||
}
|
||||
if strings.Contains(err.Error(), "unsafe-secret") {
|
||||
t.Fatal("配置错误泄露了输入凭据")
|
||||
}
|
||||
if _, err := os.Stat(path); !os.IsNotExist(err) {
|
||||
t.Fatal("无效配置不应写入磁盘")
|
||||
}
|
||||
})
|
||||
}
|
||||
}
|
||||
|
||||
func TestPostgresSafeConfigRoundTrips(t *testing.T) {
|
||||
for _, dsn := range []string{
|
||||
"postgres://db.example.test:5432/scert?sslmode=verify-full",
|
||||
"postgresql://[2001:db8::10]:5432/scert?sslmode=verify-full&application_name=scert&connect_timeout=10",
|
||||
"postgres://db.example.test/scert?sslmode=verify-full&sslrootcert=%2Fetc%2Fscert%2Froot.pem",
|
||||
} {
|
||||
cfg := Default(t.TempDir())
|
||||
cfg.Database.Driver = "postgres"
|
||||
cfg.Database.DSN = dsn
|
||||
cfg.Database.CredentialRef = "secret://database/test"
|
||||
path := filepath.Join(t.TempDir(), "scert.json")
|
||||
if err := cfg.Save(path); err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
loaded, err := Load(path)
|
||||
if err != nil || loaded.Database != cfg.Database {
|
||||
t.Fatal("合法 PostgreSQL 连接配置不能保存并重新加载")
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
func FuzzValidatePostgresDSN(f *testing.F) {
|
||||
for _, dsn := range []string{
|
||||
"postgres://db.example.test/scert?sslmode=verify-full",
|
||||
"postgres://db.example.test/scert?sslmode=verify-full&password=fuzz-secret",
|
||||
"postgres://db.example.test/scert?sslmode=verify-full&sslmode=disable",
|
||||
"postgres://db.example.test/scert?sslmode=verify-full&password=%zz",
|
||||
} {
|
||||
f.Add(dsn)
|
||||
}
|
||||
f.Fuzz(func(t *testing.T, dsn string) {
|
||||
err := ValidatePostgresDSN(dsn)
|
||||
if err != nil && strings.Contains(err.Error(), "fuzz-secret") {
|
||||
t.Fatal("校验错误不能包含输入凭据")
|
||||
}
|
||||
})
|
||||
}
|
||||
@@ -69,20 +69,7 @@ func ValidateConfig(cfg config.DatabaseConfig) error {
|
||||
}
|
||||
|
||||
func validatePersistedPostgresDSN(dsn string) error {
|
||||
parsed, err := url.Parse(strings.TrimSpace(dsn))
|
||||
if err != nil || (parsed.Scheme != "postgres" && parsed.Scheme != "postgresql") {
|
||||
return fmt.Errorf("PostgreSQL 数据库连接信息必须使用不含账号密码的 postgres:// URL")
|
||||
}
|
||||
if strings.TrimSpace(parsed.Hostname()) == "" || strings.Trim(strings.TrimSpace(parsed.Path), "/") == "" {
|
||||
return fmt.Errorf("PostgreSQL 连接信息必须包含主机和数据库")
|
||||
}
|
||||
if parsed.User != nil {
|
||||
return fmt.Errorf("PostgreSQL 用户名和密码只能保存到加密凭据中")
|
||||
}
|
||||
if postgresSSLMode(dsn) != "verify-full" {
|
||||
return fmt.Errorf("PostgreSQL 连接必须使用 sslmode=verify-full")
|
||||
}
|
||||
return nil
|
||||
return config.ValidatePostgresDSN(dsn)
|
||||
}
|
||||
|
||||
// ResolveConfig 从凭据存储中读取外部数据库账号,在内存中构造连接配置。
|
||||
|
||||
@@ -121,9 +121,17 @@ func normalizeMySQLDSN(dsn string) (string, error) {
|
||||
}
|
||||
|
||||
func normalizePostgresDSN(dsn string) (string, error) {
|
||||
// 运行时账号位于 URL 的用户信息中,其他参数仍必须满足持久化安全边界。
|
||||
if raw, err := url.Parse(dsn); err == nil && (raw.Scheme == "postgres" || raw.Scheme == "postgresql") {
|
||||
raw.User = nil
|
||||
if err := config.ValidatePostgresDSN(raw.String()); err != nil {
|
||||
return "", err
|
||||
}
|
||||
}
|
||||
parsed, err := pgx.ParseConfig(dsn)
|
||||
if err != nil {
|
||||
return "", fmt.Errorf("解析 PostgreSQL 连接信息失败:%w", err)
|
||||
// 驱动错误可能包含原始连接串,不能把尚未脱敏的输入带到日志或终端。
|
||||
return "", fmt.Errorf("解析 PostgreSQL 连接信息失败,请检查连接参数和证书文件")
|
||||
}
|
||||
if strings.TrimSpace(parsed.Host) == "" || strings.TrimSpace(parsed.Database) == "" || strings.TrimSpace(parsed.User) == "" {
|
||||
return "", fmt.Errorf("PostgreSQL 连接信息必须包含主机、数据库和用户名")
|
||||
@@ -152,7 +160,7 @@ func postgresSSLMode(dsn string) string {
|
||||
return ""
|
||||
}
|
||||
|
||||
// SanitizeDSN 返回可写入日志的数据库连接信息,不包含 MySQL 密码。
|
||||
// SanitizeDSN 返回可写入日志的数据库连接信息,不包含数据库密码。
|
||||
func SanitizeDSN(driver, dsn string) string {
|
||||
switch strings.ToLower(strings.TrimSpace(driver)) {
|
||||
case "mysql":
|
||||
@@ -165,32 +173,13 @@ func SanitizeDSN(driver, dsn string) string {
|
||||
}
|
||||
return cfg.FormatDSN()
|
||||
case "postgres":
|
||||
parsed, err := url.Parse(dsn)
|
||||
if err == nil && (parsed.Scheme == "postgres" || parsed.Scheme == "postgresql") {
|
||||
if parsed.User != nil {
|
||||
username := parsed.User.Username()
|
||||
if _, hasPassword := parsed.User.Password(); hasPassword {
|
||||
parsed.User = url.UserPassword(username, "********")
|
||||
}
|
||||
}
|
||||
return parsed.String()
|
||||
}
|
||||
return sanitizePostgresKeywordDSN(dsn)
|
||||
// 关键字串支持空格和转义,URL 查询也可以承载凭据。
|
||||
// 不尝试在任意输入中定位密码,整体隐藏,避免无效编码或新参数导致漏脱敏。
|
||||
return "postgres://[连接信息已隐藏]"
|
||||
}
|
||||
return dsn
|
||||
}
|
||||
|
||||
func sanitizePostgresKeywordDSN(dsn string) string {
|
||||
fields := strings.Fields(dsn)
|
||||
for index, field := range fields {
|
||||
key, _, found := strings.Cut(field, "=")
|
||||
if found && strings.EqualFold(strings.TrimSpace(key), "password") {
|
||||
fields[index] = key + "=********"
|
||||
}
|
||||
}
|
||||
return strings.Join(fields, " ")
|
||||
}
|
||||
|
||||
func ensureSQLiteDir(dsn string) error {
|
||||
path := dsn
|
||||
if strings.HasPrefix(path, "file:") {
|
||||
|
||||
@@ -0,0 +1,112 @@
|
||||
package database
|
||||
|
||||
import (
|
||||
"context"
|
||||
"strings"
|
||||
"testing"
|
||||
|
||||
"git.pcux.cn/xuans/Scert/backend/internal/config"
|
||||
"github.com/jackc/pgx/v5"
|
||||
)
|
||||
|
||||
type countedCredentialReader struct {
|
||||
calls int
|
||||
}
|
||||
|
||||
func (reader *countedCredentialReader) Get(context.Context, string) (map[string]string, error) {
|
||||
reader.calls++
|
||||
return map[string]string{"username": "expected-user", "password": "expected-secret"}, nil
|
||||
}
|
||||
|
||||
func TestPostgresQueryCannotOverrideEncryptedCredentials(t *testing.T) {
|
||||
for _, query := range []string{
|
||||
"password=untrusted-secret", "user=untrusted-user", "pass%77ord=untrusted-secret",
|
||||
"sslpassword=untrusted-secret", "host=other.example.test", "dbname=other",
|
||||
"sslmode=disable", "service=other", "passfile=/tmp/passwords",
|
||||
} {
|
||||
t.Run(query, func(t *testing.T) {
|
||||
cfg := config.DatabaseConfig{
|
||||
Driver: "postgres", DSN: "postgres://db.example.test:5432/scert?sslmode=verify-full&" + query,
|
||||
CredentialRef: "secret://database/test",
|
||||
}
|
||||
reader := &countedCredentialReader{}
|
||||
if _, err := ResolveConfig(t.Context(), cfg, reader); err == nil {
|
||||
t.Fatal("连接参数覆盖没有在读取凭据前被拒绝")
|
||||
}
|
||||
if reader.calls != 0 {
|
||||
t.Fatal("校验无效连接参数不应读取加密凭据")
|
||||
}
|
||||
})
|
||||
}
|
||||
}
|
||||
|
||||
func TestPostgresRuntimeDSNRejectsOverridesAndHidesParseErrors(t *testing.T) {
|
||||
for _, dsn := range []string{
|
||||
"postgres://user:LEAKME@db.example.test/scert?sslmode=verify-full&password=override",
|
||||
"postgres://user:LEAKME@db.example.test/scert?sslmode=verify-full&host=other.example.test",
|
||||
"postgres://user:LEAKME@db.example.test/scert?sslmode=verify-full&sslmode=disable",
|
||||
"postgres://user:LEAKME@db.example.test/scert?sslmode=verify-full&connect_timeout=invalid",
|
||||
"postgres://user:LEAKME%zz@db.example.test/scert?sslmode=verify-full",
|
||||
"host=db.example.test user=user password='LEAKME' sslmode=verify-full port=invalid",
|
||||
} {
|
||||
result, err := normalizePostgresDSN(dsn)
|
||||
if err == nil || result != "" {
|
||||
t.Fatal("无效的运行时 PostgreSQL 连接信息未被拒绝")
|
||||
}
|
||||
if strings.Contains(err.Error(), "LEAKME") {
|
||||
t.Fatal("解析错误泄露了运行时密码")
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
func TestPostgresDriverQueryPrecedenceExplainsSecurityBoundary(t *testing.T) {
|
||||
parsed, err := pgx.ParseConfig("postgres://expected-user:expected-secret@db.example.test/scert?sslmode=verify-full&user=overridden&password=overridden")
|
||||
if err != nil {
|
||||
t.Fatal("驱动测试夹具无效")
|
||||
}
|
||||
if parsed.User != "overridden" || parsed.Password != "overridden" {
|
||||
t.Fatal("驱动参数优先级已变化,应重新复审防护边界")
|
||||
}
|
||||
}
|
||||
|
||||
func TestPostgresResolvedCredentialsMatchDriver(t *testing.T) {
|
||||
cfg := config.DatabaseConfig{
|
||||
Driver: "postgres", DSN: "postgres://db.example.test:5432/scert?sslmode=verify-full&application_name=scert",
|
||||
CredentialRef: "secret://database/test",
|
||||
}
|
||||
const username = "user@example.test"
|
||||
const password = "space @:/?#&% quoted'\\ secret"
|
||||
resolved, err := ResolveConfig(t.Context(), cfg, memoryCredentialReader{
|
||||
cfg.CredentialRef: {"username": username, "password": password},
|
||||
})
|
||||
if err != nil {
|
||||
t.Fatal(err)
|
||||
}
|
||||
parsed, err := pgx.ParseConfig(resolved.DSN)
|
||||
if err != nil {
|
||||
t.Fatal("驱动无法解析有效内存凭据")
|
||||
}
|
||||
if parsed.User != username || parsed.Password != password || parsed.Host != "db.example.test" ||
|
||||
parsed.Database != "scert" || parsed.TLSConfig == nil || parsed.TLSConfig.InsecureSkipVerify {
|
||||
t.Fatal("驱动解析结果与受保护账号或验证目标不一致")
|
||||
}
|
||||
}
|
||||
|
||||
func TestPostgresSanitizationDoesNotLeakNonUserinfoSecrets(t *testing.T) {
|
||||
for _, dsn := range []string{
|
||||
"postgres://db.example.test/scert?password=LEAKME&sslmode=verify-full",
|
||||
"postgres://db.example.test/scert?pass%77ord=LEAKME&sslmode=verify-full",
|
||||
"postgres://db.example.test/scert?password=first&password=LEAKME",
|
||||
"postgres://db.example.test/scert?sslpassword=LEAKME",
|
||||
"postgres://db.example.test/scert?application_name=%zz&password=LEAKME",
|
||||
"postgres://user:bad%zzLEAKME@db.example.test/scert",
|
||||
"postgres://db.example.test/scert#LEAKME",
|
||||
"host=db.example.test password='first LEAKME' dbname=scert",
|
||||
"host=db.example.test password = 'LEAKME' dbname=scert",
|
||||
"host=db.example.test password='first \\' LEAKME'",
|
||||
} {
|
||||
if result := SanitizeDSN("postgres", dsn); result == "" || strings.Contains(result, "LEAKME") {
|
||||
t.Fatal("PostgreSQL 脱敏未覆盖查询参数、无效编码或带空格的密码")
|
||||
}
|
||||
}
|
||||
}
|
||||
Reference in new issue
Block a user