Disaster Recovery Plan

# ── Bật WAL Archiving (bắt buộc cho PITR) ─────────────────
wal_level            = replica      # Tối thiểu để archive (không dùng minimal!)
archive_mode         = on
archive_command      = 'aws s3 cp %p s3://my-pg-wal-archive/%f'
archive_timeout      = 60           # Tối đa 60 giây WAL không archive (force switch)

# ── Streaming Replication ──────────────────────────────────
max_wal_senders      = 5            # Tối đa 5 standbys
synchronous_commit   = on           # RPO~0: chờ standby confirm trước khi return
synchronous_standby_names = 'standby1'

# ── Base Backup Command ───────────────────────────────────
# pg_basebackup -h localhost -U replicator -D /backup/base -Ft -z -P -Xs

# ── PostgreSQL v15+ (recovery.conf đã merge vào postgresql.conf) ─
restore_command         = 'aws s3 cp s3://my-pg-wal-archive/%f %p'
recovery_target_time    = '2024-01-15 14:36:59+07'    # Target timestamp
recovery_target_action  = 'promote'                  # Tự promote sau recovery
recovery_target_inclusive = true                    # Bao gồm transaction tại target time

# Hoặc dùng transaction ID thay vì time:
# recovery_target_xid = '12345678'

# Sau khi chỉnh sửa, tạo file signal:
# touch /var/lib/postgresql/data/recovery.signal
# systemctl start postgresql

// ── Khởi tạo Replica Set ──────────────────────────────────
rs.initiate({
  _id: "rs0",
  members: [
    { _id: 0, host: "mongo1:27017", priority: 2 },   // Primary preferred
    { _id: 1, host: "mongo2:27017", priority: 1 },   // Secondary
    { _id: 2, host: "mongo3:27017", priority: 0,   // Hidden secondary — backup only
      hidden: true, votes: 1, slaveDelay: 3600 }    // 1h delay = buffer cho human error
  ]
});

// ── Write Concern cho RPO~0 ────────────────────────────────
// Mọi write phải được confirm bởi majority trước khi return
db.runCommand({
  setDefaultRWConcern: 1,
  defaultWriteConcern: { w: "majority", j: true },
  defaultReadConcern:  { level: "majority" }
});

// ── Kiểm tra Oplog size ───────────────────────────────────
rs.printReplicationInfo();
// configured oplog size: 51200 MB
// log length start to end: 604800 secs (7 days)  ← RPO window

# ── Step 1: Restore từ base backup ───────────────────────
mongorestore --host localhost:27017   --gzip   --archive=/backup/mongodump-2024-01-15-00-00.archive   --drop                    # Drop existing collections trước khi restore

# ── Step 2: Replay Oplog đến target time ─────────────────
# Lấy oplog từ secondary có delay hoặc backup
mongodump --host mongo2:27017   --db=local   --collection=oplog.rs   --query='{"ts":{"$gte":{"$timestamp":{"t":1705248000,"i":1}}}}'   --out=/tmp/oplog_dump/

# Rename để mongorestore nhận ra là oplog replay
mv /tmp/oplog_dump/local/oplog.rs.bson /tmp/oplog_dump/oplog.bson

# Replay oplog đến đúng timestamp (Unix epoch)
mongorestore --host localhost:27017   --oplogReplay   --oplogLimit=1705282619:1     # 2024-01-15 14:36:59 UTC
  /tmp/oplog_dump/

# Tạo full backup
pgbackrest --stanza=main backup --type=full

# Tạo incremental backup (dùng WAL để chỉ backup phần thay đổi)
pgbackrest --stanza=main backup --type=diff

# Verify backup integrity
pgbackrest --stanza=main check

# PITR restore về thời điểm cụ thể
pgbackrest --stanza=main restore   --target-action=promote   --type=time   --target="2024-01-15 14:36:59"

# Xem thông tin backup có sẵn
pgbackrest --stanza=main info

# Full backup với oplog (PHẢI có --oplog để consistent)
mongodump   --host rs0/mongo1:27017,mongo2:27017   --oplog   --gzip   --archive=/backup/mongodump-$(date +%Y%m%d-%H%M%S).archive

# Restore từ archive
mongorestore   --host localhost:27017   --gzip   --archive=/backup/mongodump-20240115-000000.archive   --oplogReplay   --drop

# Kiểm tra backup hợp lệ (không cần restore full)
mongorestore   --host localhost:27018    # Port khác để test
  --archive=/backup/mongodump.archive   --gzip --dryRun            # Dry run — không ghi thực