Sơ đồ của tác giả: bên trái là client kết nối một Vault server; bên phải là Virtual IP, hai HAProxy và các Vault server. Cách hoàn thiện cụm Raft được giải thích trong bài.

Vault (2/5): Dự phòng cho Vault với HAProxy

Series Vault — Bài 2/5.

Tóm tắt

Mô hình sử dụng hai HAProxy dùng chung VIP và ba node Vault chạy Integrated Storage/Raft. HAProxy kiểm tra health API, chỉ chuyển kết nối đến node active. Phần dưới gồm cấu hình TLS passthrough, cấu hình Raft, trình tự khởi tạo cụm và các bài kiểm tra failover.

Từ khóa: HashiCorp Vault; HAProxy; High Availability; Raft; quorum; active–standby; TLS.

1. Bài toán triển khai

Với Vault đơn node, mỗi lần dừng dịch vụ, khởi động lại máy hoặc lỗi storage đều có thể làm gián đoạn API. Ứng dụng sẽ bị ảnh hưởng khi cần lấy secret, xác thực hoặc gia hạn lease; mức ảnh hưởng phụ thuộc cơ chế cache và thời hạn thông tin xác thực đang dùng.

Phương án triển khai gồm hai HAProxy, một VIP và một cụm Vault ba node. Hai HAProxy dự phòng cho điểm truy cập; các node Vault dự phòng cho dịch vụ và lưu trữ. Cụm phải còn quorum để bầu active và tiếp tục ghi dữ liệu.

2. Mô hình triển khai Vault và HAProxy

Sơ đồ của tác giả so sánh kết nối trực tiếp tới một Vault server với hướng bổ sung Virtual IP, hai HAProxy và các Vault server.
Hình 1. Mô hình Vault đơn nút và phương án bổ sung HAProxy, VIP cùng các nút Vault dự phòng.

Luồng kết nối: client → VIP → HAProxy → Vault active. Client dùng một endpoint cố định. HAProxy kiểm tra từng node Vault và chọn backend theo kết quả health check.

HAProxy failover: máy dự phòng tiếp quản VIP khi máy đang giữ VIP lỗi. Vault failover: cụm bầu active mới khi active hiện tại lỗi và các node còn lại vẫn đủ quorum. Hai cơ chế này hoạt động độc lập.

Trong phương án Raft, máy ghi “backup” trên sơ đồ được cấu hình thành node thứ ba của cùng cụm. Node này đồng bộ dữ liệu và tham gia bỏ phiếu khi đã là voter. Snapshot được lưu riêng, không dùng node standby thay cho bản sao lưu.

3. Cơ chế failover và quorum

3.1. Lớp truy cập: Hai HAProxy và một VIP

VIP giữ ổn định địa chỉ truy cập; HAProxy chọn máy chủ nhận kết nối. Khi một máy proxy lỗi, client vẫn gọi cùng endpoint sau khi VIP được chuyển sang máy còn lại. Keepalived xử lý việc giữ/chuyển VIP, còn HAProxy xử lý kết nối đến backend Vault.

DNS vault.example.com trỏ tới VIP. Cài cùng cấu hình backend trên hai HAProxy. Keepalived/VRRP quản lý VIP; HAProxy kiểm tra và chuyển tiếp kết nối tới Vault. Tệp haproxy.cfg bên dưới chỉ cấu hình phần proxy, chưa bao gồm Keepalived. [6]

Health check của Keepalived cần kiểm tra cả dịch vụ HAProxy. Nếu chỉ ping máy, HAProxy có thể đã dừng nhưng VIP vẫn nằm trên máy đó. Khi thử failover, kiểm tra riêng các trường hợp dừng HAProxy, tắt máy và mất đường mạng; theo dõi để phát hiện hai máy cùng giữ VIP.

3.2. Lớp dịch vụ: Vault active và standby

Vault HA thông thường chỉ có một active. Standby có thể forward request tới active hoặc trả redirect, tùy cấu hình. Backend trong bài chọn cách chỉ nhận node active; các node standby vẫn được health check để phát hiện khi vai trò thay đổi. [1]

Thêm standby không làm tăng tương ứng năng lực xử lý request của active. Nếu cần mở rộng xử lý đọc, xem xét Performance Standby với giấy phép Enterprise hoặc dịch vụ HCP phù hợp. Performance Standby xử lý tại chỗ các request không phát sinh ghi storage và forward request có ghi về active; không phân loại chỉ dựa vào HTTP GET hay POST. [5]

3.3. Lớp dữ liệu: Raft và quorum

Raft đồng bộ dữ liệu và bầu leader cho cụm. Quorum buộc các thay đổi phải được đa số voter đồng thuận. Khi mạng chia cụm thành hai phía, phía không đủ quorum không thể tự tiếp tục ghi dữ liệu như một cụm độc lập.

Integrated Storage lưu dữ liệu cục bộ trên từng node và dùng Raft để đồng bộ. Khởi tạo một cụm, sau đó join các node còn lại vào cụm đó. Không chạy init riêng trên cả ba máy: cách này tạo ba cụm độc lập, HAProxy không đồng bộ dữ liệu giữa các cụm. [3]

Số voterQuorumSố nút chịu lỗi
220
321
532

Quorum = floor(N/2) + 1, với N là số voter. Cụm hai voter cần cả hai nên mất một node là mất quorum. Cụm ba voter cần hai: chịu được lỗi một node, mất hai node thì không thể bầu leader hoặc commit thêm dữ liệu. [2]

Cấu hình bên dưới dùng ba voter. Với yêu cầu chịu lỗi hai node, kiến trúc tham chiếu của HashiCorp dùng năm node trên ba availability zone. Tránh đặt các node trên cùng host vật lý hoặc cùng miền lỗi: một sự cố hạ tầng có thể làm mất nhiều voter cùng lúc. [10]

4. Cấu hình HAProxy đề xuất

4.1. Health check xác định Vault active

Health check xác định node có phù hợp để nhận kết nối mới hay không. Chỉ kiểm tra cổng TCP mở chưa đủ: một node standby hoặc sealed vẫn có thể có listener. Với chính sách của bài này, HAProxy kiểm tra trạng thái Vault qua HTTP và chỉ chọn node active.

HAProxy chạy TCP passthrough; TLS kết thúc tại Vault. Health check dùng kết nối HTTPS riêng tới /v1/sys/health và chỉ nhận HTTP 200. Bảng dưới là các mã mặc định liên quan đến backend này. [4]

MãTrạng tháiĐịnh tuyến
200Đã khởi tạo, unsealed, activeNhận kết nối mới
429Unsealed, standbyKhông chọn làm đích
473Performance standbyKhông chọn làm đích
501 / 503Chưa khởi tạo / sealedKhông chọn làm đích

Giữ nguyên health API, không thêm standbyok=true hoặc perfstandbyok=true: các tham số này có thể làm standby trả mã active và lọt vào backend. Nếu chuyển sang phân phối request qua standby hoặc Performance Standby, phải sửa lại chính sách health check.

4.2. Tệp haproxy.cfg

Áp dụng cú pháp HAProxy 3.0 có OpenSSL. Hai máy HAProxy dùng cùng tệp. Chuẩn bị user/group haproxy, syslog và CA trước khi khởi động. Thay tên miền example.com và đường dẫn bằng giá trị của môi trường triển khai.

Tệp cấu hình: haproxy.cfg

# haproxy.cfg - proposed baseline for HAProxy 3.0
# Use the same backend configuration on BOTH HAProxy hosts.
global
    log /dev/log local0
    user haproxy
    group haproxy
    maxconn 2048

defaults
    log global
    mode tcp
    option tcplog
    timeout connect 5s
    timeout client 60s
    timeout server 60s
    timeout check 5s

frontend vault_api
    bind :8200
    default_backend vault_active

backend vault_active
    mode tcp
    option httpchk
    http-check send meth GET uri /v1/sys/health ver HTTP/1.1 hdr Host vault.example.com
    http-check expect status 200
    default-server inter 2s fall 3 rise 2

    server vault1 vault1.example.com:8200 check check-ssl check-sni vault.example.com verify required verifyhost vault.example.com ca-file /etc/haproxy/tls/vault-ca.pem
    server vault2 vault2.example.com:8200 check check-ssl check-sni vault.example.com verify required verifyhost vault.example.com ca-file /etc/haproxy/tls/vault-ca.pem
    server vault3 vault3.example.com:8200 check check-ssl check-sni vault.example.com verify required verifyhost vault.example.com ca-file /etc/haproxy/tls/vault-ca.pem

check-ssl bật TLS cho health check; check-sni gửi SNI. verify required kiểm tra chuỗi chứng thư bằng CA đã khai báo; verifyhost xác định tên cần kiểm tra. Không thêm ssl cho luồng dữ liệu trên dòng server, vì client đã thiết lập TLS trực tiếp với Vault qua TCP passthrough. [7]

Không gán backup cố định cho vault2 hoặc vault3. Cả ba node đều có thể trở thành active, nên đều phải được kiểm tra. Với chính sách chỉ nhận HTTP 200, standby bị đánh dấu DOWN trong backend HAProxy là trạng thái dự kiến; cần đọc health API để phân biệt standby, sealed và lỗi kết nối.

inter 2s: chu kỳ health check; fall 3: đánh dấu DOWN sau ba lần kiểm tra lỗi liên tiếp; rise 2: đưa backend lên UP sau hai lần kiểm tra thành công liên tiếp. Đây không phải thời gian failover cố định: còn có thời gian bầu active, timeout và chuyển VIP. Điều chỉnh timeout client/server theo thời lượng request thực tế.

5. Cấu hình Vault đề xuất

5.1. Tệp vault.hcl cho vault1

Mỗi node có node_id, thư mục Raft và khóa TLS riêng. Chứng thư từng node cần SAN cho tên node tương ứng và vault.example.com. Client và health check dùng tên dịch vụ; truy cập API trực tiếp dùng tên node. CA phải được tin cậy ở cả client, HAProxy và các node Vault. [9]

Tệp cấu hình: vault.hcl

# vault.hcl - example for vault1
ui = true
disable_mlock = true

api_addr     = "https://vault1.example.com:8200"
cluster_addr = "https://vault1.example.com:8201"

listener "tcp" {
  address         = "0.0.0.0:8200"
  cluster_address = "0.0.0.0:8201"
  tls_disable     = false
  tls_min_version = "tls12"
  tls_cert_file   = "/etc/vault/tls/server-fullchain.pem"
  tls_key_file    = "/etc/vault/tls/server-key.pem"
}

storage "raft" {
  path    = "/opt/vault/data"
  node_id = "vault1"

  retry_join {
    leader_api_addr     = "https://vault2.example.com:8200"
    leader_ca_cert_file  = "/etc/vault/tls/vault-ca.pem"
    leader_tls_servername = "vault.example.com"
  }

  retry_join {
    leader_api_addr     = "https://vault3.example.com:8200"
    leader_ca_cert_file  = "/etc/vault/tls/vault-ca.pem"
    leader_tls_servername = "vault.example.com"
  }
}

retry_join khai báo các địa chỉ để node tìm và join cụm. leader_ca_cert_file là CA dùng kiểm tra chứng thư; leader_tls_servername là tên TLS cần xác minh. Với Integrated Storage, dùng disable_mlock = true theo khuyến nghị HashiCorp và tắt swap. Cấp quyền đọc khóa TLS, ghi thư mục dữ liệu cho tài khoản chạy Vault. [8]

5.2. Điều chỉnh trên từng nút và khởi tạo cụm

Nút vault1

  • node_id: vault1.
  • api_addr: https://vault1.example.com:8200.
  • cluster_addr: https://vault1.example.com:8201.
  • retry_join: vault2, vault3.

Nút vault2

  • node_id: vault2.
  • api_addr: https://vault2.example.com:8200.
  • cluster_addr: https://vault2.example.com:8201.
  • retry_join: vault1, vault3.

Nút vault3

  • node_id: vault3.
  • api_addr: https://vault3.example.com:8200.
  • cluster_addr: https://vault3.example.com:8201.
  • retry_join: vault1, vault2.

api_addr là địa chỉ API riêng của node; cluster_addr là địa chỉ liên lạc cụm, không dùng VIP. Mở TCP 8200 từ các nguồn được phép truy cập API và phục vụ join cụm. TCP 8201 chỉ mở giữa các node Vault, không đưa qua HAProxy. [3]

Cấu hình dùng Shamir mặc định, không khai báo seal. Với cụm mới: init một lần trên node đầu tiên, unseal, rồi cho từng node còn lại join và unseal bằng bộ khóa của cụm. Xác nhận node đã đồng bộ và trở thành voter trước khi thêm node tiếp theo. Nếu dùng auto-unseal, bổ sung cấu hình seal và kiểm tra phụ thuộc KMS/HSM. [3]

6. Kiểm tra failover và sao lưu

6.1. Kiểm tra cấu hình và failover

Bộ cấu hình này chưa được kiểm thử triển khai thực tế. Chạy thử với đúng phiên bản Vault/HAProxy, CA và DNS sẽ sử dụng trước khi đưa vào production.

CLI — Kiểm tra cú pháp HAProxy

haproxy -c -f /etc/haproxy/haproxy.cfg

CLI — Khởi động Vault trong môi trường thử nghiệm

vault server -config=/etc/vault.d/vault.hcl

Lệnh trên khởi động Vault, không phải lệnh kiểm tra cú pháp. Chạy trong môi trường thử nghiệm cô lập; kiểm tra log, TLS và storage trước khi thực hiện các bài kiểm tra sau.

  • Xác nhận ba voter, một active; gọi health API từng nút bằng CA hợp lệ và kiểm tra kết nối qua tên dịch vụ.
  • Dừng nút Vault active trong môi trường thử nghiệm: xác nhận bầu chọn mới, HAProxy chọn đúng backend và ứng dụng phục hồi kết nối.
  • Dừng HAProxy đang giữ VIP và thử cả trường hợp tiến trình dừng nhưng máy vẫn hoạt động; xác nhận chuyển VIP.
  • Thử mất quorum có kiểm soát; ghi nhận hành vi lỗi của ứng dụng, cơ chế thử lại có giới hạn và kết quả phục hồi.
  • Đo thời gian phục hồi thực tế; kiểm tra đọc, ghi và quy trình nghiệp vụ bằng dữ liệu thử nghiệm.

6.2. Sao lưu và bảo vệ dữ liệu

Raft đồng bộ cả thay đổi hợp lệ lẫn thao tác xóa nhầm. Cần lưu snapshot riêng khỏi cụm, phân quyền truy cập và đặt chính sách lưu giữ. Với Integrated Storage, tạo snapshot bằng lệnh sau. [11]

CLI — Tạo bản sao lưu Raft

vault operator raft snapshot save backup.snap

Thử restore snapshot trong môi trường cô lập, sau đó kiểm tra dữ liệu và API. Ghi nhận thời gian khôi phục, thời điểm snapshot và khoảng dữ liệu mất đi để đối chiếu RTO/RPO. Kiểm tra cả điều kiện seal/unseal cần cho quy trình restore. [12]

Khi vận hành, theo dõi trạng thái sealed/unsealed, active/standby, quorum, dung lượng storage và lỗi audit log. Áp dụng policy theo quyền tối thiểu; quản lý riêng khóa unseal/recovery và root token. Không ghi token hoặc secret vào log hay tệp cấu hình công khai. [13]

7. Kết luận

Mô hình này có hai đường failover: Keepalived chuyển VIP giữa hai HAProxy; Raft bầu Vault active trong cụm ba voter. HAProxy chỉ mở đường tới active bằng health check HTTP 200. Khi nghiệm thu, kiểm tra riêng mất active, mất máy giữ VIP và mất quorum; ghi nhận lỗi phía client và thời gian phục hồi.

Các bài trong series Vault

Tài liệu tham khảo

Bài viết thể hiện quan điểm cá nhân, không đại diện cho cơ quan hoặc tổ chức nào.

If you found this helpful, you can buy me a coffee and keep me going. Thank you!
https://buymeacoffee.com/vohongnhuy1996
Võ Hồng Như Ý – 16/11/2026

4 responses to “Vault (2/5): Dự phòng cho Vault với HAProxy”

Leave a Reply