Instalare Proxmox VE cu Ceph — cluster hyperconverged

Proxmox VE cu Ceph iti da un cluster hyperconverged: compute si storage replicat pe aceleasi noduri, fara SAN si fara single point of failure. Ghid practic de la zero, cu comenzi.

De ce Proxmox + Ceph

Ceph distribuie datele pe discurile din toate nodurile, cu replica x3. Cade un disc sau un nod intreg — VM-urile continua de pe copiile de pe celelalte noduri, si se pot muta automat (HA). Fara array extern, fara licente.

Cerinte

Minim 3 noduri (quorum Ceph + HA real).
Retea dedicata pt Ceph, ideal 10GbE — replicarea genereaza trafic.
Discuri brute pt OSD (SSD/NVMe pt performanta) — Ceph le gestioneaza direct.
Retea separata pt corosync (cluster) ca sa nu concureze cu stocarea.

Ceph vrea discuri BRUTE, nu RAID hardware. Pune controllerul in mod HBA/IT (pass-through). RAID sub Ceph strica replicarea si performanta.

Arhitectura

1. Repo + update pe fiecare nod

# pe FIECARE nod: repo no-subscription (fara licenta) + update
echo 'deb http://download.proxmox.com/debian/pve bookworm pve-no-subscription' \
  > /etc/apt/sources.list.d/pve-no-sub.list
apt update && apt -y full-upgrade
reboot

2. Creare cluster Proxmox

# pe nod1: creeaza clusterul
pvecm create CYMMUNITY-CLUSTER

# pe nod2 si nod3: alatura-te (IP-ul nodului 1)
pvecm add 10.10.20.11

# verifica (de pe orice nod)
pvecm status

3. Instalare + init Ceph

# pe FIECARE nod: instaleaza Ceph (reef, repo no-subscription)
pveceph install --repository no-subscription

# initializeaza Ceph pe nod1 — retea dedicata pt replicare
pveceph init --network 10.10.30.0/24

4. Monitors + Managers

# monitor + manager pe fiecare nod (quorum = 3)
pveceph mon create
pveceph mgr create
ceph -s   # HEALTH_OK cand cei 3 MON sunt in quorum

5. Adaugare OSD-uri (discuri)

# adauga discurile brute ca OSD (repeta per disc, per nod)
pveceph osd create /dev/nvme0n1
pveceph osd create /dev/nvme1n1

ceph osd tree   # arata OSD-urile per nod

6. Pool RBD pt VM-uri

# pool RBD pt discurile VM-urilor (replica x3, min 2)
pveceph pool create vm-storage --size 3 --min_size 2 --application rbd

# se adauga automat ca storage 'vm-storage' in Datacenter -> Storage

7. High Availability

# activeaza HA pentru o masina virtuala (ex. VMID 100)
ha-manager add vm:100 --state started
ha-manager status

8. Verificare

ceph -s                 # HEALTH_OK, PG-uri active+clean
ceph osd df tree        # utilizare per OSD/nod
pvecm status            # quorum cluster Proxmox
ceph df                 # spatiu pool-uri

Concluzie

Ai un cluster Proxmox + Ceph rezistent la caderi de disc si de nod, cu HA si storage replicat — potrivit de la 3 noduri in sus. Il proiectam, dimensionam si monitorizam pentru tine.