Proxmox VE mit Ceph installieren — hyperkonvergenter Cluster

Proxmox VE mit Ceph liefert einen hyperkonvergenten Cluster: Compute und replizierter Storage auf denselben Knoten, ohne SAN und ohne Single Point of Failure. Ein praktischer Leitfaden von Grund auf, mit Befehlen.

Warum Proxmox + Ceph

Ceph verteilt die Daten ueber die Datentraeger aller Knoten, mit 3-facher Replikation. Faellt ein Datentraeger oder ein ganzer Knoten aus — laufen die VMs von den Kopien auf den anderen Knoten weiter und koennen automatisch migrieren (HA). Kein externes Array, keine Lizenzen.

Anforderungen

Mindestens 3 Knoten (Ceph-Quorum + echtes HA).
Ein dediziertes Netzwerk fuer Ceph, idealerweise 10GbE — die Replikation erzeugt Verkehr.
Rohe Datentraeger fuer OSDs (SSD/NVMe fuer Leistung) — Ceph verwaltet sie direkt.
Ein separates Netzwerk fuer corosync (Cluster), damit es nicht mit dem Storage konkurriert.

Ceph will ROHE Datentraeger, kein Hardware-RAID. Setzen Sie den Controller in den HBA/IT-Modus (Pass-Through). RAID unter Ceph zerstoert Replikation und Leistung.

Architektur

1. Repo + Update auf jedem Knoten

# pe FIECARE nod: repo no-subscription (fara licenta) + update
echo 'deb http://download.proxmox.com/debian/pve bookworm pve-no-subscription' \
  > /etc/apt/sources.list.d/pve-no-sub.list
apt update && apt -y full-upgrade
reboot

2. Proxmox-Cluster erstellen

# pe nod1: creeaza clusterul
pvecm create CYMMUNITY-CLUSTER

# pe nod2 si nod3: alatura-te (IP-ul nodului 1)
pvecm add 10.10.20.11

# verifica (de pe orice nod)
pvecm status

3. Ceph installieren + initialisieren

# pe FIECARE nod: instaleaza Ceph (reef, repo no-subscription)
pveceph install --repository no-subscription

# initializeaza Ceph pe nod1 — retea dedicata pt replicare
pveceph init --network 10.10.30.0/24

4. Monitors + Managers

# monitor + manager pe fiecare nod (quorum = 3)
pveceph mon create
pveceph mgr create
ceph -s   # HEALTH_OK cand cei 3 MON sunt in quorum

5. OSDs hinzufuegen (Datentraeger)

# adauga discurile brute ca OSD (repeta per disc, per nod)
pveceph osd create /dev/nvme0n1
pveceph osd create /dev/nvme1n1

ceph osd tree   # arata OSD-urile per nod

6. RBD-Pool fuer VMs

# pool RBD pt discurile VM-urilor (replica x3, min 2)
pveceph pool create vm-storage --size 3 --min_size 2 --application rbd

# se adauga automat ca storage 'vm-storage' in Datacenter -> Storage

7. High Availability

# activeaza HA pentru o masina virtuala (ex. VMID 100)
ha-manager add vm:100 --state started
ha-manager status

8. Pruefen

ceph -s                 # HEALTH_OK, PG-uri active+clean
ceph osd df tree        # utilizare per OSD/nod
pvecm status            # quorum cluster Proxmox
ceph df                 # spatiu pool-uri

Fazit

Sie haben nun einen Proxmox-+-Ceph-Cluster, der gegen Datentraeger- und Knotenausfaelle resistent ist, mit HA und repliziertem Storage — geeignet ab 3 Knoten. Wir entwerfen, dimensionieren und ueberwachen ihn fuer Sie.