Hallo zusammen,
Ich hätte gern mal eure Erfahrungen zum Raid.
Wir haben hier einen ausgemusterten HP Prolian DL380 Gen. 9 rumstehen, der hat 2 Xeon e2650 v3 , 256 GB RAM und 2 SAS ein GB und 6 SAS 980 GB drin.
Diesen möchte ich gern als Testsystem mit Proxmox betreiben, da wir wahrscheinlich nächstes Jahr von VMware auf Proxmox wechseln werden, kann man im Vorfeld schon mal einiges testen …
Meine Frage ist, setzte ich das RAID durch Proxmox auf oder mit der Server Hardware?
Ich möchte die 2 380er zum RAID 1 für das System und die 6 980er zum RAID 5 für die VMs haben.
Meine Frage ist, setzte ich das RAID durch Proxmox auf oder mit der Server Hardware?
Da kann man durchaus drüber diskutieren, spätestens seit der Erfindung von ZFS
Ein Hardware-Raid liefert NICHT: Herstellerunabhängigkeit; transparente Kompression; garantierte Integrität; (technisch) billige Snapshots; Replikation; einfache Erweiterbarkeit und sicher noch einiges mehr.
Einige dieser fehlenden Fähigkeiten werden durch die an das Hardware-Raid angeflanschte Software wettgemacht (LVM, .qcow2). Aber mit ZFS bekommt man den ganzen Stack aus einem Guss, ohne komplexe Stapelung mehrerer formal unabhängiger Softwareprodukte - und somit ohne "Reibungsverluste".
Diesen möchte ich gern als Testsystem mit Proxmox betreiben, da wir wahrscheinlich nächstes Jahr von VMware auf Proxmox wechseln werden, kann man im Vorfeld schon mal einiges testen …
Das ist doch genau der richtige Ausgangspunkt - eine Testkiste zum spielen, kaputtmachen und ausprobieren inkl. Desaster Recovery!
Also learning by doing!
Ich bevorzuge Hardware-Raid (je nach Controller), nutze aber kein ZFS sondern lieber ext4. Die Installation auf die 2x 1GBs, die 6x HDD als Raid 5 (oder 6) und als Verzeichnis einbinden. Das ist dann kein Blockdevice, aber etwas was man leicht auf der Shell "anfassen" kann.
Das kann einem reichen, muss aber nicht und dann wäre ZFS eine Idee.
Die Systemplatte mit dem Default installierten LVM kann man für ISO Dateien mit verwenden, die VMs auf das große Raid5(6?).
Sehe ich ähnlich. Die beiden Platten als Hardware RAID1 für das OS und den Rest als ZFS für die VMs. Oder wenn ZFS „too much“ ist, dann als Hardware-RAID10. Ein 5er oder 6er RAID würde ich mit HDDs nicht machen.
Nein, gibt es nicht. Ist ja eh zum spielen und kennenlernen.
Okay
Wenn man den Raid Controller allerdings so verwenden will, kann man ihn nicht in den ansonsten empfohlenen "IT"-Mode umschalten. ("Initiator Target", ohne virtuell definierte Platten. Wir wissen bisher gar nicht, welcher Controller-Typ vorhanden ist und was der so kann...)
Wichtig für die "ZFS-Hälfte" in deinem Ansatz ist, dass ZFS direkten Zugriff auf die Platten will und bekommen soll. Einen "Mischbetrieb" des Controllers habe ich "damals" nie gesehen, möglicherweise können heute Controller das. Ansonsten empfehle ich: entweder-oder!
Ideal wäre dann natürlich, mit zwei Controllern zu arbeiten...
Schon mal vielen Dank für die Infos und Anregungen …
Ich selbst habe schon seit Jahren mehrer NUCs für Proxmox inkl. Backupserver im Homelab am laufen, das Proxmox ist für mich also kein Neuland, mein Kollege will sich damit ein bisschen einarbeiten. Da werden wir einiges zusammen erforschen
Wollten halt früh genug uns mit der Materie auseinander zu setzen, grade auch was das Umziehen der VMs von VMware zu PM angeht …
Wenn man den Raid Controller allerdings so verwenden will, kann man ihn nicht in den ansonsten empfohlenen "IT"-Mode umschalten. ("Initiator Target", ohne virtuell definierte Platten. Wir wissen bisher gar nicht, welcher Controller-Typ vorhanden ist und was der so kann...)
Wichtig für die "ZFS-Hälfte" in deinem Ansatz ist, dass ZFS direkten Zugriff auf die Platten will und bekommen soll. Einen "Mischbetrieb" des Controllers habe ich "damals" nie gesehen, möglicherweise können heute Controller das. Ansonsten empfehle ich: entweder-oder!
Ideal wäre dann natürlich, mit zwei Controllern zu arbeiten...
Muss ich mir nächste Woche mal anschauen, was für ein RAID Controller verbau ist… werde nochmal berichten
Wirf auch einen Blick auf die Back Plane, insbesondere auf den Anschluss an den Raid Controller. Hier kann das Thema mit einem zweiten Controller schnell am Ende sein. Zum einen ob es möglich ist, und wenn ja wie die Platten dann auf mehrere Controller verteilt werden.
Man sollte auch im Auge behalten, dass der Ausfall eines RAID-Controllers all deine Redundanz in den Orkus schickt, sofern du nicht einen identischen im Regal liegen hast. Identisch meint bis zur Firmware-Version hinab.
Diesen SPOF schaltest du mit einem SW-RAID aus. Zumal SW-RAIDs auch performancetechnisch absolut auf Augenhöhe liegen.
P.S.:
Der Einsatz einer USV, statt einer BBU für den HW-Controller, lässt auch Caching zu, was bei rotierenden Eisen durchaus einen Performanceschub bringt. Sobald es um SSDs geht, fällt Caching eh unter den Tisch.
Man solle auch im Auge behalten, dass der Ausfall eines RAID-Controllers all deine Redundanz in den Orkus schickt, sofern du nicht einen identischen im Regal liegen hast. Identisch meint bis zur Firmware-Version hinab.
Diesen SPOF schaltest du mit einem SW-RAID aus. Zumal SW-RAIDs lauch performancetechnisch absolut auf Augenhöhe liegen.
P.S.:
Auch der Einsatz einer USV, statt einer BBU für den HW-Controller, lässt lässt auch Caching zu, was bei rotierenden Eisen durchaus einen Performanceschub bringt. Sobald es um SSDs geht, fällt Caching ehe unter den Tisch.
Kann Dir mit einem reinen HBA auch passieren (natürlich anders): Controller kaputt, Platten offline. Der große Vorteil gegenüber einem RAID controller: neuen HBA verbauen -> Platten und ZFS wieder erreichbar. Aber stimmt schon: propieträre RAID controller sind ein zu großer SPOF. Selbst bei baugleichem Ersatz kann es zu Überraschungen kommen. Mit 9361-8i hatte ich solche Erlebnisse in der Vergangenheit.
Kann Dir mit einem reinen HBA auch passieren (natürlich anders): Controller kaputt, Platten offline. Der große Vorteil gegenüber einem RAID controller: neuen HBA verbauen -> Platten und ZFS wieder erreichbar. Aber stimmt schon: propieträre RAID controller sind ein zu großer SPOF. Selbst bei baugleichem Ersatz kann es zu Überraschungen kommen. Mit 9361-8i hatte ich solche Erlebnisse in der Vergangenheit.
Klar. Ein HBA ist in meinen Augen auch nur ein Notnagel, wenn ein MB selbst nicht genügend Anschlüsse mitbringt. Ist er nicht verbaut, dann kann er auch nicht rumnerven, selbst wenn der Hersteller behauptet sein Controller würde keinesfalls proprietär agieren. Wenn ich nun 48-Medien bereitstellen möchte ist er unumgänglich. Diese Anforderung ist aber eher ein Nischenproblem.
Hallo zusammen,
Ich hätte gern mal eure Erfahrungen zum Raid.
Wir haben hier einen ausgemusterten HP Prolian DL380 Gen. 9 rumstehen, der hat 2 Xeon e2650 v3 , 256 GB RAM und 2 SAS ein GB und 6 SAS 980 GB drin.
Diesen möchte ich gern als Testsystem mit Proxmox betreiben, da wir wahrscheinlich nächstes Jahr von VMware auf Proxmox wechseln werden, kann man im Vorfeld schon mal einiges testen …
Meine Frage ist, setzte ich das RAID durch Proxmox auf oder mit der Server Hardware?
Ich möchte die 2 380er zum RAID 1 für das System und die 6 980er zum RAID 5 für die VMs haben.
Ich muss mal Udo etwas widersprechen. Bei den 300GB HDDs, würde ich lieber ein Hardware Raid1 mit Batteriecache bevorzugen. Den Unterschied bei dem drehenden Rost merkt man deutlich.
Die 980er sind vermutlich 960GB SSDs, dann könntest du dich auch mit ZFS versuchen, aber bitte kein RaidZ1 / 2 ( Raid5/6) für VMs, wenn du das Volumen zum testen brauchst, dann lieber auf der Testkiste Hardware Raid5 mit Batteriecache (Smart Path deaktivieren) nutzen.
Falls das 900GB HDDs sind, die damals üblicher waren, lieber kein ZFS.
Für produktiv kannst du ja was vernünftiges planen, aber zum testen ist der Server mit Hardware Raid schon OK.
Hab grad nochmal auf den Server geschaut, also es sind SAS 10k HDDs verbaut, 2x 300 GB und 5 x 900 GB, meine erste Aussage ganz oben passt nicht, hatte ich falsch in Erinnerung.
Den RAID Controller muss ich mit nachher mal genau ansehen.
Ich würde eine von den 5 großen HDDs ausbauen, aus den verbleibenden 4 ein RAID10 machen und die kleinen als RAID1 für das OS. Das RAID10 entweder per fstab oder als Directory einbinden.
Und wenn du mutig bist und die Kiste eh nur zum Testen ist, kannst du aus den 5 HDDs auch ein RAID0 machen. ;-)
Die 5. HDD kannst Du als Reserve drin lassen und einen striped mirror aus den 4 Stück erstellen. RAIDZ/5/6 (parity) ist für VM Performance generell die schlechteste Wahl.
