Storage erweiterung

[tuskasa]

Guten Tag!

Also wir planen bei uns eine Speichererweiterung. Grob sieht es bei uns im Moment so aus dass wir 2 ESX Server haben denen bald der Speicher ausgehen könnte, da unser Fileserver (noch keine VM) bald aus der Garantie fällt. Also möchten wir die Speicherkapazität der Server erweitern, vorzugsweise natürlich mit einem externen Speicher auf den beide Server gleichzeitig zugreifen können.

Da ich mich noch nicht so gut mit allen Möglichkeiten die es da so gibt auskenne, wollte ich mir hier mal ein wenig Inspiration holen

Also noch mal kurz mein technischer Rahmen:

-2 x ESX Server mit gleichzeitigem zugriff auf den selben Speicherplatz (um die ausfallzeiten der VMs gering zu halten sollte einer der Server sterben)

-Beide Server haben den selben SCSI (Ultra320) Controller verbaut mit einem externen Anschluss

-Kein SAN vorhanden

Bisher schaue ich mir grade diverse NAS systeme an brauche aber gerade für die Budgetrechtfertigung auch alternative Techniken zum Vergleich :mod:

Also falls jemand noch andere Ideen außer ein NAS-System hat nur her damit

[flashpixx]

Aus dem Bauch heraus, ich würde zu einem SAN + iSCSI raten, das wird auch ESX Server unterstützt

[@@@]

Optimalfall wäre da wohl ne SAN mit FC HBAs in den ESX Kisten und SAS Platten.

Als Beispiel kannst ja z.B. n Raid 5 mit 6 Platten (5+1 Hotspare) nehmen.

Bei 300GB Platten wäre das eine Gesamtkapazität von 1,2 TB

Damit kann man eigentlich schon was anfangen, nicht unbedingt günstig (je nach Unternehmensgröße) aber recht performant.

[DocInfra]

RAID 5 zu empfehlen ist bei Unkenntnis der eingesetzten Anwendungen ziemlich schlecht. Ein Storagesystem hat eh schon wenig Ahnung was "oben" passiert, aber bekanntlich sind die Cacht-Hit Rates in virtualisierten Umgebungen schlechter als z.B. bei einem Fileserver. Aus dem Grund schlägt die Write-Penalty oft ungünstig zu.

RAID 5 nur dann, wenn man sich über die Performanceengpässe bewusst ist, und die 5 Platten genug IOPS liefern können. Zudem lieber mehr Platten, statt wenige große Platten. Also statt 5x 300 GB lieber 10x 146 GB.

[tuskasa]

Ja ein SAN mit FC etc würd vieles einfach lösen da sich solche Lösungen schon etabliert haben. Der knackpunkt hier wäre leider der Preis :/

Da das Budget relativ knapp ist (~3,5k) bin ich auf die Idee mit den NAS Systemen gekommen. Allerdings schaut hier die Performance wohl relativ mies aus wenn ich dem glauben darf was ich so in Vmware Foren lesen :/

Was die Anwendungen angeht so liegt keine wirklich hohe Last auf den Servern. Ein paar Datenbankserver, wo der einzige ein wenig gestresste wohl der für unser CRM-System ist, aber wenn ich mir den Performance-Monitor von VMware anschaue ist auch hier die Auslastung eher Mittelmaß.

(Kennt sich jemand mit Disk Arrays aus? Hatte noch keine Zeit mich darüber zu informieren :floet:, vielleicht ein Link / Preisindikator oder soetwas würde mir reichen, ansonsten bemühe ich später mal wikipedia )

[DocInfra]

Was genau interessiert dich?

Schau mal hier (Tag Storage) oder hier.

[@@@]

RAID 5 zu empfehlen ist bei Unkenntnis der eingesetzten Anwendungen ziemlich schlecht.

Das soll ja keine keine Empfehlung sein, sondern nur ein Kostenvergleich. Optimalfall weil das so den Einsteigsbereich in Sachen SAS SAN darstellt (ohne jetzt auf ein spezifisches Einsatzscenario einzugehen)

Primär gehts ja darum Kostenvergleiche aufzustellen, da interessiert die technischen Specs eher weniger. Da würde ich lediglich den (Kosten/Performance)unterschied zwischen einem SAN und einem NAS aufführen.

Im schlimmsten Fall hast du halt jemanden vor dir stehen der dann die Kosten einer 1TB USB platte gegenüberstellt

Deine Seite werd ich aber mal aufmerksam durchstöbern

[DocInfra]

Das soll ja keine keine Empfehlung sein, sondern nur ein Kostenvergleich. Optimalfall weil das so den Einsteigsbereich in Sachen SAS SAN darstellt (ohne jetzt auf ein spezifisches Einsatzscenario einzugehen)

SAS SANs gibt es nicht. SAN ist ein Netzwerk. SAS ist eine mittlerweile durchaus gängige Anschlusstechnik bei Platten in Storagesystemen. In einem SAN kommt iSCSI, Fibre-Channel oder ESCON/ FICON zum Einsatz. Ich halte eine korrekte Bezeichnung für sehr wichtig in dem Bereich. Es kommt sonst ständig zu Missverständnissen etc. Ich bekomme das immer wieder im Kundenumfeld mit.

Primär gehts ja darum Kostenvergleiche aufzustellen, da interessiert die technischen Specs eher weniger. Da würde ich lediglich den (Kosten/Performance)unterschied zwischen einem SAN und einem NAS aufführen.

Äpfel mit Birnen vergleichen. In einem SAN wird blockbasiert auf den Speicher zugegriffen. Bei einem NAS dateibasiert. Auch wenn VMware ESX beides als Datastore nutzen kann, so hat das nichts miteinander zu tun.

Im schlimmsten Fall hast du halt jemanden vor dir stehen der dann die Kosten einer 1TB USB platte gegenüberstellt

Genau, dass sind dann die Leute die sagen "Meine USB Platte ist ja schneller!", wenn sie 25 Spindeln mit 4K Write IOs in einem RAID 5 ärgern. Das sie beim Kopieren von Dateien auf ihre USB Platte eine Spindel haben, die ca. 70 IOPS liefert und pro IO im Schnitt 30K verpackt, steht auf einem anderen Blatt Papier... Das "MB/s = IOPS x Transfer Size" ist, haben die wenigsten Leute begriffen...

[tuskasa]

SAS SANs gibt es nicht. SAN ist ein Netzwerk. SAS ist eine mittlerweile durchaus gängige Anschlusstechnik bei Platten in Storagesystemen. In einem SAN kommt iSCSI, Fibre-Channel oder ESCON/ FICON zum Einsatz. Ich halte eine korrekte Bezeichnung für sehr wichtig in dem Bereich. Es kommt sonst ständig zu Missverständnissen etc. Ich bekomme das immer wieder im Kundenumfeld mit.

Oh ja, das hat mich Anfangs auch sehr verwirrt. Mittlerweile bin ich aber zu dem selben Schluss gekommen, also danke für die Bestätigung

Nachdem ich mich noch ein wenig umgeschaut habe werde ich wohl wirklich zu einer NAS mit iSCSI Anbindung tendieren, da läßt sich auch für "geringes" Geld eine anständige Lösung realisieren.

Weiß jemand ob es eine über SCSI (beide Server haben ja Controller für den Anschluss externer SCSI Geräte) angeschlossene Lösung gäbe auf die beide Server zugreifen könnten?

@bla!zilla

Bei Disk Arrays wär erstmal der Zugriff interessant. Wie die angeschlossen werden bzw. ob man mehrere Server auf ein Array zugreifen lassen kann.

[DocInfra]

Nachdem ich mich noch ein wenig umgeschaut habe werde ich wohl wirklich zu einer NAS mit iSCSI Anbindung tendieren, da läßt sich auch für "geringes" Geld eine anständige Lösung realisieren.

Sowas gibt es nicht. Es gibt aber Systeme die Speicher per CIFS/ NFS anbieten können, oder aber auch per iSCSI/ Fibre-Channel. Aber auch nicht den gleichen Speicherbereich. Ich denke so ein System (z.B. HP StorageServer oder NetApp Filer) meinst du.

Weiß jemand ob es eine über SCSI (beide Server haben ja Controller für den Anschluss externer SCSI Geräte) angeschlossene Lösung gäbe auf die beide Server zugreifen könnten?

Solche Systeme gab es... vor Jahren. Da hatte so ein Storagesystem mehrere SCSI Ports zum Anschluss von Servern. Heute dürfte sowas (wenn es wirklich SCSI ist, also U320, U160 etc) nur noch bei absoluten Kleinsanbietern finden. Mittlerweile haben sich Fibre-Channel, Ethernet (iSCSI), SAS und FICON zur Hostanbindung durchgesetzt.

Bei Disk Arrays wär erstmal der Zugriff interessant. Wie die angeschlossen werden bzw. ob man mehrere Server auf ein Array zugreifen lassen kann.

Mehrere Hosts an einem Storage sind kein Problem. Mehrere Hosts auf ein logisches Laufwerk erfordert ein Clusterfilesystem.

Bearbeitet 10. September 2009 von DocInfra

[tuskasa]

Sowas gibt es nicht. Es gibt aber Systeme die Speicher per CIFS/ NFS anbieten können, oder aber auch per iSCSI/ Fibre-Channel. Aber auch nicht den gleichen Speicherbereich. Ich denke so ein System (z.B. HP StorageServer oder NetApp Filer) meinst du.

Die Idee mit dem Zugriff auf den selben Speicherbereich habe ich mittlerweile auch verworfen, diese Lösungen liegen preislich etwas zu hoch, aber danke

Also NAS mit iSCSI Anbindungsmöglichkeiten gibt es schon, oder ich deute die Produktbeschreibungen falsch. Hier mal ein Beispiel:

...Dank Unterstützung der Protokolle CIFS/SMB, NFS und iSCSI gelingt die Einbindung von Clients, Workstations und Servern mit den Betriebssystemen...

Produkt / xtivate exonas 200 R2-OF-810 Openfiler Rackmount 2HE NAS mit 8TB (8x 1TB)

Solche Systeme gab es... vor Jahren. Da hatte so ein Storagesystem mehrere SCSI Ports zum Anschluss von Servern. Heute dürfte sowas (wenn es wirklich SCSI ist, also U320, U160 etc) nur noch bei absoluten Kleinsanbietern finden. Mittlerweile haben sich Fibre-Channel, Ethernet (iSCSI), SAS und FICON zur Hostanbindung durchgesetzt.

Ok, schade. Aber das hilft mir auch weiter. Kann ich direkt von dieser Lösung abraten. Danke ^^

Mehrere Hosts an einem Storage sind kein Problem. Mehrere Hosts auf ein logisches Laufwerk erfordert ein Clusterfilesystem.

Ok danke für die Info das reicht mir schon mal als Einstiegspunkt :old

[DocInfra]

Also NAS mit iSCSI Anbindungsmöglichkeiten gibt es schon, oder ich deute die Produktbeschreibungen falsch. Hier mal ein Beispiel:

Per Definition falsch. Ein NAS liefert Daten filebasiert. Da sich iSCSI aber leicht implementieren lässt, können einige NAS Systeme mittlerweile auch Speicher blockbasiert per iSCSI liefern. Der Speicher existiert auf dem NAS dann in Form von Containerdateien im normalen Dateisystem. Man kann also nicht Daten per SMB/CIFS, NFS _und_ iSCSI verteilen.

[tuskasa]

Per Definition falsch. Ein NAS liefert Daten filebasiert. Da sich iSCSI aber leicht implementieren lässt, können einige NAS Systeme mittlerweile auch Speicher blockbasiert per iSCSI liefern. Der Speicher existiert auf dem NAS dann in Form von Containerdateien im normalen Dateisystem. Man kann also nicht Daten per SMB/CIFS, NFS _und_ iSCSI verteilen.

Ergeben sich in einem solchen fall den Nachteile wenn ich Speicherplatz sowieso nur über iSCSI anbieten möchte? :confused:

[DocInfra]

Ja, denn du hast da noch ein Dateisystem zwischen. Die Blöcke, bzw. die Metadatenstruktur, liegt nicht direkt auf den Platten, sondern in einer Containerdatei in einem Dateisystem. Das sind noch zwei Layer (einmal Container und einmal Dateisystem) mehr.

[bigvic]

Ergeben sich in einem solchen fall den Nachteile wenn ich Speicherplatz sowieso nur über iSCSI anbieten möchte? :confused:

Also ehrlichgesagt würde ich mit iSCSI erst garnicht anfangen, dass war, ist und bleibt eine Totgeburt. War nur mal ein Hype bei den Sales. Gäähn.

Da glaub ich schon eher an FCoE, aber das dauert noch ne Weile bis da die Hersteller so weit sind und es auch bezahlbar wird ...

Daher mein Tipp:

Du brauchst blockbasierten Speicher (und höhere Perfomance): Mach Fibre-Channel(P) mit einem Storagekübel

Du brauchst filebasierten Speicher (mit mässiger Perfmance): Mach CIFS/NFS via IP mit einem Filer

Bearbeitet 22. September 2009 von bigvic

[DocInfra]

Also ehrlichgesagt würde ich mit iSCSI erst garnicht anfangen, dass war, ist und bleibt eine Totgeburt. War nur mal ein Hype bei den Sales. Gäähn.

Falsch. iSCSI ist mittlerweile gut etabliert, gerade da, wo Kunden eine sehr gute Netzwerkinfrastruktur haben und die Kosten für Fibre-Channel scheuen. Zudem ist iSCSI sehr elegant, wenn es darum geht Preise und Servicelevel an Storage zu schreiben. Je nachdem was man bereit ist zu zahlen gibt es ESCON/ FICON/ FC, iSCSI oder filebasierten Speicher in Form von CIFS/ NFS.

Da glaub ich schon eher an FCoE, aber das dauert noch ne Weile bis da die Hersteller so weit sind und es auch bezahlbar wird ...

Das dauert noch min. zwei bis drei Jahre. Die Technik ist interessant, vor allem im Hinblick auf eine Single Protocol Fabric (Ethernet). Trotzdem ist es nicht ganz einfach Ethernet das beizubringen, was Fibre-Channel ausmacht. Das wird auch nicht ohne Opfer gehen.

[bigvic]

Falsch. iSCSI ist mittlerweile gut etabliert, gerade da, wo Kunden eine sehr gute Netzwerkinfrastruktur haben und die Kosten für Fibre-Channel scheuen. Zudem ist iSCSI sehr elegant, wenn es darum geht Preise und Servicelevel an Storage zu schreiben.

Wenn man iSCSI ordentlich implmentiert, d.h. getrenntes Netz, iSCSI optimierte Netzwerkkarten, etc. ist der TCO gegenüber eine FC-Lösung heutzutage nur noch marginal. Und wer setzt schon iSCSI ein (und vergewaltigt das TCP/IP), wenn er für nahezu den selben Preis FC bekommen kann? Kein Mensch - zumindest kenn ich bislang keinen.

Ich behaupte wiederum das Gegenteil, dass sich iSCSI im Markt nicht wirklich etabliert hat, sondern nur vereinzelt als "Notlösung" oder "aufgeschwatze Lösung im Marketinghype" eingesetzt wird. Wobei ich zugeben muss, dass ich selbst eher weniger KMUs als Kunde habe. Jedoch ist so auch das Feedback der Storagehersteller mit denen ich in meiner Region zu tun habe. (Ich schau mal nach einer Gartner- oder IDC-Studie um da mal etwas Fleisch an meine Behauptung zu bringen).

Aber eine Diskussion ist da glaub müssig, da es vielleicht auch wieder eine Glaubensfrage ist. Ich zumindest hab fast nur schlechte Erfahrungen (von Stabilität bis Performance) mit dem Zeug gemacht und scheue es, wenn möglich, wie der Teufel das Weihwasser.

Edit: Hier noch ein Link zur Marktentwicklung von letztem Jahr mit verschiedenen Thesen.

Bearbeitet 22. September 2009 von bigvic

[DocInfra]

Wenn man iSCSI ordentlich implmentiert, d.h. getrenntes Netz, iSCSI optimierte Netzwerkkarten, etc. ist der TCO gegenüber eine FC-Lösung heutzutage nur noch marginal. Und wer setzt schon iSCSI ein (und vergewaltigt das TCP/IP), wenn er für nahezu den selben Preis FC bekommen kann? Kein Mensch - zumindest kenn ich bislang keinen.

Ich kenne diverse. FC ist immer noch deutlich teurer, wenn man es richtig macht. Zudem wildern gerade DELL mit ihren MD3000i und NetApp im iSCSI Umfeld. Glaub mir das, ich bin da tagtäglich unterwegs. Klar, keiner wird hingehen und ein ESX Cluster aus 15 Hosts per iSCSI anbinden. Aber wenn ich zwei ESX Server habe, oder ein kleines HA Cluster aus zwei Nodes, dann kann ich dafür iSCSI nehmen. Wenn ich aber Durchsatz brauche (MB/s), dann macht iSCSI kaum Sinn (z.B. für Backup). Wenn du mal 16 Laufwerke in einer HP ESL füttern musstest, dann wirst du schnell merken, dass es über iSCSI GAR NICHT geht.

Ich behaupte wiederum das Gegenteil, dass sich iSCSI im Markt nicht wirklich etabliert hat, sondern nur vereinzelt als "Notlösung" oder "aufgeschwatze Lösung im Marketinghype" eingesetzt wird. Wobei ich zugeben muss, dass ich selbst eher weniger KMUs als Kunde habe. Jedoch ist so auch das Feedback der Storagehersteller mit denen ich in meiner Region zu tun habe. (Ich schau mal nach einer Gartner- oder IDC-Studie um da mal etwas Fleisch an meine Behauptung zu bringen).

Also mir sind direkt drei DAX Konzerne bekannt, die iSCSI durchaus als Alternative zu FC einsetzen. Halt abhängig davon, was die Kostenstelle bereit ist zu zahlen.

Ich selber habe schon ein paar iSCSI Umgebungen hochgezogen (HP LeftHand, DataCore SANmelody/SANsymphony, HP EVA über iSCSI Connectivity Kit etc.). Reine iSCSI Umgebung sind aber eher was ganz kleine Umgebungen. Und da ist, und bleibt FC, derzeit einfach zu teuer.

btw: Definieren wir mal KMU. Ich halte mich da an das HGB. Und wenn andere das auch tun, dann haben die oft mehr KMUs im Kundenstamm, als ihnen lieb ist.

Bearbeitet 23. September 2009 von DocInfra