Frage SAN Subsystem für Server (SUN Micro.)

[-uLtrA-]

Hallo,

Das "Sun StorEdge T3 Storage" kursiert ja zurzeit sehr günstig bei ebay rum.

Ich mache gerade meine erste Erfahrungen mit SAN und Disk Arrays, daher stellt sich mir die Frage, was für Dienste bietet mir so ein Gerät an.

(NFS?)

Es wird ja quasi über eine SC - SC LWL Verbindung zum Host eine Verbindung hergestellt oder ein FC-Hub ist dazwischen.

Aber wie integriert man das Plattensystem bzw. die vorher konfigurierten Disk Arrays in das System des Hosts?

Ich lass leider nirgends etwas darüber, dachte eher an die Richtung das auf diesem Gerät ein NFS-Server läuft?

Hat jemand z.b. Erfahrung mit SUN Storage Systemen?

Benötige ich zum integrieren extra Software? kostenlos? nicht kostenlos?

Laut Sun unterstützt das Gerät Systeme wo Linux drauf läuft. Ich fand leider nichts genaues was mir meine Frage beantworten konnte.

Erfahrungsberichte oder Antworten wären interressant zu erfahren

danke & Gruß

Jens

[DocInfra]

Das Storage spricht normales SCSI, allerdings kommt als Transportprotokoll Fibre-Channel zum Einsatz. SCSI ist bei FC ein ULP (Upper Layer Protocol), weitere ULPs sind z.B. FICON oder HIPPI. Du brauchst in deinem Server einen sog. Fibre-Channel HBA (Host-Bus Adapter). Das Gerät kannst du entweder direkt anschließen (Point-2-Point), über einen FC-Hub (FC-Arbitrated Loop) oder mittels FC-Switch (Fabric). Anschließend erscheinen die logischen Laufwerke auf dem Storage an deinem Host als normale SCSI Devices. Diese logischen Laufwerke nennt man auch LUNs.

[alligator]

Hi,

gleich vorab - ich kenne das System Sun StorEdge T3 Array nicht wirklich. Aber ist denke ich wie jeder JBOD (Details findest aber hier Sun Microsystems: Sun StorEdge T3 Array for the Workgroup.

NFS = Nein.

NFS ist ein Dienst. Da brauchst du Intelligenz (Server), z.B. eine Netapp-Filer, EMC-Celerra, etc. Oder du machst NFS für arme und nimmst nen normalen Linux-Hobel haust dein Storage-Array oder lokale Platten hinter nd machst nen NFS-Share auf. Dieses Teil ist ein normales JBOD, dass kannst du vie FC-AL an deinen Server anschliessen. Je nachdem was du für ein HBA hast, brauchst nen LC - SC oder SC - SC Kabel.

Integration?

HBA einbauen, Firmware und Treiber installieren, notwendige OS-Files (kenn nur SunOS, deshalb kann ich zu Linux nix sagen, aber da gilt RTFM) anpassen und ab geht die Luzi.

Ciao,

alligator

[DocInfra]

Dieses Teil ist ein normales JBOD, dass kannst du vie FC-AL an deinen Server anschliessen. Je nachdem was du für ein HBA hast, brauchst nen LC - SC oder SC - SC Kabel.

Meinst du die T3? Die T3 ist kein JBOD, die kann schon RAID 0, 1 und 5. Administriert wird das Ding über den Sun StorEdge Component Manager.

[alligator]

Hi,

echt? Kenne wie gesagt das Ding nicht und hab auch beim kurzen überfliegenm der Manuals auf der SUN-Seite nichts von RAID gefunden.

Und ich dachte immer SUN kann keine Hardware-Raid ... ach neee .. wart mal ... SUN kann kein HW-Raid von dem man Solaris booten kann, deshalb muss man ja immer SDS od. Veritas für bootdisks einsetzen

ciao,

alligator

[DocInfra]

Der gute, alte Software-Mirror über Veritas... Die T3 kann schon RAID und die größeren Storage von SUN sind eh von HDS. Das is dann auch richtige "Männertechnik". Die T3 ist zwar nicht mit Linux zertifiziert, aber FC-AL, HBA und SCSI ist auch kein Hexenwerk. Sehe keinen Grund warum das nicht laufen sollte.

[-uLtrA-]

cool!

Danke schonmal für die Infos!

Wenn ich das richtig verstehe, dann müsste doch der HBA eine normale

Netzwerkkarte SX sein oder?

[alligator]

Hallo,

Nein.

HBA (FC), was du benötigst, ist zum Beispiel das hier: Emulex Corporation - Fibre Channel HBAs - LP101

ciao,

alligator

[-uLtrA-]

oh, jetzt hätte ich fast zu einer Gigabit FC Netzwerkkarte gegriffen, glücklicherweise sind die HBA's auch nicht teurer bei ebay.

Danke!

Im moment läuft gerade eine Auktion:

eBay: Emulex LightPulse LP9002L-E HBA (Artikel 330097973429 endet 22.03.07 10:11:37 MEZ)

Oder z.b.

eBay: HP 1GB Fibre Channel HBA- Adapter A5158A, A5158-60001 (Artikel 160096444769 endet 25.03.07 15:49:44 MESZ)

Aber allerdings weiß ich nicht ob der eingesetzte GBIC das richtige ist? (ohje viel lernen ich muss )

(Ich mein es geht ja bei uns nicht um das neueste HA, Highspeed SAN, Einsteigerbereich sozusagen )

Allerdings hat diese Karte ein 2Gbit Interface (Vermute ich mal?) Oder haben die das Voll-Duplex nur zusammenaddiert.

Wäre diese Karte z.B. kompatibel?

Also wenn man für den HBA Treiber hat und die Karte richtig eingerichtet ist, bekommt man automatisch die SCSI Devices angezeigt. D.h. das Storage System braucht keine Art "Freigabe" etc.?

Administriert wird das Ding über den Sun StorEdge Component Manager.

Oh, das scheint ja mehr ein extra Gimmick zusein. Per Telnet über das Control-Interface ließe sich aber auch alles administrieren soweit ich das aus den Manuels herrauslesen kann. Also bin ich nicht auf den Component Manager angewiesen?

Danke schonmal, ich bin echt ein ganzes Stück weiter!

[DocInfra]

Der HBA muss FC-AL unterstützen. Die GBICs sollten passend sein, sollten halt keine Longwave GBICs sein. Sind bei HBAs auch eher ungewöhnlich. Die 2 GBit sind abwärtskompatibel, 1 GBit FC funktioniert also auch.

Automatisch passiert da gar nichts. Du musst schon die LUNs auf dem Array einrichten und dann an den Host präsentieren. Dann hast du aber ein "normales" SCSI Device am Host mit dem du arbeiten kannst.

[alligator]

Hallo,

und nimm den Link zur T3-Doku wahr.

Du wirst ihn brauchen, denn um RTFM wirst definitv nicht drum rum kommen.

Das ist kein Klicki-Bunti

ciao,

alligator

[-uLtrA-]

Hallo,

und nimm den Link zur T3-Doku wahr.

Du wirst ihn brauchen, denn um RTFM wirst definitv nicht drum rum kommen.

Das ist kein Klicki-Bunti

ciao,

alligator

Jo Danke!

Den Installation Guide habe ich mir gestern schon grob angeschaut, daher weiß ich auch in etwas auf was ich mich einlasse, zumindest was die Kommandozeile betrifft.

Es sind halt die essentiellen Dinge der Hardware die mir gerade Probleme bereiten.

Was hälst du von den geposteten HBA Karten?

[-uLtrA-]

Der HBA muss FC-AL unterstützen. Die GBICs sollten passend sein, sollten halt keine Longwave GBICs sein. Sind bei HBAs auch eher ungewöhnlich. Die 2 GBit sind abwärtskompatibel, 1 GBit FC funktioniert also auch.

Automatisch passiert da gar nichts. Du musst schon die LUNs auf dem Array einrichten und dann an den Host präsentieren. Dann hast du aber ein "normales" SCSI Device am Host mit dem du arbeiten kannst.

Aha okay. Sowas hatte ich mir schon gedacht das dass nicht gleich Plug'n Play sein wird!

Okay, dann schaue ich mal danach.

Richtige SAN Profis hier, coole Sache

[alligator]

Hallo,

ich persönlich bin ein Emulex-Fan, da ich mit den Dingern bisher nur gute Erfahrungen gemacht hab. Falsch machen kannst mit nem Teil nichts.

Den anderen kenn ich nicht, wird aber auch ein Brand von den üblichen Verdächtigen sein.

ciao,

alligator

[-uLtrA-]

Was mich nur gerade verwundert

"Fibre Channel FC-MI, FC-PH, FC-PH-2, FC-PH-3, FC-PI "

bla!zilla meinte der HBA müsse ja auch FC-AL unterstützen.

Ich finde bei diesem Teil nur nirgends was dazu.

Technische Daten zu Emulex LP9002L-EMC - Netzwerkkarte bei dooyoo.de

ahha da stehts komischweise wieder.

Also nehme ich mal die Karte

Wehe einer bietet mit

[alligator]

Hi,

wo eierst du denn rum? Geh doch auf die Herstellerseite:

http://www.emulex.com/products/hba/9002l/ds.pdf

Da steht dann auch drin, dass FL_port supportet ist.

ciao,

alligator

[-uLtrA-]

ohje.

Jetzt habe ich ja aber noch ein Problem.

Es steht zwar überall dort das Linux unterstützt wird.

Es gibt aber nur Packages für Suse und RedHat.

Hat man da nicht irgendwie die Möglichkeit solche Pakete auch auf einem Debian Sarge System zu installieren?

Nämlich hier

Emulex Corporation - Support Resources for Linux

@alligator

ohh, jaa google halt

[Grandmasta]

Also unter Ubuntu benutze ich das Programm alien, um .rpm in .deb zu konvertieren. Probiers mal damit.

[DocInfra]

Also unter Ubuntu benutze ich das Programm alien, um .rpm in .deb zu konvertieren. Probiers mal damit.

Brauchst du nicht und hat auch nichts damit zu tun. Die Treiber für gängige HBAs sind im Kernel drin, oft bieten Hersteller Sourcen der Treiber an.

Ob Emulex, QLogic, Atto, Vixel o.ä. is egal. Ich habe bessere Erfahrungen mit QLogic gemacht, Emulex war früher mal mehr verbreitet. Ist aber auch egal.

Ein FL-Port ist übrigens ein Fabric-Loop Port. Daran können also dann auch FC-AL Devices an eine Fabric angeschlossen werden. Darauf musst du achten.

[-uLtrA-]

Hi,

so, ich habe mich mittlerweile schon weiter schlau gemacht

Ich habe euch aber immer noch nicht komplett ausgefragt *g*

Sorry

Ne also was mir gerade nicht einleuchtend ist:

Wenn alles geklappt hat, Treiber und die Volumes konfiguriert, bekommt man das Device quasi mittels "format" etc. angezeigt.

Jetzt heißt es in der manuell nun kann man jedes beliebige Dateisystem etc. drauf machen und mit "VERITAS" z.b. nochmal auf Serverseite kleiner partitionieren.

Nun meine Frage, ich habe mir das irgendwie anders gedacht

Was ich wollte:

Mehrere Server sollen auf diesen Datenbestand zugreifen. Aber wenn ich doch jedesmal die Platten formatieren muss passt da doch irgendwas nicht oder?

Oder erstellt man das Dateisystem einfach nur auf Server A und tut dann mit Server B, C ... einfach nur noch die Platte mounten?

Ich stehe gerade total auf den Schlauch sorry

[DocInfra]

Mehrere Server sollen auf diesen Datenbestand zugreifen. Aber wenn ich doch jedesmal die Platten formatieren muss passt da doch irgendwas nicht oder? Oder erstellt man das Dateisystem einfach nur auf Server A und tut dann mit Server B, C ... einfach nur noch die Platte mounten?

Paralleler Zugriff mit mehreren Servern ist nur bei entsprechendem Dateisystem möglich. Unter anderem Oracle Cluster Filesystem oder GFS. Mit Veritas Filesystem, ReiserFS, NTFS, ext2/3 usw. ist das _nicht_ möglich. Dann musst du die Platte an einen Server anbinden und die Daten per Windows Freigabe oder NFS o.ä. bereitstellen.

[-uLtrA-]

damn

danke

mhh, also es ist aber Glücklicherweise nicht abhängig vom eingesetzten SAN soweit ich das herrauslesen kann aus wikipedia. Das bedeutet ich müsste quasi nur auf jeden meiner Clients das Dateisystem als GFS einrichten.

(ganz simple ausgedrückt)

Würdest du mir davon abraten oder ist das machbar?

Ich muss mit Debian zurechtkommen

(NFS kommt nicht in Frage, es sollen schon jede "Clients" unabhängig per FC auf das SAN zugreifen und teilweise auch die gleichen Volumes nutzen können)

[-uLtrA-]

(Wieso kann man sein Beitrag nicht editieren o0)

Naja,

Bis jetzt habe ich nachvollziehen können:

1) Server wird der GFS-Server

Dieser mounted Lokal das SAN

2) Es gibt dann die GFS-Clients diese kommunzieren mit dem GFS-Server der das ganze managt. (Control / I/O requests)

Und der eigentliche Datentransfer erfolgt aber trotzdem direkt über FC? Und nicht erst zum GFS-Server (sonst wärs ja witzlos)

Dann habe ich aber einen SpoF, wenn der GFS-Server ausfällt oder?

puhh, das wird ja immer komplexer

Korrigiert mich jemand wenn ich falsch liege?

Danke

Gruß Jens!

[DocInfra]

Ich kenne GFS nicht im Detail, aber so sieht es wohl aus. Der parallele Zugriff auf blockbasierten Speicher ist immer ein Problem. Genau für sowas gibt es spezielle Dateisysteme, wie GFS oder OCFS2, oder aber den filebasierten Zugriff per SMB/CIFS, (open)AFS oder NFS.

[-uLtrA-]

mhh, GFS, verschiebe ich erstmal auf einen anderen Zeitraum..

@bla!zilla

Du hattest vollkommen recht, der 2.6.er hat wohl sogut wie alle Treiber mit am start

Danke für eure Hilfe. Man kann sagen das es funktioniert

RAID konfiguriert, SCSI Devices formatiert&partioniert und bissl probiert dann läuft das Ding einwandfrei!

Jetzt habe ich allerdings noch 1x Problem

Das dumme ist, wenn ich die LWL Kabel während dem Betrieb einstecke erkennt das System das automatisch und ich muss nur noch mein vorher definiertes mounten.

Jetzt aber wenn!

Das SAN online ist, und ich die Kiste neu boote, dann macht er folgenden Unerklärlichen mist:

Er läd und kommt irgendwann beim mounten der Filesysteme an. Jetzt habe ich:

sda (-> interne Festplatte)

sdb (-> Storageplatten)

Und was macht der Blödman, er schnappt sich die Storageplatte mountet die als sda und wundert sich dann warum folgendes passiert:

http://paste.lisp.org/display/37908

Ich habe bei der Emulex Karte extra eingestellt, das er nichts zum Booten benutzen soll und sogar das BIOS auf der Karte disabled. Nichts, jedesmal beim booten macht er das und springt dann in diese "komische" Halbconsole.

Dort habe ich dann zufälligerweise erkannt das er das SAN als sda gemountet hat.

Was kann ich da nun machen? Das muss man doch irgendwo "fest" definieren können, welche Platte er zuerst als sda festlegt? In meiner FSTAB steht lediglich am Ende der Datei ein normaler Befehl die Platte zu mounten.

Ich denke das ist ein Anfängerproblem, wäre super wenn jemand wüsste in welcher Konfigdatei ich das ändere.

Danke & Gruß Jens