PCIe 3.0

[darkfader]

Hallo,

ich frag jetzt mal hier, weil ich vermute, dass Ihr mehr drueber wisst als ich. *g*

Zur Zeit hab ich zu wenig mit PC Hardware zu tun und hab jetzt einige Zeitlang nachgelesen, aber nicht wirklich genug rausfinden koennen, wie das mit PCIe3.0 zur Zeit aussieht.

Ich will mir nen Storageserver bauen und suche ein passendes Board, dass eine aktuelle Infiniband Karte satt machen kann (und gleichzeitig auch noch Bandbreite fuer die Platten haben muss!

Zum Mitrechnen:

(40+40 gbit infiniband * 0.8 fuer overhead + die Daten sollen auf die Platte oder gelesen werden, also das ganze mal 2.

Damit komm ich (blauaeugig an nem mueden Abend gerechnet) auf 128GBit, die im schlimmsten Fall durchs System passen muessen.

Das wirklich entscheidende ist, dass das Board einen PCIe3.0 slot hat, der auch funktioniert und nicht

mit ner CPU Generation die naechstes Jahr rauskommt dann gehen wird

Ich kapier's echt nicht so ganz, es gibt offenbar Boards von MSI, dann noch das Gigabyte Sniper fuer nen voellig verdrehten Preis und die Haelfte davon kann erst PCIe3 wenn eine andere CPU reinkommt?

Was ich wirklich brauch ist das unten geschriebene. Kennt einer von Euch sowas?

- mind. 1 8lane PCIe 3.0 slot und mind. 1 8lane PCIe 2.0 slot.

- ECC Speicher (unbuffered oder buffered, mir egal)

- CPU sollte eine sein, die eher hohen Takt hat als wie viele Cores. Ob das nun ein Phenom oder ein i5 oder.. ist, ist egal.

- idealerweise Grafik onboard oder IPMI (weil es Nerven schont).

Ja und was ich gleich noch haette sagen sollen:

Ich bin fuer jeden Tip dankbar

Bearbeitet 11. November 2011 von darkfader

[Eye-Q]

Aktuell kenne ich kein Board, was PCIe 3.0 unterstützt, da PCIe 3.0 gerade erst auf den allerersten Desktop-Boards mit Intel Z68-Chipsatz verbaut wird, wozu dann aber auch ein Ivy Bridge-Prozessor benötigt wird, der erst im kommenden Jahr rauskommen soll.

Außerdem müsste ja auch der HCA PCIe 3.0 besitzen, um die Bandbreite überhaupt theoretisch zur Verfügung stellen zu können, was soweit ich weiß kein Infiniband-HCA hat, eben weil PCIe 3.0 noch so gut wie gar nicht zum Einsatz kommt.

Bearbeitet 11. November 2011 von Eye-Q

[darkfader]

Aktuell kenne ich kein Board, was PCIe 3.0 unterstützt, da PCIe 3.0 gerade erst auf den allerersten Desktop-Boards mit Intel Z68-Chipsatz verbaut wird, wozu dann aber auch ein Ivy Bridge-Prozessor benötigt wird, der erst im kommenden Jahr rauskommen soll.

oh je, d.h. wenn ich mir die PCIe3.0 karte hol' dann ist das scheinbar auch nur "for future use" und ich darf dann gleich mal betatester sein und gucken, ob es alles tut.

Da will man dann nen sehr guten Haendler...

hihi "never run a touched system" cool

[Chief Wiggum]

Ääääääähm.... ein Storageserver der Klasse Imperialer Sternenzerstörer auf Basis von Gamerhardware? Das Gigabyte Sniper ist jedenfalls in diesem Bereich eingeordnet.

[darkfader]

*nachtrag*

Aeh und die ConnectX-3 tun das offenbar. So einen wuerd' ich nehmen.

[darkfader]

Ääääääähm.... ein Storageserver der Klasse Imperialer Sternenzerstörer auf Basis von Gamerhardware? Das Gigabyte Sniper ist jedenfalls in diesem Bereich eingeordnet.

Schoene Beschreibung

Und das Board war nur ein Beispiel weil es eben ein (imho) ziemlich schwachsinniges Exemplar ist, die nehmen da 400++ Euro fuer nahezu keinen Unterschied zu einem 150 Euro Dingsbums.

Dafuer bekommt man auch schon ein einigermassen Servertypisches Board von Intel.

Aber *ummmpf* tatsaechlich wird das besser kein Sternenzerstoerer. Die fallen auch immer runter in den Filmen, oder stossen zusammen.

Es ist kein "da sind alle meine wichtigen Daten drin und ich bete jeden Abend, dass sie drin bleiben" Server, sondern nur ein Ding, das *auch* eine Kopie der Daten hat.

Wenn der aufaellt, muss alles weiterlaufen, und es kann auch durchaus sein, dass da dann nur eine Mischung SATA und SAS Disks reinwandert. "Echter" Storage kann es eh nicht sein, solange da noch ein normales OS drauf laeuft :>

Ich denk im Moment entweder Richtung DR:BD oder Richtung Ceph.

Robuster Managementalbtraum vs. perfekt skalierendes Experimentalspielzeug

Bearbeitet 11. November 2011 von darkfader
alle woerter in die saetze tun.

[Chief Wiggum]

Und warum dann die Extreme PCIe 3.0 und Infiniband?

[Eye-Q]

Und vor allen Dingen: weißt Du, wie viel alleine ein Infiniband-HCA kostet? Der wird mehr als ein Gamer-PC alleine kosten...

[Chief Wiggum]

Und vor allen Dingen: weißt Du, wie viel alleine ein Infiniband-HCA kostet? Der wird mehr als ein Gamer-PC alleine kosten...

Du meinst abgesehen von den 6 -10.000 Euro für einen Infiniband-Switch?

[darkfader]

Und warum dann die Extreme PCIe 3.0 und Infiniband?

- Weil selbst 24 SATA Platten schon 24x100MB/s streamen.

- Weil so ein HCA nicht viel mehr kostet als eine 10Gbit Karte, die man leicht vollbekommt

- Weil die Netz-Latenz bei so nem Mirror immer das grosse Performanceproblem ist

Nochmal: Gamer-Hardware ist *kein* Kriterium in der Liste da oben, oder?

Ich hab nur einfach gesehen, dass dort das Thema PCIe3.0 zumindest schon auf dem Tisch ist, und es interessiert mich auch wirklich nicht arg, obs welche ist oder nicht. Ich hab mir auch schon mit Serverboards ins Klo gegriffen, weil ich da dachte, dass das der wichtigere Faktor sei.

Ich bin recht dankbar fuer die Infos bzgl. dem Stand von PCIe3.0.

Vom Bauchgefuehl her werd ich nun (wieder) ein brauchbares Intel oder Supermicro (Server) Board nehmen. Aber zu 99% wegen der Managementfunktionen

Bzgl. Infiniband, ja ich mach das nicht nur einfach aus ner Laune raus. Das sollte wohl klar sein?

Nen Switch habe ich, der kann aber nur DDR.

Idealerweise haengen die Systeme mit QDR deswegen direkt, anstatt ueber den Switch.

Mit den HCAs muss ich jetzt morgen nochmal rechnen.

Ich haette es nicht falsch gefunden, wenn das Board + CPU + HCAs einfach keinen Bottleneck haben.

Wenn das aber momentan garnicht machbar ist, dann ist evtl. etwas mit mehr 2.0 Lanes eh besser.

Also:

Nochmal danke, und ich hab keine Ahnung, wieso Ihr Euch mit "er will ein Gamerboard reintun" aufhaengt, wenn ich eines als Negativbeispiel erwaehnte *g*

Bearbeitet 11. November 2011 von darkfader

[darkfader]

hab doch sogar explizit ECC mit reingeschrieben, das wuerde es eh schon auf gamerhw mit nem workstation board reduzieren glaub ich