Generieren von Testdatein

[w40kcadia]

Hallo zusammen,

ich habe folgendes anliegen und hoffe hier kann mir jemand weiterhelfen. Um Probleme im Netzwerk besser nachvollziehen zu können möchte ich gerne immer wieder Dateien von Standort A nach Standort B und Standort C kopieren. Dazu brauche ich natürlich Testdatein, diese sollten sich im Bereich zwischen 2-5Gb bewegen. Nun meine Frage an euch, kennt jemand ein Tool mit dem ich solche Dateien erzeugen kann.

Wichtig dabei ist für mich das die Dateien möglichst unterschiedlich von ihrem Aufbau/Inhalt sind, da bei uns an allen Standorten Wan Optimierungen eingesetzt werden. Sprich wenn die Dateien zu ähnlich sind habe ich immer bei der 2 Übertragenen Datei sehr viele gechachte Pakete und es bleibt mir nur den gesamten Chache zu löschen um erneut sinnvoll zu testen.

Was ich bisher gefunden habe ist die Windows Funktion „fsutil file createnew†wie weit das aber meine oben genannte Anforderung an die Dateien erfüllt kann ich nicht sagen.

Hat jemand noch andere Vorschläge?

Vielen Dank im Vorraus

[MartinSt]

Meine erste spontane Idee wäre:

Du besorgst dir ausreichend viele Dateien (zB Videos) als "Bausteine" z.B. in der Größenordnung von jeweils 100-200MB.

Aus diesen wählst du zufällig 10-20 Bausteine aus und kopierst diese per copy datei1 + datei2 + ... + datei15 dateigross zusammen.

Damit ist deine dateigross zufällig aus den Bausteinen zusammengesetzt.

Gruß Martin

[w40kcadia]

Danke Martin für deinen Vorschlag, so etwas in der Art wäre denkbar.

Gibt es noch andere Ansätze würd das ganze gerne Scripten (mit log das geschrieben wird) um mit dem ganzen möglichst wenig Arbeit zu haben. Da verschiedene Standorte, Server und Uhrzeiten getestet werden sollten.

Nachtrag zu fsutil: Ich glaube das es sich hierbei nicht um ein geeignetes Tool für mich Handelt da es zwar eine Datei mit 5 GB anlegt und dadurch auch 5 GB Platz auf der Platte belegt aber keine wirklichen Daten schreibt. Schreibzeit für ein 5GB File auf eine normalle HDD 2 Sekunden und beim Kopieren der Datei auf die gleiche Platte bekomme ich über 700MB/s das wirkt für mich dann doch etwas unrealistisch. -> Große Datei aber ohne Inhalt, das war nicht wirklich das was ich gesucht habe.

[Enno]

Warum generierst du dir die Datei nicht mittels batch selber?

Ungetestet mangels windows Rechner

Setlocal enabledelayedexpansion

for /L %%N IN (1, 1, 268435456) DO (echo %random:~-4% >> testfile.txt)

Sollte dir eine 1gb große Datei erstellen die mit zufallszahlen gefüllt ist.

[Chief Wiggum]

http://www.heise.de/download/netio.html ist bekannt?

[MartinSt]

Richtig dicke Dateien in der gewünschten Größenordnung bekommt man z.B. wenn man den ProcessMonitor von SysInternals mitloggen lässt. Dieser lässt sich auch verscripten.

Gruß Martin

[w40kcadia]

Hallo zusammen,

vielen Dank für eure zahlreichen Lösungsansätze.

@ Enno: Dein Vorschlag hat mir sehr gut gefallen da ich ihn direkt in mein Script integrieren könnte. Habe es gerade auch getestet, Syntax funktioniert soweit. Allerdings ist die Datei nach 10 Minuten Schreiben erst bei 2,57MB würde also ewig dauern eine Datei in der Größe von 5 Gb zu schreiben.

-> Daher eher weniger geeignet für mich.

@Martin: Danke werde ich noch testen.

@Chief: Danke für den Link, genau dieses Tool kannte ich noch nicht. Habe andere Tools getestet die konnten aber nur die Geschwindigkeit zwischen den Servern, nicht aber die Geschwindigkeit beim Kopieren von Dateien auf die Shares testen. Mal schauen ob ich mit dem Programm weiterkomme.

[paperdoll]

Moin moin,

IOmeter ist ein ziemlich gutes Tool um die Performance von Datenträgern zu testen. Hiermit kannst du files schreiben lassen und verschiedenes verhalten einstellen sowie mehrere Threads erstellen die sich wiederum unterschiedlich verhalten. Eventuell kannst du das Tool verwenden bzw. mit anderen Tools kombinieren um zu deinem gewünschten Ergebnis zu kommen.

Ich nutze das Tool um Performance Tests für die Anbindung von SAN Luns, tests für VMware Ressourcenpools zu machen bzw. um bei Bedarf die Beweislast von der Infrastruktur auf zB. Softwarehersteller zu verschieben.

Gruß

paper

/Tanke Edith hat natürlich auch einen Link parat: Iometer | Free System Administration software downloads at SourceForge.net

[Wuwu]

@TE: Man testet kein Netzwerk durch das Kopieren von Dateien... Du testest damit naemlich eher den Storage auf Ziel und Quelle.

Programme wie iperf, iometer oder ttcp bringen hier wesentlich bessere, weil isolierte Ergebnisse.

[w40kcadia]

@wuwu ich teste serwohl den Netzwerkverkehr. Wenn ich vom selben Standort auf das Storage kopiere erreiche ich um X-fach höhere Ergebnisse als über die WAN Leitung.

Tools zum testen der Netzwerkperformance bringen bei uns meist recht hohe, fast schon befriedigende Ergebnisse. Probleme bekommen wir überwiegend wenn über Windows Freigaben Datein kopiert werden, die übertragungsraten hierbei sind aber nicht immer schlecht. Um eben genau diese Performance Probleme eingrenzen zu können wollen wir regelmässig Datein über Windows Datentransfer kopiern.

Danke auch noch an alle anderen die mir weiter geholfen haben.

[Wuwu]

Dann testest du falsch...

Wenn du Probleme hast Dateien zu kopieren solltest Du Storage und Netzwerk getrennt testen um den wirklichen Flaschenhals zu finden, nachher ists einfach nur die Queuesize und du verprasst unnoetig mehr Geld mit Bandbreite