2 GB große csv-Datei öffnen

[Alex_winf01]

Hallo liebe Forengemeinde,

ich habe eine 2 GB große csv-Datei hier liegen und muss diese öffnen. Gibt es da einen Editor für?

[Chief Wiggum]

Excel bis 2003 hat eine Begrenzung bei 65000 Zeilen, 2007 kann deutlich mehr - allerdings befürchte ich, dass selbst das nicht ausreicht. Die üblichen Verdächtigen (UltraEdit, Notepad++ etc.) hast du schon getestet?

Ich würde aber bei der Datenmenge das ganze eher in eine echte Datenbank importieren, um performant damit arbeiten zu können.

[flashpixx]

Falls man keine Datenbank will, empfehle ich für solche Datenmengen Hierarchical Data Format ? Wikipedia

[lupo49]

Auch wenn du die mit einem Editor geöffnet bekommst, was willst du dann damit machen?

Damit ist kein performantes Arbeiten möglich.

[Alex_winf01]

@ Chief Wiggum

hab es mal in eine Oracle-DB eingelesen und hierfür den SQL*Loader verwendet. Nach dem die 24.155.000 Datensätze eingelesen waren, erschien auf dem Bildschirm wieder der sqlldr-Befehl im DOS-Fenster. Die Anzahl der Datensätze stimmt, es wurde keine bad-Datei erstellt und es waren alle relevanten Datensätze in der Datenbank. Ist das normal für Oracle?

[Chief Wiggum]

Ist das normal für Oracle?

Keine Ahnung, ich arbeite nicht mit Oracle. Es scheint aber so zu sein, dass dein Vorhaben erfolgreich abgearbeitet wurde. Ob das nun für Oracle normal ist, kann dir sicher jemand anders bestätigen.

Excel 2007 hätte das übrigens nicht mehr gepackt, es kann "nur" 1.048.576 Zeilen verarbeiten.

[Alex_winf01]

@ Chief Wiggum

Mit welcher Datenbank arbeitest Du?

[Chief Wiggum]

Mit welcher Datenbank arbeitest Du?

Ist doch egal, CSV-Daten kann man m.W. in jede Datenbank hineinpumpen.

[carstenj]

Hi,

Die Anzahl der Datensätze stimmt, es wurde keine bad-Datei erstellt und es waren alle relevanten Datensätze in der Datenbank. Ist das normal für Oracle?

was? Dass es funktioniert? Ich verstehe die Frage nicht.

[dscp2]

Kannst es ja mal mit Baretail versuchen, ist vorrangig dafür gedacht, logs

anzuschauen, die gerade in Verwendung sind.

Daher wird die Datei nicht gleich als ganzes gelesen sondern nur stückweise.

Wie weit dir das aber für die Weiterverarbeitung hilft, weiss ich leider nicht.

Soll das eine Portierung werden zwischen verschiedenen Datenbanken?