Daten-Datei riesig geworden (800mb) - kann nicht sein...

[lipstick]

Nach dem mergen von 4 Daten-Dateien (die durchschnittlich 2mb groß sind) ist die gemergte Datei plötzlich 800mb groß geworden - und natürlich ziemlich langsam beim Arbeiten.

Die Datei ist gemerged ca 5.000 Fälle groß und hat unter 400 Variable.

Was habe ich falsch gemacht? Kann man die Datei wieder kleiner bekommen?

[Frido]

Wenn keine doppelten Fälle oder doppelten Variablen dabei sind, wirst du wohl mit der riesigen Datei leben müssen ...

[lipstick]

aber sind 800mb realistisch für 5.000 x 400 Zellen?

[drfg2008]

aber sind 800mb realistisch für 5.000 x 400 Zellen?

Nein. Bei Weitem nicht.

@Frido: Damit wird man auch nicht leben müssen.

Fehlersuche oder/und noch einmal mergen.

(4x2 =8 mb minus overhad) Das wäre zu erwarten.

[lipstick]

Noch einmal mergen wird schwierig, weil dieser Prozess von mehreren durchgeführt wurde und wir keinen Überblick haben, wann genau das passiert ist.

Wie könnte eine Fehlersuche aussehen?

[drfg2008]

Die Beschreibung klingt schon etwas außergewöhnlich. Das wäre ja vom Umfang her 100 mal soviel wie realistisch. Dann waren beim Merging von vier kleinen Dateien mehrere Personen beteiligt?

Ohne Kenntnis der Daten ist deine Frage nicht zu beantworten. Eventuell wurden sämtlich Variablen als STRING abgespeichert? Lange Strings, anstatt Codierungen? Oder unendlich viele leere Variablen angelegt?