Bytes-Angabe in Apache Logfiles - Was genau zeigt sie an?

[Gast King555]

In einer Apache Logdatei befindet sich ja eine Byte-Angabe. Zu dieser habe ich folgende Information gefunden:

Angabe entspricht der Dateigröße (ohne HEADER) bzw. tatsächlich gesendete Anzahl an Bytes

Was denn nun? Größe oder übertragene Bytes?

[geloescht_JesterDay]

Ich denke mir, das tatsächlich übertragene Bytes bezieht sich auf einen Status != 200. Also z.B. wenn der Client nur einen Teil der Daten angefordert hat, Code 206 Partial Content.

Wobei es glaub ich keine anderen Codes mehr gibt wo das eine Rolle spielen könnte.

[Gast King555]

Das würde dann ja bedeuten, dass wenn mein Provider den Gesamttraffic aus den Logfiles liest, dieser unter Umständen völlig anders ist, oder? Meine Statistik sagt etwas von 14 TB Traffic in 4 Tagen, 13 TB von einer Person.

[Bubble]

Wenn das Logfile nur die übertragenen Nutzdaten (keine Header, keine Anfragen, kein TCP/IP Overhead) enthält, dann wird der tatsächlich angefallene, bzw. beim Datenabruf verursachte, Netzwerk-Traffic höher liegen.

Was denn nun? Größe oder übertragene Bytes?

Ich sehe das so: Wenn alle Bytes einer angeforderten Datei übertragen wurden, dann entspricht dies der Dateigröße. Drückt der Benutzer beim Download auf Abbruch, dann werden die bisher übetragenen Bytes protokolliert.

[Gast King555]

Ich verstehe dich jetzt so, dass - im Gegensatz zu dem was JesterDay gesagt hat - die protokollierten Bytes das Minimum an Traffic sind, was bei mir entstanden ist. Aber wie ist es zu erklären, dass jemand in jeder Sekunde 700 MB heruntergeladen hat?

[Bubble]

Ich verstehe dich jetzt so, dass - im Gegensatz zu dem was JesterDay gesagt hat - die protokollierten Bytes das Minimum an Traffic sind, was bei mir entstanden ist.

Ja, das Minimum. Über die Netzwerkschnittstelle gehen mehr Informationen, denn der Protokolloverhead mehrerer Netzwerkschichten kommt noch hinzu. JesterDay hat aber auch nichts gegenteiliges gesagt, er hat nur erläutert, wann die Anzahl übertragener Bytes kleiner als die Dateigröße ist.

Aber wie ist es zu erklären, dass jemand in jeder Sekunde 700 MB heruntergeladen hat?

Wie kommt dieser Wert zustande? Aus einer einzelnen Zeile im Log?

[Gast King555]

Hier ein ganz kleiner Auszug aus einer Logdatei, alle diese Zeilen standen direkt untereinander (man beachte die Uhrzeit):

xx.xx.194.37 - - [23/Mar/2008:22:51:52 +0100] "GET /downloads/datei.avi HTTP/1.1" 200 723507856 "http://url.de/download.htm" "FlashGet"

xx.xx.194.37 - - [23/Mar/2008:22:51:52 +0100] "GET /downloads/datei.avi HTTP/1.1" 200 723507856 "http://url.de/download.htm" "FlashGet"

xx.xx.194.37 - - [23/Mar/2008:22:51:52 +0100] "GET /downloads/datei.avi HTTP/1.1" 200 723507856 "http://url.de/download.htm" "FlashGet"

xx.xx.194.37 - - [23/Mar/2008:22:51:53 +0100] "GET /downloads/datei.avi HTTP/1.1" 200 723507856 "http://url.de/download.htm" "FlashGet"

xx.xx.194.37 - - [23/Mar/2008:22:51:54 +0100] "GET /downloads/datei.avi HTTP/1.1" 200 723507856 "http://url.de/download.htm" "FlashGet"

xx.xx.194.37 - - [23/Mar/2008:22:51:55 +0100] "GET /downloads/datei.avi HTTP/1.1" 200 723507856 "http://url.de/download.htm" "FlashGet"

xx.xx.194.37 - - [23/Mar/2008:22:51:55 +0100] "GET /downloads/datei.avi HTTP/1.1" 200 723507856 "http://url.de/download.htm" "FlashGet"

xx.xx.194.37 - - [23/Mar/2008:22:51:56 +0100] "GET /downloads/datei.avi HTTP/1.1" 200 723507856 "http://url.de/download.htm" "FlashGet"

xx.xx.194.37 - - [23/Mar/2008:22:51:57 +0100] "GET /downloads/datei.avi HTTP/1.1" 200 723507856 "http://url.de/download.htm" "FlashGet"

xx.xx.194.37 - - [23/Mar/2008:22:51:57 +0100] "GET /downloads/datei.avi HTTP/1.1" 200 723507856 "http://url.de/download.htm" "FlashGet"

xx.xx.194.37 - - [23/Mar/2008:22:51:58 +0100] "GET /downloads/datei.avi HTTP/1.1" 200 723507856 "http://url.de/download.htm" "FlashGet"

xx.xx.194.37 - - [23/Mar/2008:22:51:58 +0100] "GET /downloads/datei.avi HTTP/1.1" 200 723507856 "http://url.de/download.htm" "FlashGet"

xx.xx.194.37 - - [23/Mar/2008:22:51:58 +0100] "GET /downloads/datei.avi HTTP/1.1" 200 723507856 "http://url.de/download.htm" "FlashGet"

[geloescht_JesterDay]

Das liegt daran, dass da nicht angezeigt wird wie die Übertragung gelaufen ist, sondern welche Datei wann und von wem angefordert wurde und wie der Statuscode war.

Wenn du die Datei anforderst, wird dieser Eintrag geschrieben. Wenn der Benutzer die DAtei 10 mal anfordert werden 10 Einträge geschrieben.

Wenn der Benutzer dann alle 10 abbricht stehen dennoch diese 10 Einträge drin, denn vom Abbruch bekommt der Apache nichts mit.

Das ist die Access.log, da werden Zugriffe geloggt, keine Übertragungen.

Da es sich bei FlashGet um einen DownloadManager handelt, schätz ich einfach mal, dass da 10 mal angefragt wurde und 10 Teile jeweils geladen wurden. Das wird, auch bei einzelnen Servern, gemacht um den Download u.U. zu beschleunigen. Bei nur einem Server kann das deshalb trotzdem schneller sein, weil u.U. für jeden Download nur eine maximale Bandbreite zugelassen ist. 10 Downloads = 10mal diese Bandbreite, in der Theorie.

[Gast King555]

OK, dann noch eine abschließende Frage, um mein Anliegen endgültig zu klären:

Wenn sowohl meine Statistik als auch die Administrationsoberfläche meines Providers genau diese Logdateien zur Trafficermittlung nutzen, dann kann ich doch beide Trafficangaben in den Wind schießen, oder?

[geloescht_JesterDay]

Wenn sowohl meine Statistik als auch die Administrationsoberfläche meines Providers genau diese Logdateien zur Trafficermittlung nutzen, dann kann ich doch beide Trafficangaben in den Wind schießen, oder?

Sicher dass sie das tun?

Wenn du etwas beim Apache anfrägst, dann wird der Status ja sofort in der Antwort geschickt, und der ändert sich ja nicht wenn du den Download dann abbrichst.

Kannst es ja mal selbst probieren. Leg eine Datei auf deinen Webspace und nenn die von mir aus irgendwie dass sie keiner findet. Also so wie der Video, von der Größe. Dann fang an das zu laden und hör nach 50MB auf. Dann wirst du ja sehen, was im Log steht

[Gast King555]

Ich habe es lokal getestet (XAMPP) und dort in der Webalyzer Statistik (die gleiche wie bei meinem Provider) taucht jedes Mal die volle Dateigröße auf, egal wieviel man davon geladen hat.

Vor allem wie ist es zu erklären, dass eine einzelne Person in 48h 13 TB Traffic erzeugt hat?

[geloescht_JesterDay]

Ich habe es lokal getestet (XAMPP) und dort in der Webalyzer Statistik (die gleiche wie bei meinem Provider) taucht jedes Mal die volle Dateigröße auf, egal wieviel man davon geladen hat.

Webalyzer ist eine Statistik, die du bei deinem Provider zu sehen bekommst. Das heißt ja aber noch lange nicht, dass der Provider die für sich und für seine Trafficanalyse nutzt

s.o.?

Also ich weiß nicht genau was bei dir das Problem ist. Aber falls du wirklich wegen dem access.log vom Apache deinen Traffic angerechnet bekommst (und für den u.U. auch angemahnt wirst), dann würd ich das Problem mal dem Provider mitteilen und fragen, ob die da jemand sitzen haben, der Ahnung von dem hat was er tut.

Das access.log ist auf keinen Fall für eine Traffic-Berechnung zu gebrauchen. Das hast du ja selbst probiert und kannst das denen genauso schildern.

[Gast King555]

Also Tatsache ist, dass sowohl meine Statistik als auch die Trafficangabe in der Kundenadministration diese 14 TB Traffic für diesem Monat anzeigt. Und die Statistik zeigt an, dass 13 TB von einem einzelnen User, sprich IP kommt.

Und es ist ebenfalls diese Trafficanzeige, wovon der Provider spricht, wenn er sich bei mir wegen zuviel Traffic beschwert.

Bisher antwortet der Support wegen dem Thema noch nicht...

[Gast King555]

Ähm... Wo gibt es denn hier die Bearbeiten-Funktion? Wollte jetzt eigentlich einen Doppelpost vermeiden...

Der Provider hat geantwortet, allerdings ist er in KEINSTER Weise auf meine Frage eingegangen, wie denn deren Traffic ermittelt wird. Die stellen sich also dumm. Denn das würde ja ganz klar Betrug bedeuten. Denn wenn jemand eine Trafficbegrenzung hat, so könnte ich diese mit ein paar Mausklicks überschreiten und derjenige müsste zahlen (zum Vorteil des Providers), auch wenn diese in Wirklichkeit nur wenige KB Traffic produziert haben.

Interessanterweise kam die Mail jetzt vom Leiter des Supports, das hatte ich noch nie. Vermutlich soll sich da keiner verplappern oder so...

[geloescht_JesterDay]

Ähm... Wo gibt es denn hier die Bearbeiten-Funktion?

10 Minuten lang links neben "Zitieren".

Ansonsten... du weißt ja jetzt was das Problem ist, zur Not kannst du dich ja mal damit an die c't wenden. Da werden solche Probleme ja auch teilweise berichtet. Weiß den Namen der Kategorie grad nicht mehr, les die länger schon nimmer.

[Gast King555]

OK, danke soweit. Wird ja so langsam auch Off-Topic, da meine Ursprungsfrage geklärt ist.

[Crash2001]

Falls das ein Root-Server oder Virtual Server sein sollte, könntest du einfach mal einen bestimmten Zeitraum überwachen (z.B. mit iptraf, falls es Linux sein sollte) und die Daten dann mit den vom Provider ermittelten vergleichen. Sollten sich die Daten von den von deinem Provider angegebenen Daten unterscheiden, dann mahn ihn an, den Traffic korrekt zu überwachen und schreib, dass du seinen Trafficreport anzweifelst und für Mehrkosten nicht aufkommst, solange der angegebene Traffic nicht dem tatsächlich angefallenem entspricht. EIn Logfile kannst du dann ja als Nachweis anhängen.

Zudem sind die Daten, die das Rechenzentrum in dem der Server steht nicht verlassen, normalerweise von dem zu bezahlenden Traffic ausgenommen. Schau mal genau in deinen Vertrag, was da zum Punkt Traffic und Berechnung steht.

[Gast King555]

Es handelt sich nicht um so eine Art von Server. Es ist ein normales Webspace Paket auf Servern, wo sich noch 50 andere Kunden befinden. Ich habe auf den Server ansich keinen Zugriff. Ich sehe es auf jeden Fall als klaren Betrug von Seiten des Providers an.