printk (Server) Probleme bei zuvielen Verbindungen

[-uLtrA-]

$Board = Fachinformatiker;

Hallo $Board Members,

(das schon das x-te Forum, finde leider niemanden der auch nur annäherend so ein Problem hatte..)

Ich stehe vor einem ziemlich blöden Problem und komme einfach nicht mehr weiter, und hoffe auf die mithilfe von anderen. :S

Vielleicht bin ich ja hier an der richtigen Adresse und jemand gibt mir einen Tipp

Dann fange ich mal an (genug geblubbert)

Konfiguration/Hinweise

Es handelt sich um zwei identische Server mit

Linux version 2.6.8-11-amd64-k8-smp (Debian 3.4.3-13)) #1 SMP

Server A ist der Webserver (apache2.2.4 & php 4.4.5)

Server B ist der Datenbankserver (mysql 4.3.xx)

Jeweils nur 1x Schnittstelle ans Internet

Folgendes Problem:

Ich habe seit einiger Zeit extreme Lastprobleme. Und zwar passiert folgendes wenn zur Hauptzeit abends irgendwann eine gewisse Anzahl von Usern auf der Webseite erreicht wird.

Feb 20 18:56:38 localhost kernel: printk: 553 messages suppressed.

Feb 20 18:56:42 localhost kernel: printk: 544 messages suppressed.

Feb 20 18:56:47 localhost kernel: printk: 517 messages suppressed.

Feb 20 18:56:52 localhost kernel: printk: 514 messages suppressed.

Feb 20 18:56:57 localhost kernel: printk: 578 messages suppressed.

Feb 20 18:57:02 localhost kernel: printk: 697 messages suppressed.

Feb 20 18:57:07 localhost kernel: printk: 667 messages suppressed.

Feb 20 18:57:12 localhost kernel: printk: 722 messages suppressed.

Feb 20 18:57:17 localhost kernel: printk: 627 messages suppressed.

Feb 20 18:57:22 localhost kernel: printk: 694 messages suppressed.

Feb 20 18:57:28 localhost kernel: printk: 717 messages suppressed.

Feb 20 18:57:33 localhost kernel: printk: 816 messages suppressed.

Feb 20 18:57:38 localhost kernel: printk: 706 messages suppressed.

Das ist jetzt nur ein minimaler Ausschnitt. Sobald diese Meldungen im Log stehen, geht so gut wie gar nichts mehr. Größtenteils haben die User „Timeouts“ auf der Webseite, erst wenn einige hundert Leute aus Frust die Seite verlassen haben, :S verschwinden die Meldungen und das System läuft wieder so schnell wie gewohnt.

Es muss ein Lastproblem sein, z.b. haben wir folgendes probiert, wir haben einen dritten Server dazu der quasi nur statischen Content ausliefert. Dort habe ich ein paar gif’s, css und Bilder verfrachtet. Durchschnittslast 600 Requests/s.

Das hat was gebracht und zwar taucht der Fehler jetzt nicht bei 3000 Leuten sondern erst bei 3600 Leuten auf und das auch nicht so stark.

So, und jetzt kommt das „strange“ an der ganzen Sache

Wenn ich z.b. ein großes Archiv vom Datenbankserver auf einen anderen Server kopiere, also Bandbreite verursache dann tauchen auf dem Webserver auch diese Meldungen auf. Nicht auf dem Datenbankserver dort steht gar nichts im syslog/kern.log oder messages. Die Meldungen tauchen auf dem Webserver auch auf, wenn der Datenbankserver nahezu 100% ausgelastet ist.

Daher liegt meine Vermutung nahe das der Webserver nichtlange genug auf Antworten des Datenbankservers wartet und die TCP Pakete daraufhin verwirft/verschluckt oder ähnliches.

Ich möchte aber nicht dass er die schönen kleinen Pakete kaputt macht und verwirft.

Hatte jemand schon mal ein ähnliches Problem damit?

Bzw. welche „Schalter“ ich ändern muss um eine Wartezeit zu erhöhen.

Oder weiß jemand wie ich herausbekomme was er genau unterdrückt, also mehr Infos etc.

Ich bin ratlos und weiß nicht mehr wo ich weiter ansetzen könnte.

Ich bin dankbar für jede Hilfe

gruß Jens

[carstenj]

Hi,

die Meldung "printk: 667 messages suppressed." bessgt, dass eine Fehlermeldung 667 mal wiederholt wurde, und daher nicht mehr angezeigt wird. Aber eigentlich müsste die Ursprungsmeldung irgendwo in den Logs auftauchen. Genau diese ist notwendig zur Lösung deines Problems.

Was sagen denn die Apache Logs?

Du müsstest dir einfach mal die Auslastung anzeigen lassen, z. B. mit top. Manchmal habe völlig unterschiedliche Ursachen die gleiche Symptome. Nur aus Gefühl jetzt an irgendeiner Schraube zu drehen hat wenig Sinn.

[-uLtrA-]

Hi,

danke! die erste Antwort der letzten 3 Tage

Ich hab das Problem nun ehrlich gesagt schon Monate und es ****t mich an

Die Apache-Logs schweigen. Ich habe in der access_log während und vor dem auftreten keine Anomalien und die error_log verät mir auch nichts.

Wenn ich beim Auftreten die TOP's beobachte dann kann ich schon sagen, die Kisten sind gut ausgelastet. Manchmal sogar 0% idle auf jeder CPU/Maschine.

Und genau das ist ja der Punkt. Wenn die zu stark ausgelastet sind vorallem der Datenbankserver dann kommt es zu diesem Phänomen. Aber manchmal auch nicht. Daher kann ich das Problem auch nicht genau vorraussagen.

Ich habe lediglich "warn" also Loglevel Stufe vielleicht sollte ich mal auf "info" schalten?

Oder welche Logs könnte ich noch gesprächiger machen ohne gleich viel Performance zu verbruzzeln?

Danke & gruß

Jens

[carstenj]

Hi,

Ich habe lediglich "warn" also Loglevel Stufe vielleicht sollte ich mal auf "info" schalten?

das wäre mit Sicherheit eine Möglichkeit. Aber nicht vergessen, das wieder auszuschalten, da es sonst deine Platte zumüllt.

Eine andere Möglichkeit wäre, die Anzahl der Clients zu beschränken. Möglicherweise sind die Rechner in der Tat zu sehr ausgelastet:

mpm_common - Apache HTTP Server

Da werden dann zwar auch einige User frustiert sein, aber wenigstens sollten die, die gerade drauf sind, ungestört surfen können.

Das kann an vielen Dingen liegen, z. B. könnte das Skript, je nachdem wie es programmiert ist, das verursachen.

Du kannst dir auch mal die Swaptätigkeit der Maschine anzeigen lassen:

vmstat 2 100

Das zeigt dir alle 2 Sekunden an, ob geswappt wird (si bzw. so). Das wöre dann möglicherweise ein Indiz für zu wenig Speicher.

Vielleicht hilft dir das noch:

Optimizing Apache Server Performance