Was war da los: Lange Ladezeiten + fehlende Kurse am 20.Dez [SOLVED]

Moin zusammen,

nachdem wir die Serverprobleme mit langen Ladezeiten und fehlenden Kursen von Freitag in den Griff bekommen und die Ursache gefunden haben, hier kurz zur Info, was passiert ist:

Am frühen Freitag gegen 6 Uhr war der zmp.de nicht zu erreichen. Ursache waren zu viele simultan ausgeführte Prozesse. Soetwas kann schonmal passieren, ein Neustart hat das Problem dann gelöst und die Seite war wieder da. Im Tagesverlauf gab es aber wiederholt neue Ausfälle, da es gigantisch viele "Besucher" auf der Seite gab. Uns freut natürlich, wenn viele Leute bei uns vorbeischauen, aber die Zugriffszahlen konnten selbst bei optimistischten Erwartungen nicht von Menschen kommen. Technisch sah das ganze wie ein "Brute Force" Hackerangriff aus, bei dem ein Server durch eine überfälltigende Anzahl von Anfragen in die Knie gezwängt wird.

Wirklich überrascht hat uns die Quelle der Anfragen: Die Google Server, die das Internet auf neue Inhalte "scannen".

Ende letzter Woche haben wir ja die Seite aus dem Preview in den Live Modus geholt, d.h. anstelle der "Hier entsteht eine neue Website" Parkplatz-Seite, war die jetzige neue Website erreichbar. Folglich haben die Google Scanner häufiger bei uns vorbei geschaut, da es ja im Gegensatz zur Parkplatz Seite eine Menge zu lesen gab (z.B. tolle Cockpits und Analysen :)). Über Nacht haben wir dann die Zehntausenden Beiträge aus den alten RMX/Terminmarktwelt Foren importiert. Daraufhin hat Google etwas "Panik" bekommen: Google hat gemerkt, dass innerhalb von wenigen Stunden tausende neue Beiträge auf zmp.de erschienen sind und hatte demensprechend Angst, etwas zu verpassen. Also wurde unsere Seite viel intensiver und häufiger gescannt als es normal wäre. Durch die vielen Anfragen von Google, ist unserem Server die Luft ausgegangen, d.h. die Website war nicht erreichbar. Für Google war das scheinbar das Zeichen, dass bei uns etwas bahnbrechendes geschieht. Was also machen die Google Scanner: Noch häufiger vorbeischauen. Daraufhin ist unser Server natürlich wieder in die Knie gegangen. Dieser Kreislauf von "Hohe Serverlast" -> "Server down" -> "Mehr Google Anfragen" -> "Noch höhere Serverlast" hat sich so lange fortgesetzt, bis wir Google am späten Freitagnachmittag gebeten haben, es etwas ruhiger angehen zu lassen.

Für die entstandenen Unannehmlichkeiten möchten wir uns entschuldigen. Neben der Hektik kann man dem ganzen aber auch etwas Positives abgewinnen: Die ZMP wird bei Google jetzt sehr gut gefunden. :)

Einen schönen Sonntag wünscht

Ihr ZMP Team