Hilfe und Ratschläge: eine professionelle Plattform ähnlich meinestadt.de bauen, wie?

[Insel_INC]

Hi liebe Community,

ich stoße über computerbase zu euch. Es geht um folgendes theoretisches Vorhaben für meine IHK Abschlussarbeit:

Eine eigene Plattform aufzubauen, ähnlich meinerstadt.de die intern in einem großen Unternehmen auf die verschiedenen Standorte angepasst werden kann.

Zum groben Ablauf:

In der Praxis werde ich eine Wordpress - Seite einrichten und eben per CMS administrieren, einen Dummy bauen und zeigen wie ein solches Portal aussehen könnte.

Im theoretischen möchte ich aber natürlich die professionelle Variante erläutern und beziffern. Es bestehen folgende theoretische Annahmen:

- 50 Standorte

- 300.000 unique Visitor im Monat

- Das technische System sollte mit folgenden Nutzlasten umgehen können: im Nachgang soll die theoretische Plattform eine mobile Anwendung bekommen, sodass der Nutzer Geodaten an das System versendet. Je nach Standort soll sich die Plattform automatisch anpassen zb. "Interne meinestadt.de Anwendung" Berlin soll Informationen zum Großprojekt Berliner Flughafen anbieten während die Plattform für den Standort Hamburg sich mit einer möglichen Olympia beschäftigen soll.

Ich habe dabei folgende Rechnung aufgestellt: Ein Nutzer übersendet alle 5 Sekunden Geodaten an das System, dass macht bei 100.000 Nutzern 1.2 Millionennachrichten pro Minute die im Newsfeed verarbeitet werden.

Hierbei sehe ich die größte technische Herausforderung, dass verarbeiten vieler Daten in kurzer Zeit. Daher bin ich auf Recherchen auf das Hadoop System gestoßen, denn beispielsweise LinkedIn muss ja noch eine viel größere Datenlast bewältigen können. Meine Idee ist, nicht das Rad neu erfinden zu müssen, sondern von den Experten kopieren zu können.

Mir ist im Moment einfach noch nicht klar, wie ich ein solches System aufzusetzen habe. Es wird ein Apache Webserver notwendig sein, dass weiß ich. Aber ich habe leider noch nie eine Plattform ohne CMS aufgesetzt, wie funktioniert das technisch bzw nach was muss ich suchen um erlernen zu können, wie man eine solche Plattform einrichten kann?

Ich bin dankbar für jede Hilfe, ich erwarte auch gar nicht dass mir die Arbeit der Recherche abgenommen wird -immerhin möchte ich es ja erlernen, ich weiß momentan nur nicht nach was ich zu suchen habe

Viele Grüße

inselinc

[Polar]

Es wird ein Apache Webserver notwendig sein, dass weiß ich.

Das würde ich mir in dieser Größenordnung nochmal überlegen

[Insel_INC]

Das würde ich mir in dieser Größenordnung nochmal überlegen

Vielen Dank für den Hinweis. Für einen weiteren Hinweis welche Richtung ich gehen sollte, wäre ich überaus dankbar

[Polar]

Bei solchen Vorhaben würde ich immer zu NginX als Webserver greifen.

Die 300k Besucher sollten auch kein Problem darstellen, allerdings weiß ich nicht, wie es sich mit den 1,2 Millionen Datensätzen pro Minute verhält. Spontan würde ich dazu tendieren, dass Wordpress sich die News selbst aus einer externen Datenbank zieht.

[Insel_INC]

Hi Polar, vielen Dank für die Antwort. Um zu verdeutlichen, dass der praktische sowie theoretische Teil keinerlei Zusammenhänge haben (ausgenommen eine Plattform), habe ich die oberen zwei Bilder angefügt.

Ich möchte zum einen eine Dummyseite bauen, dies geschieht aus Komplexitätsgründen sowie zeitlichen Engpässen per Wordpress. Es ist und bleibt aber nur ein Dummy.

Im theoretischen Vorhaben, dass ich selbstständig nie komplett alleine umsetzen würde - geht es mir darum zu verstehen wie ein solches System funktioniert und nach was ich zu suchen habe.

- Gibt es denn empfehlenswerte Frameworks auf die mich begrenzen sollte, ähnlich dem Hinweis des Webservers (Datenlast)?

- Gibt es auch Anbieter die Komplettlösungen anbieten, die ich mir anschauen sollte (um die Verkaufsargumente einzusehen)?

VG

[darkfader]

Vollzitat entfernt. CW

das mit alle 5 Sekunden klingt voellig uebertrieben, solange Deine Anwender nicht teleportieren.

Falls Du ein Buch zu sowas lesen willst:

Scalable internet architectures von Theo Schlossnagle ist so das Basiswerk.

Bearbeitet 9. April 2015 von Chief Wiggum

[carstenj]

Hi,

Das würde ich mir in dieser Größenordnung nochmal überlegen

wieso denn das?

[Polar]

Weil der Apache erfahrungsgemäß "irgendwann" an seine Grenzen gerät - und weil der Nginx in meinen Augen schlanker und wesentlich performanter ist.

Lässt sich übrigens testen: Identisches System (Ich habs mit Wordpress getestet) 1x Apache / 1x Nginx -> mit LoadImpact oder loader.io einfach mal simulieren. Der Apache war bei um einiges früher überfordert, als der Nginx, der fast 4x so viele Abfragen schaffte.

Bei beiden Webservern wurde übrigens ein vernünftiges Caching eingesetzt (Memcached für Nginx - für mich überragend)

Die irgendwann aufgetretenen Timeouts etc waren nicht Resultat der zu hohen Serverlast, sondern eher der Bandbreite von 100Mbit.

[pr0gg3r]

Ich habe etwas Kritik anzumerken:

1.) Es geht um die Positionierung bei Städten. Da ist es mir absolut schleierhaft, warum man 5 Sekunden die Position übermitteln muss, schließlich ist man nicht einmal jede Stunde in einer anderen Stadt.

2.) Apps laufen nicht ewig im Hintergrund (Stichwort: Lifecycle Management). Das heißt, wenn die App nicht aktiv ist, meldet sie alle 5 Sekunden: gar nichts.

3.) Aus den zwei genannten Gründen sind die x Millionen Anfragen an den Webserver utopisch.

4.) Ob Wordpress geeignet ist oder nicht, kann ich nicht sagen (evtl. wenn man pro Stadt eine Kategorie erstellt). Jedenfalls für den Austausch mit einer App ein RESTful-Webservice besser geeignet. Aber vlt. lässt sich mit WP ja etwas in die Richtung basteln.

5.) Auch ein Apache kann schnell sein, vorausgesetzt er ist gut konfiguriert. Man muss schließlich nicht mod_php verwenden, sondern kann auch auf FastCGI setzen (was auch bei nginx verwendet wird).