Zum Inhalt springen

Teilmigration einer Monitoring-Lösung in Richtung Cloud-Services


slayxs

Empfohlene Beiträge

Hallo liebe Community,

ich muss meinen Projektantrag wahrscheinlich erst gegen September einreichen, mache mir aber jetzt schon Gedanken darüber. Da dies bisher noch eine sehr waage Planung ist bitte ich eine Unvollständigkeit der Daten zu entschuldigen. Ich muss nur wissen ob der Ansatz für ein FiSi Projekt in Ordnung ist, damit ich in die weitere Planung gehen kann (ich lerne in einem sehr sehr großen Unternehmen).

Vielen Dank!

1.Thema

Teilmigration der Monitoring-Lösung „Splunk“ in Richtung Amazon Web Services

 

2. Bearbeitungszeitraum

XX.XX.XXXX – XX.XX.XXXX

 

3. Projektbeschreibung

Der Auftraggeber für dieses Projekt ist die Firma  ... . Einzelne Teams der XXXXX betreiben bereitgestellte Applikationen bereits in einer Amazon Web Services Cloud Umgebung. Diese Applikationen sind momentan an eine interne Monitoring-Software „Splunk“ angebunden und schicken beispielsweise Logfiles via HTTPS verschlüsselt an die Plattform. Die Plattform wird bisher ausschließlich hochverfügbar in Musterstadt gehostet, wobei aber die Cloud-Systeme in verteilten Rechenzentren liegen. Nun soll auch ein Teil der Splunk-Plattform in Richtung der Cloud-Umgebung deployed werden. Ziel des Projektes ist es einen „Proof-of-Concept“ für diese Architektur zu planen und durchzuführen und gleichzeitig eine Evaluation verschiedener Unix-Betriebsysteme, für die Teilmigration von Splunk, vorzunehmen. Durch den Prozess der Teilmigration sollen unnöige Datenströme vermieden werden, Bandbreite eingespart und Logfiles direkt dort ausgewertet und aggregiert werden wo die Systeme sie auch erzeugen. Dieser Vorgang erhöht zudem die Sicherheit und Integrität der Daten und denzentralisiert die entstehende Last auf der Plattform, was zur Performancesteigerung beiträgt und letztendlich einen störungsfreien Betrieb unterstützt.

Link zu diesem Kommentar
Auf anderen Seiten teilen

Gerade eben schrieb mapr:

Warum soll migriert werden?
Warum ausgerechnet Amazon Web Service (Datenschutz etc.)?
Du triffst keine Entscheidungen, von daher für mich ungeeignet.

AWS steht fest weil die Applikationen die nicht in unserer Veranwortung liegen in AWS betrieben werden und es eine Anforderung ist, dass die Daten direkt dort eingesammelt werden.

Migration soll statt finden um die Daten nicht erst wieder von AWS auf unsere internen Server zu schieben um sie dann hier aufzubereiten. Die Daten sollen direkt dort von der Software aufbereitet werden damit keine rohen Logfiles über die Leitung laufen. Meine Entscheidungsfreiheit liegt dann darin wie genau die Konfiguration der einzelnen "VMs" in AWS aussehen soll da es dort auch verschiedene Optionen gibt (Betriebsystem, IP-Adressen, Endpunkte für Applikationen, Anbindung an interne Systeme die außerhalb von AWS sind)

Ich verstehe deine Bedenken deshalb kümmere ich mich auch so früh darum..

Link zu diesem Kommentar
Auf anderen Seiten teilen

vor 9 Minuten schrieb Klebrig:

Wird 100%ig abgelehnt, wenn AWS feststeht.

Ich kann vorher auch einen Vergleich zwischen Inhouse-Hosting und AWS machen - da wären wir dann auch bei dem unteren Punkt.

vor 7 Minuten schrieb mapr:

Wirtschaftlichkeit fehlt mir auch noch.

Die Wirtschaftlichkeit könnte ich einbinden indem ich noch eine Kosten-Nutzen-Analyse über den obigen Punkt mache.

 

Danke euch schon einmal für die Antworten, ihr helft mir ungemein :)

 

Bearbeitet von slayxs
Link zu diesem Kommentar
Auf anderen Seiten teilen

vor 41 Minuten schrieb mapr:

Ein Projekt wird nicht dadurch besser, dass man was "ranflickt".
So wie du es aktuell darstellst, reicht es definitiv nicht.
Aber das sind nur unsere beiden Meinungen.
Bei deinem "richtigen" Antrag hätte ich dann auch noch gerne eine Zeitplanung mit dabei.

An welchen Stellen reicht es denn nicht?

Wenn ich das ganze so auslege: Es gibt eine Kundenanforderung die Monitoring-Infrastruktur von Splunk für Cloud basierte Anwendungen zu optimieren, da es zu teuer und uneffizient ist rohe Logfiles über weite Distanzen zu transferieren (Stichwort: Latenzen, Real-Time Analysis). Dafür mache ich einen Vergleich zwischen Inhouse-Hosting und dem Hosting an den Cloud basierten Diensten in AWS. Dabei kommt raus, dass es aus performance, sicherheitsrelevanten und wirtschaftlichen Gründen Sinn macht das Tool direkt auf die Cloud-Maschinen auszulagern.

Dann setze ich eine Splunk Umgebung (als Virutelle Maschine) inkl. OS Config, IP-Adressvergabe usw. in einem AWS VPC auf und binde die aufbereiteten Daten an das interne Hauptsystem in unserem eigenen RZ an (HTTPS, Firewall-Freischaltungen, Authtokens etc.).

Den gesamten Vorgang kann ich dann prinzipiell auch automatisieren => Infrastructure as code.

Fachlich sollte das doch mehr als genug sein? Ist wesentlich umfangreicher als irgendein Dienst den man im Netzwerk implementiert und zur Verfügung stellt oder der Vergleich von Software und dessen Einführung.

___

Voller Antrag inkl. Zeitplanung folgt dann sobald ich das Thema etwas konkretisieren konnte :-)

LG

Link zu diesem Kommentar
Auf anderen Seiten teilen

vor 12 Stunden schrieb slayxs:

Dabei kommt raus, dass es aus performance, sicherheitsrelevanten und wirtschaftlichen Gründen Sinn macht das Tool direkt auf die Cloud-Maschinen auszulagern.

Sicherheitsrelevante Gründe und Cloud ...

... da beißt sich bei mir was.

Zitat

Fachlich sollte das doch mehr als genug sein? Ist wesentlich umfangreicher als irgendein Dienst den man im Netzwerk implementiert und zur Verfügung stellt oder der Vergleich von Software und dessen Einführung.

Da geb ich dir recht. Mir erscheint dein Projekt dennoch zu dünn.

Du setzt ein OS auf, vergibst IPs in und bindest es, inkl. Firewall-Konfiguration (wie umfangreich ist die)?, in euer RZ ein. Das kann auch ein Azubi und ist für einen FISI, meiner Meinung nach, zu wenig.

Link zu diesem Kommentar
Auf anderen Seiten teilen

Am 27.4.2017 um 06:03 schrieb mapr:

Sicherheitsrelevante Gründe und Cloud ...

... da beißt sich bei mir was.

Da geb ich dir recht. Mir erscheint dein Projekt dennoch zu dünn.

Du setzt ein OS auf, vergibst IPs in und bindest es, inkl. Firewall-Konfiguration (wie umfangreich ist die)?, in euer RZ ein. Das kann auch ein Azubi und ist für einen FISI, meiner Meinung nach, zu wenig.

Wie ist deine Meinung hierzu?

3. Projektbeschreibung

 

Der Auftraggeber für dieses Projekt ist die Firma XXXXXX. Einzelne Teams des Unternehmens evaluieren zum Zeitpunkt des Projektantrages die Cloud Umgebung Amazon Web Services (kurz AWS) um dort Applikationen und Services (bspw. Webservices) bereitzustellen. Diese Applikationen sind momentan an eine interne Log-Management-, Monitoring- und Reporting-Software „Splunk“ angebunden und liefern Logfiles in Richtung dieser. Die Splunkplattform wird jedoch bisher ausschließlich in Musterstadt betrieben, wobei die Cloud-Applikationen auf virtuellen Maschinen in national verteilten Rechenzentren liegen. Nach der bisherigen Systemarchitektur müssten hohe Datenmengen (unaggregierte Logfiles) über das Netzwerk transportiert und erst an weiteren internen Maschinen aggregiert und ausgewertet werden.

Ziel des Projektes ist es eine Splunk-Instanz, neben den bestehenden Applikationen, innerhalb der Cloud-Umgebung bereitzustellen und an die Hauptinstanzen, im internen Rechenzentrum, anzubinden. Sodass keine zusätzliche eigene Hardware für die Verarbeitung von Logfiles benötigt wird. Gleichzeitig ist eine Evaluation verschiedener Betriebsysteme, für die Teilmigration von Splunk, obligatorisch. Durch den Prozess der Plattformerweiterung sollen überflüssige Datenströme vermieden und Ressourcen eingespart werden. Dieser Vorgang kann zudem die Integrität der Daten erhöhen und die entstehende Last auf der Plattform dezentralisieren. In Folge dessen kann eine Kostensenkung und Performancesteigerung erwartet werden.

 

________________

Bei dem Endteil bin ich mir noch nicht ganz sicher weil das wohl eher in das Ergebnis kommt. Das ganze Projekt hat schon eine Art Proof-of-concept Charakter aber im Endeffekt integriere ich eine Applikation innerhalb eines bestehendes System (extern) und binde dies auch noch an die existierende Infrastruktur an. Gegen den ganzen Kram kann ich dann auch noch super Tests fahren und Daten erzeugen und importieren.

LG

 

Link zu diesem Kommentar
Auf anderen Seiten teilen

Dein Kommentar

Du kannst jetzt schreiben und Dich später registrieren. Wenn Du ein Konto hast, melde Dich jetzt an, um unter Deinem Benutzernamen zu schreiben.

Gast
Auf dieses Thema antworten...

×   Du hast formatierten Text eingefügt.   Formatierung wiederherstellen

  Nur 75 Emojis sind erlaubt.

×   Dein Link wurde automatisch eingebettet.   Einbetten rückgängig machen und als Link darstellen

×   Dein vorheriger Inhalt wurde wiederhergestellt.   Editor leeren

×   Du kannst Bilder nicht direkt einfügen. Lade Bilder hoch oder lade sie von einer URL.

Fachinformatiker.de, 2024 by SE Internet Services

fidelogo_small.png

Schicke uns eine Nachricht!

Fachinformatiker.de ist die größte IT-Community
rund um Ausbildung, Job, Weiterbildung für IT-Fachkräfte.

Fachinformatiker.de App

Download on the App Store
Get it on Google Play

Kontakt

Hier werben?
Oder sende eine E-Mail an

Social media u. feeds

Jobboard für Fachinformatiker und IT-Fachkräfte

×
×
  • Neu erstellen...