Guten Morgen liebes Forum,

gerne würde ich euer Feedback zu meinem Projektantrag hören. Was haltet ihr allgemein von meinem Thema? Habe ich zu wenig geschrieben? Oder habe ich schon zu viele Infos preisgegeben? Fehlt irgendwo eine Info? Ich freue mich auf jede Rückmeldung.

1. Ausgangssituation (Ist-Zustand)

Im Unternehmen besteht bei mehreren Mitarbeitern und Abteilungen der Wunsch, KI-gestützte Werkzeuge im Arbeitsalltag einzusetzen. Beispielsweise als Unterstützung bei der Softwareentwicklung oder zur schnelleren Recherche in internen Dokumenten. Am Markt verfügbare KI-Chatbots (z. B. ChatGPT und vergleichbare cloudbasierte Dienste) senden hierfür sämtliche Eingaben, einschließlich potenziell sensibler Unternehmens- und Kundendaten, an externe, öffentlich betriebene Cloud-Infrastrukturen außerhalb der eigenen Kontrolle.

Da im Unternehmen mit personenbezogenen und teils vertraulichen Geschäftsdaten gearbeitet wird, bestehen hohe Anforderungen an Datenschutz, Vertraulichkeit und Datenhoheit. Eine Nutzung externer, cloudbasierter KI-Dienste ist daher für die vorgesehenen Anwendungsfälle derzeit nicht vorgesehen. Aktuell existiert im Unternehmen keine Möglichkeit, KI-gestützte Sprachmodelle datenschutzkonform und ohne Abfluss von Daten an Dritte zu nutzen. Zudem fehlt eine Möglichkeit, eine solche Lösung zentral abzusichern und in die bestehende Benutzerverwaltung einzubinden, sodass sich Mitarbeiter nicht mit gesonderten Zugangsdaten anmelden müssten.

2. Ziel des Projektes (Soll-Zustand)

Ziel des Projekts ist die Konzeption und prototypische Umsetzung einer vollständig lokal betriebenen KI-Assistenz, die ohne Übertragung von Daten an externe Cloud-Anbieter auskommt. Vom Unternehmen wurden folgende Rahmenbedingungen und Soll-Anforderungen vorgegeben, auf deren Basis im Projektverlauf eine geeignete Lösung evaluiert und umgesetzt wird:

• Bereitstellung eines Open-Source-Sprachmodells das ausschließlich auf unternehmenseigener Infrastruktur betrieben wird

• Die Möglichkeit interne Firmendokumente durchsuchbar zu machen, sodass die KI Fragen auf Basis dieser Dokumente beantworten kann

• Absicherung des Zugriffs, sodass der Dienst nicht ungeschützt im Netzwerk erreichbar ist

• Anbindung an die bestehende Benutzerverwaltung, sodass sich Mitarbeiter mit ihren gewohnten Zugangsdaten anmelden können, ohne separate Konten pflegen zu müssen

• Erreichbarkeit für die Mitarbeiter ausschließlich über eine verschlüsselte Verbindung im Webbrowser

• Eine fundierte Aussage zur Wirtschaftlichkeit der Lösung im Vergleich zu einer kostenpflichtigen Cloud-Alternative, einschließlich einer Einschätzung zur benötigten Hardware

Da zum Zeitpunkt der Antragstellung noch nicht feststeht, welche konkreten Software-Komponenten und Konfigurationen sich im Verlauf des Projekts als am besten geeignet erweisen, ist ein iteratives, testgetriebenes Vorgehen vorgesehen: Vor der Umsetzung werden die infrage kommenden Lösungen anhand zuvor definierter technischer und wirtschaftlicher Kriterien – unter anderem auch der erforderlichen Hardware-Dimensionierung (CPU- versus GPU-Betrieb) – bewertet, unter anderem mittels Nutzwertanalyse und daraus die für die Anforderungen am besten geeignete Lösung ausgewählt.

Das Projekt umfasst ausdrücklich keine Eigenentwicklung von Software (kein Programmieren eigener Anwendungslogik, keine eigene RAG-Pipeline-Implementierung). Der Schwerpunkt liegt auf der Auswahl, Dimensionierung, Konfiguration, Vernetzung und Absicherung bestehender, am Markt verfügbarer Infrastrukturkomponenten (Server-Virtualisierung, Container-Laufzeitumgebung, Verzeichnisdienst-Anbindung, PKI, Netzwerksicherheit)

3. Beschreibung des technischen Umfeldes / Systemumgebung

• Virtualisierungsplattform: Microsoft Hyper-V auf einem unternehmenseigenen Testserver

• Betriebssystem (Zielsystem): Linux-Server-Distribution (textbasiert, ohne grafische Oberfläche)

• Containerisierung: Docker / Docker Compose zur Bereitstellung der Anwendungskomponenten

• Zu betrachtende Software-Kategorien: Open-Source-LLM-Laufzeitumgebung, webbasierte Chat-/RAG-Oberfläche, Reverse-Proxy-/TLS-Terminierung, Authentifizierungs-/SSO-Komponente mit Anbindung an Active Directory

• Verzeichnisdienst: Bestehende bzw. für Testzwecke bereitgestellte Active-Directory-Umgebung (Windows Server) inkl. Zertifikatdienste (PKI) zur Ausstellung interner TLS-Zertifikate

• Netzwerk: Internes Unternehmensnetzwerk, Zugriff ausschließlich über verschlüsselte Verbindung

• Sonstige Werkzeuge: Kommandozeilenwerkzeuge zur Systemadministration (u. a. Paketverwaltung, Firewall-Konfiguration, Zertifikatsverwaltung)

4. Projektphasen in Stunden (max. 40 Std.)

 

1. Planungsphase (8h)

• Ist-Analyse und Erarbeitung des Soll-Konzepts (2h)

• Evaluation der Systemkomponenten (LLM-Laufzeitumgebung, RAG-fähige Oberfläche, SSO-/Proxy-Lösung) mittels Nutzwertanalyse, inklusive Bewertung der erforderlichen Hardware-Dimensionierung (CPU- vs. GPU-Betrieb) (4h)

• Wirtschaftlichkeits-Vorprüfung (Grobkalkulation Cloud-Abo vs. lokale Infrastruktur) als Entscheidungsgrundlage für die Umsetzung (2h)

 

2. Durchführungsphase (18h)

• Bereitstellung der Server-Infrastruktur und Container-Laufzeitumgebung (2h)

• Konfiguration der LLM-Laufzeitumgebung sowie Anbindung der Dokumentensuche (Retrieval-Augmented Generation) (4h)

• Anbindung an die Benutzerverwaltung (Active Directory, LDAP/S) sowie Integration einer internen PKI zur Zertifikatsausstellung (6h)

• Konfiguration der verschlüsselten, zentral abgesicherten Erreichbarkeit (Reverse Proxy, TLS-Terminierung, Zugriffsschutz/Single Sign-On) (4h)

• Absicherung des Host-Systems (Firewall-Konfiguration, Systemhärtung) (2h)

 

3. Qualitätssicherung / Testphase (5h)

• Funktionstests (Authentifizierung, Benutzerrechte, Dokumentensuche) (2h)

• Performance-Messungen der KI-Komponenten auf der Zielhardware (2h)

• Sicherheitstests (Zugriffsschutz, Zertifikatsprüfung) (1h)

 

4. Dokumentation (9h)

• Erstellung der Projektdokumentation, einschließlich der finalen Wirtschaftlichkeitsberechnung auf Basis der im Projektverlauf ermittelten Messwerte (Performance, Ressourcenbedarf) (7h)

• Erstellung einer Kurzanleitung zur Bedienung und Administration des im Projekt aufgebauten Prototyps (2h)

Gesamt (40h)

5. Darstellung der eigenen Leistung und ggf. Einordnung in das Gesamtprojekt

Das Projekt wird als Einzelleistung im Rahmen der Abschlussprüfung eigenständig konzipiert und umgesetzt. Sämtliche in den Projektphasen beschriebenen Tätigkeiten werden vollständig in eigener Verantwortung durchgeführt.

Eine Einordnung in ein größeres Gesamtprojekt ergibt sich insofern, als dass die im Rahmen dieser Abschlussarbeit gewonnenen Erkenntnisse als Entscheidungsgrundlage für eine mögliche spätere, unternehmensweite Einführung der Lösung dienen sollen. Die konkrete unternehmensweite Ausrollung selbst ist nicht Bestandteil dieses Projekts, sondern eine mögliche Folgeentscheidung auf Basis der hier erarbeiteten Ergebnisse.

Da hab ich mich echt mit schwer getan weil ein völlig neues Thema .... aber daran darf es nicht scheitern. Formal finde ich dass alle Anforderungen an ein Projekt erfüllt sind bis auf die Benennung einer Schutzubedarfsanalyse oder eine datenschutzrechtlichen Betrachtung ( die ich aber erahnen kann ).

Ich würde es zulassen ... und wirklich gespannt sein auf die Ausarbeitung. Ist aber uU recht nah am Berufsbild des FiDV ...

Ich habe so meine Probleme mit Projektantrag, für mich ist es sehr nahe an einem Arbeitsauftrag ist.

vor 6 Minuten, stardausend hat gesagt:

Ziel des Projekts ist die Konzeption und prototypische Umsetzung einer vollständig lokal betriebenen KI-Assistenz, die ohne Übertragung von Daten an externe Cloud-Anbieter auskommt.

vor 8 Minuten, stardausend hat gesagt:

Eine fundierte Aussage zur Wirtschaftlichkeit der Lösung im Vergleich zu einer kostenpflichtigen Cloud-Alternative, einschließlich einer Einschätzung zur benötigten Hardware

vor 8 Minuten, stardausend hat gesagt:

Wirtschaftlichkeits-Vorprüfung (Grobkalkulation Cloud-Abo vs. lokale Infrastruktur) als Entscheidungsgrundlage für die Umsetzung (2h)

Den Teil verstehe ich nicht. Eine Cloud soll keine Option sein, aber auf der anderen Seite vergleichst du Cloud mit lokaler Infrastruktur als ob es doch eine Option wäre. Was ist wenn es günstiger ist?

vor 11 Minuten, stardausend hat gesagt:

• Wirtschaftlichkeits-Vorprüfung (Grobkalkulation Cloud-Abo vs. lokale Infrastruktur) als Entscheidungsgrundlage für die Umsetzung (2h)

Hier ist es ja genau so, Warum, wenn du unter ziel des Projektes schon sagst es muss lokal laufen? Das macht das ganze überflüssig

Bearbeitet vor 2 Stunden2 h von cortez