stardausend

Danke euch für das ausführliche Feedback.
Der Cloud-vs-lokal-Punkt stimmt. Das war unglücklich formuliert von mir. Cloud ist bei uns schon aus Datenschutzgründen raus und keine wirtschaftliche Frage mehr. Ich hab die Vorprüfung jetzt so umgeschrieben, dass sie nur noch checkt, ob sich der Aufwand für die lokale Lösung überhaupt lohnt (Kosten für Hardware/Betrieb) und den Cloud-Vergleich mach ich dann erst am Ende in der richtigen Wirtschaftlichkeitsrechnung, quasi als Bonus-Argument fürs Management.
Schutzbedarfsanalyse hab ich auch noch als eigenen Punkt in die Ist-Analyse mit reingeschrieben und danke für den Hinweis!

Guten Morgen liebes Forum,
gerne würde ich euer Feedback zu meinem Projektantrag hören. Was haltet ihr allgemein von meinem Thema? Habe ich zu wenig geschrieben? Oder habe ich schon zu viele Infos preisgegeben? Fehlt irgendwo eine Info? Ich freue mich auf jede Rückmeldung.

1. Ausgangssituation (Ist-Zustand)
Im Unternehmen besteht bei mehreren Mitarbeitern und Abteilungen der Wunsch, KI-gestützte Werkzeuge im Arbeitsalltag einzusetzen. Beispielsweise als Unterstützung bei der Softwareentwicklung oder zur schnelleren Recherche in internen Dokumenten. Am Markt verfügbare KI-Chatbots (z. B. ChatGPT und vergleichbare cloudbasierte Dienste) senden hierfür sämtliche Eingaben, einschließlich potenziell sensibler Unternehmens- und Kundendaten, an externe, öffentlich betriebene Cloud-Infrastrukturen außerhalb der eigenen Kontrolle.
Da im Unternehmen mit personenbezogenen und teils vertraulichen Geschäftsdaten gearbeitet wird, bestehen hohe Anforderungen an Datenschutz, Vertraulichkeit und Datenhoheit. Eine Nutzung externer, cloudbasierter KI-Dienste ist daher für die vorgesehenen Anwendungsfälle derzeit nicht vorgesehen. Aktuell existiert im Unternehmen keine Möglichkeit, KI-gestützte Sprachmodelle datenschutzkonform und ohne Abfluss von Daten an Dritte zu nutzen. Zudem fehlt eine Möglichkeit, eine solche Lösung zentral abzusichern und in die bestehende Benutzerverwaltung einzubinden, sodass sich Mitarbeiter nicht mit gesonderten Zugangsdaten anmelden müssten.

2. Ziel des Projektes (Soll-Zustand)
Ziel des Projekts ist die Konzeption und prototypische Umsetzung einer vollständig lokal betriebenen KI-Assistenz, die ohne Übertragung von Daten an externe Cloud-Anbieter auskommt. Vom Unternehmen wurden folgende Rahmenbedingungen und Soll-Anforderungen vorgegeben, auf deren Basis im Projektverlauf eine geeignete Lösung evaluiert und umgesetzt wird:
Bereitstellung eines Open-Source-Sprachmodells das ausschließlich auf unternehmenseigener Infrastruktur betrieben wird
Die Möglichkeit interne Firmendokumente durchsuchbar zu machen, sodass die KI Fragen auf Basis dieser Dokumente beantworten kann
Absicherung des Zugriffs, sodass der Dienst nicht ungeschützt im Netzwerk erreichbar ist
Anbindung an die bestehende Benutzerverwaltung, sodass sich Mitarbeiter mit ihren gewohnten Zugangsdaten anmelden können, ohne separate Konten pflegen zu müssen
Erreichbarkeit für die Mitarbeiter ausschließlich über eine verschlüsselte Verbindung im Webbrowser
Eine fundierte Aussage zur Wirtschaftlichkeit der Lösung im Vergleich zu einer kostenpflichtigen Cloud-Alternative, einschließlich einer Einschätzung zur benötigten Hardware
Da zum Zeitpunkt der Antragstellung noch nicht feststeht, welche konkreten Software-Komponenten und Konfigurationen sich im Verlauf des Projekts als am besten geeignet erweisen, ist ein iteratives, testgetriebenes Vorgehen vorgesehen: Vor der Umsetzung werden die infrage kommenden Lösungen anhand zuvor definierter technischer und wirtschaftlicher Kriterien – unter anderem auch der erforderlichen Hardware-Dimensionierung (CPU- versus GPU-Betrieb) – bewertet, unter anderem mittels Nutzwertanalyse und daraus die für die Anforderungen am besten geeignete Lösung ausgewählt.
Das Projekt umfasst ausdrücklich keine Eigenentwicklung von Software (kein Programmieren eigener Anwendungslogik, keine eigene RAG-Pipeline-Implementierung). Der Schwerpunkt liegt auf der Auswahl, Dimensionierung, Konfiguration, Vernetzung und Absicherung bestehender, am Markt verfügbarer Infrastrukturkomponenten (Server-Virtualisierung, Container-Laufzeitumgebung, Verzeichnisdienst-Anbindung, PKI, Netzwerksicherheit)

3. Beschreibung des technischen Umfeldes / Systemumgebung
Virtualisierungsplattform: Microsoft Hyper-V auf einem unternehmenseigenen Testserver
Betriebssystem (Zielsystem): Linux-Server-Distribution (textbasiert, ohne grafische Oberfläche)
Containerisierung: Docker / Docker Compose zur Bereitstellung der Anwendungskomponenten
Zu betrachtende Software-Kategorien: Open-Source-LLM-Laufzeitumgebung, webbasierte Chat-/RAG-Oberfläche, Reverse-Proxy-/TLS-Terminierung, Authentifizierungs-/SSO-Komponente mit Anbindung an Active Directory
Verzeichnisdienst: Bestehende bzw. für Testzwecke bereitgestellte Active-Directory-Umgebung (Windows Server) inkl. Zertifikatdienste (PKI) zur Ausstellung interner TLS-Zertifikate
Netzwerk: Internes Unternehmensnetzwerk, Zugriff ausschließlich über verschlüsselte Verbindung
Sonstige Werkzeuge: Kommandozeilenwerkzeuge zur Systemadministration (u. a. Paketverwaltung, Firewall-Konfiguration, Zertifikatsverwaltung)

4. Projektphasen in Stunden (max. 40 Std.)
 
1. Planungsphase (8h)
• Ist-Analyse und Erarbeitung des Soll-Konzepts (2h)
• Evaluation der Systemkomponenten (LLM-Laufzeitumgebung, RAG-fähige Oberfläche, SSO-/Proxy-Lösung) mittels Nutzwertanalyse, inklusive Bewertung der erforderlichen Hardware-Dimensionierung (CPU- vs. GPU-Betrieb) (4h)
• Wirtschaftlichkeits-Vorprüfung (Grobkalkulation Cloud-Abo vs. lokale Infrastruktur) als Entscheidungsgrundlage für die Umsetzung (2h)
 
2. Durchführungsphase (18h)
• Bereitstellung der Server-Infrastruktur und Container-Laufzeitumgebung (2h)
• Konfiguration der LLM-Laufzeitumgebung sowie Anbindung der Dokumentensuche (Retrieval-Augmented Generation) (4h)
• Anbindung an die Benutzerverwaltung (Active Directory, LDAP/S) sowie Integration einer internen PKI zur Zertifikatsausstellung (6h)
• Konfiguration der verschlüsselten, zentral abgesicherten Erreichbarkeit (Reverse Proxy, TLS-Terminierung, Zugriffsschutz/Single Sign-On) (4h)
• Absicherung des Host-Systems (Firewall-Konfiguration, Systemhärtung) (2h)
 
3. Qualitätssicherung / Testphase (5h)
• Funktionstests (Authentifizierung, Benutzerrechte, Dokumentensuche) (2h)
• Performance-Messungen der KI-Komponenten auf der Zielhardware (2h)
• Sicherheitstests (Zugriffsschutz, Zertifikatsprüfung) (1h)
 
4. Dokumentation (9h)
• Erstellung der Projektdokumentation, einschließlich der finalen Wirtschaftlichkeitsberechnung auf Basis der im Projektverlauf ermittelten Messwerte (Performance, Ressourcenbedarf) (7h)
• Erstellung einer Kurzanleitung zur Bedienung und Administration des im Projekt aufgebauten Prototyps (2h)

Gesamt (40h)

5. Darstellung der eigenen Leistung und ggf. Einordnung in das Gesamtprojekt
Das Projekt wird als Einzelleistung im Rahmen der Abschlussprüfung eigenständig konzipiert und umgesetzt. Sämtliche in den Projektphasen beschriebenen Tätigkeiten werden vollständig in eigener Verantwortung durchgeführt.
Eine Einordnung in ein größeres Gesamtprojekt ergibt sich insofern, als dass die im Rahmen dieser Abschlussarbeit gewonnenen Erkenntnisse als Entscheidungsgrundlage für eine mögliche spätere, unternehmensweite Einführung der Lösung dienen sollen. Die konkrete unternehmensweite Ausrollung selbst ist nicht Bestandteil dieses Projekts, sondern eine mögliche Folgeentscheidung auf Basis der hier erarbeiteten Ergebnisse.

Ich habe so meine Probleme mit Projektantrag, für mich ist es sehr nahe an einem Arbeitsauftrag ist.
Den Teil verstehe ich nicht. Eine Cloud soll keine Option sein, aber auf der anderen Seite vergleichst du Cloud mit lokaler Infrastruktur als ob es doch eine Option wäre. Was ist wenn es günstiger ist?
Hier ist es ja genau so, Warum, wenn du unter ziel des Projektes schon sagst es muss lokal laufen? Das macht das ganze überflüssig

Da hab ich mich echt mit schwer getan weil ein völlig neues Thema .... aber daran darf es nicht scheitern. Formal finde ich dass alle Anforderungen an ein Projekt erfüllt sind bis auf die Benennung einer Schutzubedarfsanalyse oder eine datenschutzrechtlichen Betrachtung ( die ich aber erahnen kann ).
Ich würde es zulassen ... und wirklich gespannt sein auf die Ausarbeitung. Ist aber uU recht nah am Berufsbild des FiDV ...