Implementierung eines KI-Workflows für Prozessoptimierung

[AequiAzubi]

 

Projektbezeichnung:
Implementierung eines KI-gestützten Workflows zur Prozessoptimierung

Geplanter Bearbeitungszeitraum:
noch unklar

1. Projektbeschreibung:
Die … AG betreibt bereits einen internen KI-Chatbot, der derzeit manuell mit Informationen befüllt wird und in seinem praktischen Nutzen stark eingeschränkt ist. Zudem erfolgen interne Prozesse wie die Arbeitsplatzbuchung über einen Outlook-Kalender-Flow und Hotelanfragen über informelle Kommunikationswege wie E-Mail oder persönliche Ansprache, beide Prozesse laufen jedoch getrennt voneinander. Diese unstrukturierten Abläufe führen zu Mehraufwand, Fehleranfälligkeit und unnötiger Belastung des Backoffice.

Ziel dieses Projekts ist die Konzeption, Entwicklung und Integration eines KI-gestützten Workflows, mit dem Mitarbeitende über eine Chat-Oberfläche ihren Arbeitsplatz buchen und bei Bedarf automatisch eine Hotelanfrage generieren können, die an das Backoffice weitergeleitet wird. Der Chatbot soll dabei mit Microsoft 365-Diensten interagieren und einen Flow auslösen, die beiden Prozesse verarbeitet.
Abgewogen werden dabei die DSGVO-konforme Umsetzung sowie Anbieter von geeigneten Integrationstools für den Aufbau einer erweiterbaren Flow-Infrastruktur. Es handelt sich um ein Minimum Viable Product (MVP), das als Pilotprojekt dient und bei erfolgreicher Umsetzung später intern erweitert oder als extern vermarktbares Produkt weiterentwickelt werden kann. Der Auszubildende übernimmt die vollständige Planung, Durchführung und Dokumentation des Projekts eigenverantwortlich.

2. Projektumfeld:
Das Projekt findet in der internen IT-Abteilung der … AG statt. Die Firma ist vollständig cloudbasiert und nutzt hauptsächlich Microsoft 365-Lösungen. Das Projekt wird innerhalb des Unternehmens umgesetzt und stellt die erste Ausbaustufe eines umfassenderen KI-Assistenten dar, mit dem alle Mitarbeiter interagieren können.

Versuch Nummer 3 -  was denkt ihr über diesen Projektantrag? Hauptabwägungen wären on premises und cloudbasiertes Hosting der KI sowie Automatisierungstools wie Power Automate, N8N oder Microsoft Copilot Studio.

Vielen Dank für eure Antworten!

 

[EdwardFangirlXxX]

vor 1 Minute schrieb AequiAzubi:

Ziel dieses Projekts ist die Konzeption, Entwicklung und Integration eines KI-gestützten Workflows, mit dem Mitarbeitende über eine Chat-Oberfläche ihren Arbeitsplatz buchen und bei Bedarf automatisch eine Hotelanfrage generieren können

Ehrlich gesagt wäre meine erste Frage hier, warum man irgendwas davon mit LLMs lösen wollen würde. Das klingt wie eine Aufgabe die genau falsch ist für diese Technologie. 

[AequiAzubi]

Das Projekt ist ein Pilotprojekt für dieses Thema, am Ende stößt der Bot nicht nur den Outlook-Kalender-Flow an sondern erstellt auch eine Art E-Mail-Vorlage für das Backoffice. Denkbar wäre als Anschluss das Upgrade auf einen KI-Agent, der den Emailverkehr und Buchung gänzlich übernimmt, das würde aber die 40 Stunden für das Projekt bei weitem sprengen.

Eventuell wäre eine weitere Abwägung wichtig, welches Sprachmodell ausgewählt wird, was denkst du?

Bearbeitet vor 16 Stunden von mapr

[EdwardFangirlXxX]

Also LLMs sind sehr gut, wenn du unbekannten Text brauchst, welcher den Eindruck erweckt menschlich geschrieben zu sein. Beliebige Stichpunkte in Fließtext übersetzen, Stimmung rauslesen, irgendwie sowas.

Was du aber möchtest ist ja eigentlich ein Template. 

Sehr geehrtes Hotel X, bitte reservieren Sie vom Zeitpunkt A bis Zeitpunkt B ein Zimmer für unsere Mitarbeiter:in C, und schicken Sie uns die Rechnung an Adresse D.

MfG Firma Y.

Fertig. Und dann nur Variablen einsetzen. Kannst du vorher als Template rechtlich absichern lassen. Ein ganz normales kleines Programm kann Millionen davon innerhalb Sekundenbruchteilen generieren, verbraucht kaum Strom, und macht garantiert nichts falsch. 

Wenn du versuchst, so eine Aufgabe an ein LLM auszulagern, spielst du genau in dessen Schwächen und gegen dessen Stärken. Du brauchst unfassbares an Rechenpower, für ein Ergebnis, was danach auch noch schlechter ist, und eventuell der Firma schadet wenn da dann doch irgendein Modell Unsinn baut. Das Twitter-Modell hat letztens regelmäßig komplett unzusammenhängend von der „Unterdrückung der weißen Rasse“ angefangen. Wär doof in so einer Geschäftsemail. Und wenns das nur einmal alle Hundert Anfragen tut. Unvorhersagbarkeit ist bei Email Templates zu vergleichen mit Pest und Cholera. Du kannst den Ton nicht kontrollieren, die Korrektheit der Daten nicht verifizieren, vielleicht sagt dein Modell irgendwas beleidigendes, vielleicht wirds gehackt. 

Ein UI mit einer Auswahl eines Arbeitsplatzes und einer falls nötig automatisch versendeten Email mit ausgefülltem Template ist mega schnell gemacht und sicher ein schönes Projekt. Wenn du was mit LLMs machen möchtest, überleg dir vielleicht ein Projekt was in dessen Stärken spielt. Oder mach das hier ohne LLMs, dann sparst du dir einiges an Kopfschmerzen und der Umwelt einiges an Erwärmung

[AequiAzubi]

vor 10 Minuten schrieb EdwardFangirlXxX:

Also LLMs sind sehr gut, wenn du unbekannten Text brauchst, welcher den Eindruck erweckt menschlich geschrieben zu sein. Beliebige Stichpunkte in Fließtext übersetzen, Stimmung rauslesen, irgendwie sowas.

Was du aber möchtest ist ja eigentlich ein Template. 

Sehr geehrtes Hotel X, bitte reservieren Sie vom Zeitpunkt A bis Zeitpunkt B ein Zimmer für unsere Mitarbeiter:in C, und schicken Sie uns die Rechnung an Adresse D.

MfG Firma Y.

Fertig. Und dann nur Variablen einsetzen. Kannst du vorher als Template rechtlich absichern lassen. Ein ganz normales kleines Programm kann Millionen davon innerhalb Sekundenbruchteilen generieren, verbraucht kaum Strom, und macht garantiert nichts falsch. 

Da hast du recht, eine Template würde es auch lösen, nimmt dem Projekt aber einiges an Tiefe und komplett die Entscheidung über das on prem/Cloud-Hosting. 

vor 12 Minuten schrieb EdwardFangirlXxX:

Ein UI mit einer Auswahl eines Arbeitsplatzes und einer falls nötig automatisch versendeten Email mit ausgefülltem Template ist mega schnell gemacht und sicher ein schönes Projekt. Wenn du was mit LLMs machen möchtest, überleg dir vielleicht ein Projekt was in dessen Stärken spielt. Oder mach das hier ohne LLMs, dann sparst du dir einiges an Kopfschmerzen und der Umwelt einiges an Erwärmung

Wird mit der UI das ganze nicht schon zu FIAE-lastig? Wenn man aus Termin anklicken und BO schreiben nur Bot anschreiben macht wirkt das Thema wieder sehr flach, auch wenn dahinter ein Template steckt, oder?

[EdwardFangirlXxX]

Du musst halt aufpassen, dass du nicht nur Komplexität schaffst um den Willen komplex zu sein.

Normalerweise hast du ja eine Problemstellung im Unternehmen, die behoben werden sollte, und dabei möchtest du die betreffenden Kennzahlen so niedrig wie möglich halten. Anschaffungskosten, Betriebskosten, Fehlerquote, Umweltverschmutzung, Latenz, Komplexität etc soll alles so gering wie möglich sein.

Das jetzt künstlich hochzuschrauben damit es komplexer wird kann dir halt blöderweise dann auch jeder Prüfy schlecht auslegen. Nach dem Motto du hast ja überhaupt nicht probiert dein Problem möglichst gut zu lösen. 

Sprich doch sm besten mit eeinem Ausbildy mal drüber. Oder mit jemanden aus der Schule? Guck halt, dass du ein Problem formuliert kriegst, welches auch tatsächlich durch das was du tust sinnvoll angegangen wird. 

[AequiAzubi]

Die Komplexität entsteht ja deshalb, weil später noch weitere Funktionen dazu kommen sollen, wo mit Garantie ein LLM benötigt wird. 

Das Problem ist aber tatsächlich noch besser formulierbar, vielen Dank für deine Kommentare!

Hat eventuell noch ein FiSi-Prüfer einen Kommentar dazu? @ickevondepinguin @charmanta

Bearbeitet vor 16 Stunden von mapr

[charmanta]

Ich seh da leider kein Projekt für einen FiSi drin. Ich würde das Thema als ungeeignet ablehnen, das geht mir zu sehr Richtung AE

[Sullidor]

vor 3 Stunden schrieb EdwardFangirlXxX:

Ehrlich gesagt wäre meine erste Frage hier, warum man irgendwas davon mit LLMs lösen wollen würde. Das klingt wie eine Aufgabe die genau falsch ist für diese Technologie. 

Die aktuellen Modelle und Techniken eignen sich sogar sehr gut dafür. LLMs sind inzwischen in der Lage, selbständig Werkzeuge aufzurufen, damit äußerst präzise Daten zu extrahieren, diese Tools im korrekten Format anzusprechen und anschließend deren Antworten zu empfangen und weiterzuverarbeiten.

vor 3 Stunden schrieb EdwardFangirlXxX:

Also LLMs sind sehr gut, wenn du unbekannten Text brauchst, welcher den Eindruck erweckt menschlich geschrieben zu sein. Beliebige Stichpunkte in Fließtext übersetzen, Stimmung rauslesen, irgendwie sowas.

LLMs sind ebenfalls sehr gut darin, unstrukturierte Daten, besonders Text, zu verstehen und zu verarbeiten und anschließend strukturiert auszugeben.
Ich kann einem LLM sagen, ich möchte einen Termin um Viertel zwölf morgen Mittag oder irgendwann mittags am Montag oder um 12:40 Uhr am 14.07. Das LLM (oder ein LLM im Tool, wenn du komplexere Formatierungen in Echtzeit benötigst) gibt dann stets ein bestimmtes Format an das Tool aus. Das Tool kann dann über externe Programme prüfen, ob ein Tisch, ein Termin oder ein Arbeitsplatz mit den benötigten Ressourcen verfügbar ist, und sogar Alternativen abfragen. Das LLM kann anschließend einen Termin buchen oder einen Tisch reservieren. Datenbankabfragen in natürlicher Sprache oder die Bearbeitung von Tickets sind inzwischen ebenfalls problemlos möglich. Das funktioniert absolut zuverlässig, wenn man es korrekt implementiert. Genau daran scheitert es bei den meisten jedoch bereits.

vor 2 Stunden schrieb EdwardFangirlXxX:

Du musst halt aufpassen, dass du nicht nur Komplexität schaffst um den Willen komplex zu sein.

vor 1 Stunde schrieb charmanta:

Ich seh da leider kein Projekt für einen FiSi drin. Ich würde das Thema als ungeeignet ablehnen, das geht mir zu sehr Richtung AE

Da ich derzeit in genau diesem Feld arbeite und täglich mit diesen Tätigkeiten und Problemen konfrontiert bin, kann ich nur sagen, das stimmt absolut.

Die KI ist in diesem gesamten Bereich das mit Abstand kleinste Problem. Mit der KI oder dem LLM gibt es nahezu nie Schwierigkeiten. Aber du programmierst eben 99 Prozent der Zeit. Die korrekte Einbindung des LLM erfolgt über Code. Prompten geschieht im Code. Feintuning läuft über Code. Modelle trainieren bedeutet Hardware einrichten und noch mehr Code schreiben. Tools werden programmiert. Die Anbindung externer Systeme erfolgt über APIs oder eigene Programme. Und selbst wenn du kein FISI, sondern FIAE wärst und beim Programmieren ebenfalls KI einsetzt und das schon mehrfach gemacht hast, sitzt du trotzdem mindestens zwei volle Wochen durchgehend daran. Mit Überstunden. Und das ohne Ist-Soll-Abgleich, ohne Vergleichswerte, ohne Planung und Dokumentation. Und seien wir ehrlich, wer so etwas in zwei Wochen abliefert, liefert absoluten Pfusch ab.

Bearbeitet Donnerstag um 17:08 von Sullidor

[Sullidor]

Ach ja, bevor ich es vergesse, sämtliche DSGVO- und KI-VO-Prüfungen und Maßnahmen in Deutschland zu erfüllen kann dich eventuell noch einmal mehrere Monate kosten. Für unseren ersten deutschen Kunden habe ich zusätzlich fast zwei Monate lang ausschließlich Änderungen und Maßnahmen dafür umgesetzt, bis das System endlich EU-konform war und in Betrieb gehen konnte.

[EdwardFangirlXxX]

 

vor 51 Minuten schrieb Sullidor:

LLMs sind ebenfalls sehr gut darin, unstrukturierte Daten, besonders Text, zu verstehen und zu verarbeiten und anschließend strukturiert auszugeben. […] Das funktioniert absolut zuverlässig. […] Mit der KI oder dem LLM gibt es nahezu nie Schwierigkeiten.

[Sullidor]

vor 1 Minute schrieb EdwardFangirlXxX:

Und das soll jetzt was Beweisen? Das du keinen Plan hast wie generative KI oder LLMs funktionieren?

Das du aufgrund eines Beispiels für "Pfusch" allen funktionierenden Lösungen die Daseinsberechtigung absprichst? Mal abgesehen davon, dass dieses Beispiel dem zuwiderläuft was du hier behauptet hast und nicht was ich zur Umwandlung von unstrukturierten in strukturierte Daten gesagt habe. 

Wie oft hast du sowas jetzt schon professionell implementiert und wie viele KI-Automatisationen hast du jetzt schon erfolgreich in den Produktivbetrieb gebracht um fachlich beurteilen zu können was funktioniert und was nicht?

Bisher höre ich bei dir nur YouTube-, und Social Media -Wissen raus. 

 

[EdwardFangirlXxX]

vor 15 Minuten schrieb Sullidor:

Wie oft hast du sowas jetzt schon professionell implementiert und wie viele KI-Automatisationen hast du jetzt schon erfolgreich in den Produktivbetrieb gebracht um fachlich beurteilen zu können was funktioniert und was nicht?

Ich fürchte du bist einer der wenigen professionellen Prompt-Engineers hier.

vor 15 Minuten schrieb Sullidor:

Bisher höre ich bei dir nur YouTube-, und Social Media -Wissen raus. 

Das ist ein Bild aus einem Beitrag des BBCs dazu, wie LLMs ihre Aussagen verfälschen. Diese erklären Leute zu Gewinnern von Turnieren, welche noch gar nicht stattgefunden haben, erfinden den Selbstmord von prominenten Personen, welche noch am Leben sind, und outen Leute als schwul die es gar nicht sind. 

https://www.bbc.co.uk/news/articles/cge93de21n0o

[Sullidor]

vor 56 Minuten schrieb EdwardFangirlXxX:

Ich fürchte du bist einer der wenigen professionellen Prompt-Engineers hier.

Uhh, wir gehen jetzt auf die persönliche Ebene und versuchen grundlos zu beleidigen? Stattdessen zeigst du nur wieder dein YouTube- und Social-Media-Wissen.

vor 56 Minuten schrieb EdwardFangirlXxX:

Das ist ein Bild aus einem Beitrag des BBCs dazu, wie LLMs ihre Aussagen verfälschen.

Ja, ich weiß, was Halluzinationen sind. Und ja, das ist ein wirklich großes Problem. Die aktuelle Forschung dazu ist mir ebenfalls bekannt.
Trotzdem ist so ein Fall Pfusch. Denn eine solche Meldung lässt sich durch die Verknüpfung verschiedener Modelle und eine menschliche Kontrollinstanz ziemlich sicher verhindern. Nicht die Halluzinationen an sich, aber dass so etwas bis zum Ende des Prozesses durchkommt.
Und es bleibt weiterhin ein Problem von dem, was DU gesagt hast. Das Zusammenfassen gehört ebenfalls dazu.

vor 6 Stunden schrieb EdwardFangirlXxX:

Also LLMs sind sehr gut, wenn du unbekannten Text brauchst, welcher den Eindruck erweckt menschlich geschrieben zu sein. Beliebige Stichpunkte in Fließtext übersetzen, Stimmung rauslesen, irgendwie sowas.

Ich habe jedoch von der Umwandlung unstrukturierter gesprochener oder geschriebener Daten in ein strukturiertes Format zur Weiterverarbeitung gesprochen. In hunderten von Tests und mittlerweile in abertausenden Produktivfällen hat es in unserem Fall keinen einzigen Fehler gegeben. Bei der Transkription treten regelmäßig kleinere Fehler auf, die sich jedoch nahezu nie auf das Ergebnis auswirken. Das Zusammenfassen von Informationen aus der KB schlägt hin und wieder fehl, bisher lediglich in der Form, dass bestimmte Informationen fehlten, obwohl sie eigentlich übergeben wurden, was jedoch vernachlässigbar ist. Sobald es um die Erfassung von Daten wie Terminwünschen, Rückrufwünschen oder Telefonnummern geht, die in spezifischen Formaten zur Weiterverarbeitung vorliegen müssen, ist mir kein einziger Fall bekannt, in dem das nicht funktioniert hat.

Aber wir entfernen uns wieder deutlich vom Thema des Erstellers, aud das ich ursprünglich auch geantwortet hatte.

Bearbeitet Donnerstag um 19:50 von Sullidor

[prefix]

 

vor 19 Minuten schrieb Sullidor:

Stattdessen zeigst du nur wieder dein YouTube- und Social-Media-Wissen.

Praxis vs. Consulting?

[charmanta]

Bitte keine weiteren Anfeimdungen und OTs

[tkreutz2]

vor 16 Stunden schrieb charmanta:

Ich seh da leider kein Projekt für einen FiSi drin. Ich würde das Thema als ungeeignet ablehnen, das geht mir zu sehr Richtung AE

Genau das war auch mein erster Gedanke beim lesen des Projektes.

vor 18 Stunden schrieb AequiAzubi:

Versuch Nummer 3 -  was denkt ihr über diesen Projektantrag? Hauptabwägungen wären on premises und cloudbasiertes Hosting der KI sowie Automatisierungstools wie Power Automate, N8N oder Microsoft Copilot Studio.

Vielen Dank für eure Antworten!

Das ist ziemlich viel für einen 40 Stunden Plan.

Ich greife mal einen Punkt raus, eine Dev Umgebung in 1 h einrichten ?

Auch wenn kein Prüfer sich mit der Stoppuhr dahinter stellt, kann sich jeder vorstellen, der eine DEV Umgebung schon mal eingerichtet hat, dass keine Sache von 60 Minuten ist.

Das Projekt klingt sicher interessant. Aber bedenke, dass Menschen auch mal Fehler machen und z.B. auch Ressourcen / Termine umbuchen, weil unplanmäßige Ereignisse dazwischen kommen (z.B. Ausfall von Ressourcen / Krankheit Mitarbeiter).

Gibt es auch einen Storno Prozess in der gesamten Prozesskette für diesen Fall ?

Es ist nur so eine Sache vom Gefühl her als alter Exchange Admin, wo die Kollegen es auch immer geschafft haben (ohne Rücksprache) sich gegenseitig eine Lampe zu bauen mit Mailumleitungen- Weiterleitungen, Abwesenheitsassitenten & Co.

Ich fürchte, dass die KI auch nicht wirklich den Faktor "menschliche Fehler" korrigieren kann.

Aber wäre natürlich spannend zu wissen, wenn das FiSi Projekt genehmigt würde, wie es gelaufen ist.

Viel Glück !

[AequiAzubi]

Mit "Dev-Umgebung" ist hier das Erstellen eines Kontos und einer Flowumgebung bei beispielsweise N8N gemeint, wo dann testweise erste Flows getestet werden können. Wir sprechen hier von low-code bis no-code Lösungen, ich würde sagen, dass das ja eben genau ein FiSi-Thema ist, Scripting ist eben auch ein Bestandteil der Systemintegration. 

Die Sitzplatzbuchung hat auch bereits eine Lösung für das Stornieren und Umbuchen der Plätze, daran entwickle ich nichts neues. Der Kern des Projekts wären wirklich Anbindung der Services und Einbindung der KI. Ich integriere bestehende Systeme (Chatbot, M365, Outlook-Kalender, Power Automate), verbinde getrennte Prozesse zu einem automatisierten Workflow und achte dabei auf Berechtigungen, Datenschutz und Cloud-Infrastruktur. 

@charmanta @tkreutz2

 

Bearbeitet vor 15 Stunden von mapr

[hellerKopf]

Abgabe des Antrags ist Mitte August?

[AequiAzubi]

August-September, Round about

Bearbeitet vor 15 Stunden von mapr

[mapr]

Du musst nicht immer den direkt vorhegehnden Beitrag voll zitieren.

[AequiAzubi]

Alles klar 🫡

[tkreutz2]

vor 2 Stunden schrieb AequiAzubi:

Mit "Dev-Umgebung" ist hier das Erstellen eines Kontos und
@charmanta @tkreutz2

Ach so, okay, dann wünsche ich natürlich

Viel Erfolg !