Author
🔍 Frequently Asked Questions (FAQ)
1. Was bedeutet Observability im Kontext von LLM-Anwendungen?
Observability beschreibt die Fähigkeit, den internen Zustand eines Systems allein durch seine externen Ausgaben zu verstehen. Für LLM-Anwendungen ist sie entscheidend, um Fehlerquellen sichtbar zu machen und das Verhalten komplexer, nichtdeterministischer Systeme nachvollziehen zu können.
2. Welche drei Säulen umfasst klassische Observability?
Die klassischen drei Säulen sind Metriken, Logs und Traces. Metriken geben aggregierte Zustandsdaten, Logs liefern detailreiche Ereignisinformationen, und Traces verfolgen Abläufe systemübergreifend von Anfang bis Ende.
3. Was ist OpenTelemetry und warum ist es für LLMs wichtig?
OpenTelemetry ist ein CNCF-Projekt zur Standardisierung von Telemetrie-Daten (Metriken, Logs, Traces). Es bietet eine einheitliche Instrumentierung und unterstützt mittlerweile spezifische Attribute für GenAI-Operationen wie Modellnamen, Tokenverbrauch und Operationstyp.
4. Welche LLM-Architekturen profitieren besonders von Observability?
Alle gängigen LLM-Architekturen – One-Shot, RAG, Function Calling und Agentic Workflows – profitieren von Observability. Je komplexer die Architektur, desto wichtiger wird die Nachvollziehbarkeit von Promptübergaben und verteilten Workflows.
5. Was leistet Langfuse als OTEL-Empfänger für LLM-Anwendungen?
Langfuse bietet LLM-spezifische Aufbereitung von Traces, unterstützt verschiedene LLM-Architekturen und ermöglicht eine Session-Übersicht. Es lässt sich einfach in Spring AI integrieren und visualisiert u.a. Promptdetails und Tool-Calls.
6. Was ist Promptfoo und wie unterstützt es LLM-Testing?
Promptfoo ist ein LLM-Testframework, das sowohl synthetische als auch realweltliche Prompts prüft. Es unterstützt deterministische und LLM-basierte Tests, ermöglicht Red Teaming und lässt sich via GitHub Actions in CI/CD-Pipelines integrieren.
7. Welche Tools helfen bei der PII-Anonymisierung im Tracing?
Für DSGVO-konformes Tracing eignen sich Tools wie DataFog oder Microsoft Presidio. Diese lassen sich via REST API integrieren und anonymisieren personenbezogene Daten vor dem Speichern.
Author
🔍 Frequently Asked Questions (FAQ)
1. Was sind Mixed Teams in IT-Projekten?
Mixed Teams bestehen aus Mitarbeitenden von Kunden- und Dienstleisterseite, die gemeinsam in einem Projektteam arbeiten. Ziel ist eine enge, interdisziplinäre Zusammenarbeit ohne künstliche organisatorische Trennung.
2. Welche Vorteile bieten Mixed Teams in agilen IT-Projekten?
Sie ermöglichen schnellere Entscheidungen, direkten Nutzerkontakt und fördern ein gemeinsames Verantwortungsgefühl. Diese Zusammenarbeit verbessert die Produktqualität und steigert die Motivation durch höhere Identifikation mit dem Projektziel.
3. Wie unterstützen Mixed Teams eine bessere Kommunikation?
Durch die direkte Zusammenarbeit können Entwickler:innen und Fachexperten schneller Feedback erhalten und auf Nutzerbedürfnisse reagieren. Das reduziert Missverständnisse und verkürzt Feedbackzyklen.
4. Welche rechtlichen Risiken bestehen bei Mixed Teams?
Es besteht das Risiko der Scheinselbstständigkeit oder illegalen Arbeitnehmerüberlassung. Um das zu vermeiden, müssen Rollen klar definiert, Weisungen an Externe vermieden und vertragliche Rahmenbedingungen rechtssicher gestaltet werden.
5. Wie kann ein Mixed Team effektiv gesteuert werden?
Durch klare Kommunikationsstrukturen, Rollenverteilungen (z. B. mittels RACI-Matrix) und regelmäßige Abstimmungen können Mixed Teams effizient arbeiten. Frühzeitig abgestimmte Prozesse sichern Transparenz und fördern das gemeinsame Projektverständnis.
