Blog

KI-Wissen für den Mittelstand

Praxisnahe Einblicke zu Corporate LLMs, KI-Integration, Automatisierung, Datenschutz und dem EU AI Act.

Aktuelle Fachartikel

Wer haftet bei KI-Fehlern im Unternehmen?

Ein KI-System gibt einem Vertriebsmitarbeiter einen falschen Preis frei, sortiert eine wichtige Kundenanfrage fehlerhaft aus oder fasst eine Vertragsklausel unzutreffend zusammen. Die Frage „Wer haftet bei KI Fehlern?“ entscheidet sich dann nicht an der Qualität einer einzelnen Antwort. Entscheidend sind Einsatzkontext, Verantwortlichkeiten, technische Kontrolle und die Frage, wer welche Pflicht verletzt hat.

Für Geschäftsführer ist das keine theoretische Rechtsfrage. Sobald KI in Kundenkommunikation, Angebotserstellung, Personalprozesse, Compliance oder operative Entscheidungen eingebunden ist, wird aus einem technischen Fehler ein Geschäftsrisiko. Dieses Risiko lässt sich nicht vollständig ausschließen. Es lässt sich jedoch systematisch begrenzen, wenn die KI als kontrolliertes Unternehmenssystem statt als frei nutzbares Einzeltool betrieben wird.

Wer haftet bei KI-Fehlern? Die Grundregel

Eine KI ist kein Rechtssubjekt. Sie kann weder Verträge schließen noch selbst haften. Verantwortung tragen vielmehr die natürlichen oder juristischen Personen, die ein System entwickeln, bereitstellen, betreiben oder seine Ergebnisse für Entscheidungen verwenden.

Im Unternehmensalltag trifft die Haftung daher häufig mehrere Ebenen. Das Unternehmen haftet grundsätzlich für Schäden, die seine Mitarbeiter bei der Ausübung ihrer Tätigkeit verursachen. Wer eine KI-Ausgabe ungeprüft übernimmt und dadurch einem Kunden einen Schaden zufügt, kann eine Pflichtverletzung des Unternehmens auslösen. Intern kann je nach Rolle, Verschulden und arbeitsvertraglicher Regelung auch eine Verantwortlichkeit des Mitarbeiters relevant werden. Gegenüber dem geschädigten Dritten steht jedoch regelmäßig zunächst das Unternehmen im Fokus.

Auch der Anbieter eines KI-Systems kann haften. Das kommt etwa in Betracht, wenn die Software mangelhaft ist, zugesicherte Eigenschaften fehlen, Sicherheitsvorgaben verletzt wurden oder Fehler in Entwicklung und Betrieb ursächlich für den Schaden sind. Bei individuell entwickelten Lösungen bestimmen zudem Leistungsbeschreibung, Abnahme, Gewährleistung, Service-Level und Haftungsregelungen im Vertrag den Rahmen.

Die zentrale Frage lautet deshalb nicht: Hat die KI einen Fehler gemacht? Sie lautet: Wer hatte welche Kontroll- und Sorgfaltspflicht, und wurde diese Pflicht erfüllt?

Die Haftung hängt vom Einsatzfall ab

Nicht jeder falsche KI-Output führt automatisch zu einem ersatzfähigen Schaden. Eine interne Ideensammlung mit unzutreffenden Fakten ist anders zu bewerten als eine automatisierte Kreditentscheidung oder eine fehlerhafte technische Handlungsempfehlung. Je größer die mögliche Schadenshöhe und je stärker das System eigenständig in Prozesse eingreift, desto höher sind die Anforderungen an Prüfung, Freigabe und Dokumentation.

Falsche Inhalte und fehlerhafte Entscheidungen

Generative Sprachmodelle können überzeugend formulierte, aber sachlich falsche Aussagen erzeugen. Werden solche Inhalte intern als Entwurf genutzt und vor Veröffentlichung geprüft, bleibt das Risiko beherrschbar. Werden sie automatisiert an Kunden versendet, in Angebote übernommen oder zur Grundlage verbindlicher Entscheidungen gemacht, steigt die Haftungsrelevanz deutlich.

Ein Beispiel: Ein Corporate LLM beantwortet eine Kundenanfrage auf Basis interner Produktdaten. Sind die Daten veraltet oder die Freigabelogik falsch eingerichtet, kann daraus eine falsche Zusage entstehen. Haftungsrechtlich wird dann geprüft, ob das Unternehmen seine Wissensbasis gepflegt, die Anwendung angemessen begrenzt und bei kritischen Aussagen eine menschliche Prüfung vorgesehen hat.

Fehlerhafte Automatisierung von Prozessen

Besonders sensibel sind KI-gestützte Workflows, die nicht nur Texte erzeugen, sondern Aktionen auslösen: Bestellungen anlegen, Zahlungen vorbereiten, Tickets schließen, Zugriffe vergeben oder Fristen verändern. Hier kann ein einzelner Fehler unmittelbar wirtschaftliche Folgen haben.

Die technische Leitlinie ist klar: Je höher die Wirkung einer Aktion, desto strenger müssen Berechtigungen, Freigabestufen und Rückabwicklungsmöglichkeiten gestaltet sein. Ein System darf nicht mehr Handlungsmacht erhalten, als der Prozess verantwortbar zulässt. Vollautomatisierung kann wirtschaftlich sinnvoll sein, aber nicht bei jedem Prozessschritt.

Datenschutzverstöße durch KI

Verarbeitet ein KI-System personenbezogene Daten unzulässig, ist in der Regel das Unternehmen als Verantwortlicher nach Datenschutzrecht in der Pflicht. Das gilt insbesondere dann, wenn Mitarbeiter sensible Informationen in öffentliche KI-Dienste eingeben oder wenn ein Dienstleister Daten ohne ausreichende vertragliche und technische Absicherung verarbeitet.

Datenschutzkonformität ist daher keine Ergänzung nach dem Go-live. Sie beginnt bei der Frage, welche Daten in das System gelangen, wo sie verarbeitet werden, welche Zugriffsrechte gelten und ob Eingaben zum Training fremder Modelle verwendet werden. Geschlossene Systeme mit klarer Datenhaltung und kontrollierten Schnittstellen reduzieren dieses Risiko erheblich. Sie ersetzen jedoch keine saubere Berechtigungs- und Prozessarchitektur.

Hersteller, Anbieter oder Betreiber: Verantwortung sauber trennen

Die Rollen in einem KI-Projekt müssen vor der Einführung eindeutig definiert sein. Der Anbieter trägt Verantwortung für die vereinbarte technische Leistung, sichere Entwicklung und den Betrieb innerhalb seines Einflussbereichs. Das Unternehmen als Betreiber verantwortet hingegen seine Daten, die konkrete Nutzung, die internen Freigaben und die Einbindung in Geschäftsprozesse.

In der Praxis entstehen Konflikte oft dort, wo diese Trennung unklar bleibt. Ein Anbieter kann nicht für fehlerhafte Stammdaten haften, die das Unternehmen selbst bereitstellt. Umgekehrt kann sich ein Anbieter nicht pauschal aus der Verantwortung ziehen, wenn bekannte technische Schwachstellen, unzureichende Zugriffskontrollen oder Fehler in der vereinbarten Integration einen Schaden verursachen.

Ein belastbarer Vertrag beschreibt daher nicht nur Funktionen und Preise. Er definiert Datenverantwortung, Sicherheitsmaßnahmen, Abnahmebedingungen, Change-Prozesse, Reaktionszeiten bei Störungen, Dokumentationspflichten sowie realistische Haftungsgrenzen. Pauschale Klauseln, die jede Verantwortung ausschließen, sind kein Ersatz für klare Leistungspflichten und halten rechtlich nicht immer stand.

Der EU AI Act verschärft die Organisationspflichten

Mit dem europäischen AI Act wird der risikobasierte Umgang mit KI verbindlicher. Die konkreten Pflichten unterscheiden sich danach, ob ein Unternehmen ein KI-System anbietet, in Verkehr bringt oder lediglich einsetzt. Für viele mittelständische Unternehmen ist vor allem die Rolle als Betreiber relevant.

Bei KI-Anwendungen mit erhöhtem Risiko gewinnen Themen wie Risikomanagement, menschliche Aufsicht, Protokollierung, Datenqualität und ausreichende Kompetenz der Nutzer an Gewicht. Unabhängig von der formalen Risikokategorie ist die praktische Konsequenz eindeutig: Ein Unternehmen muss nachvollziehen können, welches System wofür eingesetzt wird, welche Daten es verarbeitet und wer Ergebnisse kontrolliert.

Wer KI ohne zentrale Zuständigkeit in einzelnen Abteilungen wachsen lässt, schafft Schatten-IT und verteilt Verantwortung, bis sie im Ernstfall kaum mehr zuzuordnen ist. Eine verbindliche KI-Governance verhindert genau das.

So reduzieren Unternehmen ihr Haftungsrisiko

Haftungsrisiken werden nicht durch ein einzelnes Regelwerk gelöst. Wirksam ist das Zusammenspiel aus Technik, Organisation und Vertrag. Vier Maßnahmen haben sich dabei besonders bewährt:

  • Einsatzgrenzen definieren: Legen Sie fest, welche Anwendungsfälle zulässig sind, welche Daten verarbeitet werden dürfen und bei welchen Entscheidungen zwingend ein Mensch freigibt.
  • Verantwortung zuordnen: Benennen Sie einen fachlichen Prozesseigner, einen technischen Systemverantwortlichen und klare Eskalationswege für Fehler, Sicherheitsvorfälle und Änderungen.
  • Kontrollen technisch erzwingen: Arbeiten Sie mit rollenbasierten Zugriffsrechten, Freigabeworkflows, Protokollierung, Versionierung und klar abgegrenzten Schnittstellen statt mit bloßen Nutzungsrichtlinien.
  • Verträge und Dokumentation prüfen: Halten Sie Leistungsumfang, Datenverarbeitung, Sicherheitsanforderungen, Abnahme und Haftung schriftlich fest. Dokumentieren Sie zudem Tests, Freigaben, Änderungen und bekannte Einschränkungen.

Die Dokumentation ist dabei kein bürokratischer Selbstzweck. Sie zeigt im Streitfall, dass das Unternehmen Risiken erkannt, Entscheidungen bewusst getroffen und angemessene Kontrollen eingerichtet hat. Ohne diese Nachweise wird es schwer, einen sorgfältigen Umgang mit KI zu belegen.

Menschliche Kontrolle ist kein Rückschritt

Viele Unternehmen sehen die Pflicht zur menschlichen Kontrolle als Bremse für Automatisierung. Das greift zu kurz. Richtig gestaltet, konzentriert sich Kontrolle auf Ausnahmen, hohe Beträge, rechtlich relevante Aussagen und ungewöhnliche Prozessmuster. Routinefälle laufen automatisiert, kritische Fälle werden gezielt vorgelegt.

Damit entsteht keine künstliche Zusatzarbeit, sondern ein wirtschaftlich sinnvoller Kontrollpunkt. Entscheidend ist, dass der zuständige Mitarbeiter ausreichend Informationen, Entscheidungsbefugnis und Zeit erhält. Eine Freigabe, die nur formal erfolgt, schützt weder das Unternehmen noch den Kunden.

Solara AI setzt deshalb bei unternehmensfähigen KI-Systemen auf klar begrenzte Anwendungsfälle, kontrollierte Wissensquellen und nachvollziehbare Prozesslogiken. Das schafft die Voraussetzung, KI produktiv einzusetzen, ohne Verantwortlichkeit an ein Modell auszulagern.

Wer KI als Teil seiner Betriebsorganisation versteht, trifft bessere Entscheidungen als Unternehmen, die sie lediglich als neues Tool beschaffen. Die entscheidende Investition liegt nicht allein im Modell, sondern in den Regeln, Daten und Kontrollmechanismen, die aus einer leistungsfähigen KI ein verantwortbares Geschäftssystem machen.