2. STAFFEL /

KI Ethik News #10: Die Erwachsenwerden-Krise – Macht, Therapie & Werte

Datum: 15. Dezember 2025
Zielgruppe: Normenanwender:innen, Arbeitskreise im DIN-Umfeld, Fachverantwortliche für KI-Governance

Titel:  Quelle: KI Ethik News (Staffel 2, Folge 10) | Datum: 15.12.2025 Kurator: Arno Schimmelpfennig

Executive Summary

Folge 10 zeigt: KI ist 2025 offiziell erwachsen geworden (TIME-Wahl, GPT 5.2 schlägt Fachleute). Damit entstehen drei neue Regulierungsaufgaben: (1) Kartell-Prävention bei exponentieller Leistungssteigerung (Disney-Deal); (2) Medizinische Verantwortung für Therapie-Systeme, die nie als solche gedacht waren; (3) Ethische Transparenz für KI-Systeme in öffentlichen und Sicherheitsbereichen. Der rote Faden: Normen müssen nicht nur Technik regulieren, sondern auch die Werte, die in Systeme eingebaut werden.​

1. Die Leistungs-Explosion: 70% gegen Fachleute

Inhalte der Folge:​

• GPT 5.2 (GALIC): Kann Bücher, Datenbanken in Sekunden analysieren.

• Die kritische Metrik: In 70% der Fälle schlägt diese KI erfahrene Fachleute bei realen, komplexen Aufgaben.

• Was das bedeutet: Die alte Narration „KI ersetzt nur Routinetätigkeiten" ist endgültig tot. KI greift in Kernkompetenzen von Juristen, Ärzten, Strategie-Beratern.​

Relevanz für Normenanwender (ANP):

• Qualifikations-Standards müssen neu definiert werden: Was bedeutet noch „Fachkompetenz" in einer Welt, wo 70% der Aufgaben von KI erledigt werden? Brauchen Juristen und Ärzte andere Qualifikationen? Mehr Ethik-Training? Mehr „KI-Literalität"?

• Berufliche Transformation-Norm: Ein Standard, der Arbeitgeber verpflichtet, systematisch Mitarbeiter umzuschulen, nicht nur einmalig. Die Transformation ist permanent, nicht einmalig.

• Haftungs-Neudefinition: Wenn 70% der Aufgaben von KI erledigt werden, aber noch ein Mensch unterschreibt – wer haftet? Der Mensch, die KI, der Anbieter? Das braucht Klarheit.

2. Die Disney-Allianz: Machtkonsolidierung als Standard-Setzung

Inhalte der Folge:​

• Der Deal: OpenAI + Disney, 1 Milliarde USD. Direkter Launch: Mickey Mouse & Darth Vader KI-Videos, teilweise auf Disney+.

• Das Signal: Am selben Tag Google-Abmahnung.

• Das Problem: Der Markt wird nicht mehr durch Wettbewerb definiert, sondern durch Exklusiv-Pakete. Nur große Konzerne haben Zugang zu besten Modellen + besten Inhalten.​

Relevanz für Normenanwender (ANP):

• Kartell-Prävention-Norm: Standards müssen sicherstellen, dass KI-Märkte nicht zu Oligopolen kipppen. Das ist kein reiner Kartell-Frage (die ist eher für Behörden-Ebene), sondern eine Interoperabilitäts- und Zugangs-Norm:

  • KI-Modelle sollten auf verschiedenen Plattformen laufen können.

  • Inhalte sollten nicht exklusiv an eine KI gebunden sein.

  • Kleine Creator sollten Zugang zu leistungsstarken Modellen haben (nicht nur Disney & Co.).

• Fair Use & Open Innovation-Norm: Wenn KI-Systeme auf Kreativarbeit trainiert werden, braucht es ein echtes Äquivalent zu klassischem Copyright und Fair Use.

• Monopol-Entflechtung: Für öffentliche Aufträge sollte es keine Exklusivität geben. Der Staat sollte verbieten, dass ein Konzern seine KI-Modelle nur unter Exklusiv-Bedingungen vermarktet.

3. Die versteckte Therapie-KI: Ein ethisches Minenfeld

Inhalte der Folge:​

• Das Versehen: Microsoft lieferte Co-Pilot aus – gedacht für Produktivität, wird aber primär für Gesundheit & Wellness genutzt (nachts, Wochenende).

• Die Nutzung: Menschen fragen nach Beziehungsproblemen, Angstzuständen, Depression, psychischen Krisen.

• Die Warnung: US-Generalstaatsanwälte sagen, diese KIs geben teils wahnhafte oder emotional schädliche Antworten.

• Das Versprechen: Microsoft hat nie behauptet, ein Therapeut zu sein – das ist eine unbeabsichtigte Rollenübernahme.​

Relevanz für Normenanwender (ANP):

• Medizinprodukt-Klassifikation: Wenn eine KI regelmäßig für psychische Gesundheit genutzt wird, sollte sie als Medizinprodukt reguliert werden (ähnlich wie Folge 3 bei Therapie-Bots):

  • Risikoklassifikation.

  • Klinische Validierung.

  • Klare Limits und Notfall-Weiterleitung.

• Transparenz-Pflicht: Chatbots, die für Gesundheit genutzt werden, müssen klar sagen, dass sie keine Therapeuten sind – nicht im Kleingedruckten, sondern in der Nutzeroberfläche, bei jeder kritischen Frage.

• Gefährdungs-Prävention: Standards sollten erzwingen, dass KI-Systeme bei Suizidgedanken oder Selbstverletzung automatisch zu professioneller Hilfe weiterleiten und das dokumentieren.

• Forschungs-Standard: Was Microsoft versehentlich geschaffen hat (eine weit verbreitete „De-facto-Therapie-KI"), sollte systematisch untersucht werden. Brauchen wir ein Monitoring-System?

4. Die Werte-Frage: Palantir in Deutschland

Inhalte der Folge:​

• Die Debatte: Soll Palantir (US-Sicherheitsfirma) ihre KI für deutsche Behörden liefern?

• Das Framing: Karp sagt „deutsche Tech-Szene ist schlecht" → also müssen wir das beste Tool nehmen, egal woher.

• Die unausgesprochene Frage: Aber was, wenn die Firma selbst kontroverse Weltanschauungen hat?​

• Das Konkrete: Karps Positionen zum Nahen Osten sind umstritten. Wie stellt man sicher, dass das nicht in Polizei-Algorithmen einfließt?

Relevanz für Normenanwender (ANP):

• Ethik-Audit für öffentliche KI-Beschaffung: Ein Standard, der für öffentliche Aufträge (Polizei, Sicherheit, Verwaltung) vorschreibt:

  • Transparenz-Audit: Trainingsdaten müssen offengelegt werden. Algorithmen müssen nachvollziehbar sein.

  • Werte-Check (nicht Zensur): Es geht nicht darum, Meinungen zu zensieren, sondern zu prüfen, ob die Werte des Anbieters mit demokratischen Grundwerten kompatibel sind. Das ist legitim für öffentliche Aufträge.

  • Regelmäßige Überprüfung: KI-Systeme sollten regelmäßig auf Bias und Diskriminierung geprüft werden (nicht nur bei Launch).

• Souveränitäts-Standard: Für kritische Infrastruktur (Sicherheit, Justiz, Polizei) sollten Standards bevorzugen:

  • Europäische oder deutsche Systeme (wenn verfügbar).

  • Open-Source-Alternativen, damit der Code überprüfbar ist.

  • Kontrolle über Trainingsdaten bleiben bei der öffentlichen Hand.

• Whistleblower-Schutz: Wenn KI-Systeme für Polizei/Sicherheit eingesetzt werden, braucht es besonders starken Schutz für Personen, die Diskriminierung oder Fehler melden.

5. Der übergeordnete Paradigmenwechsel

Folge 10 zeigt: KI wird nicht nur technisch komplexer, sondern auch gesellschaftlich komplexer:​

• Von Leistung zu Verantwortung: Es reicht nicht mehr, zu sagen „diese KI ist schneller/besser". Wir müssen fragen: Wem können wir vertrauen? Welche Werte sind eingebaut? Wer haftet?

• Von Opt-in zu Opt-out: Die Therapie-KI zeigt, dass KI-Funktionalitäten oft versehentlich entstehen. Nutzer erlauben sich, KI für unvorgesehene Zwecke zu nutzen. Standards müssen hier proaktiv eingreifen, nicht reaktiv.

• Von Technik zu Governance: Der Palantir-Fall zeigt, dass es nicht mehr nur um Algorithmen geht, sondern um Wer sitzt am Tisch? Wessen Werte sind eingebaut? Wer kontrolliert das?

Handlungsempfehlungen für ANP

Unmittelbar:

1. Medizinprodukt-Position: Die ANP sollte eine Stellungnahme verfassen, dass KI-Systeme, die regelmäßig für psychische Gesundheit genutzt werden, als Medizinprodukte zu regulieren sind.

2. Ethik-Audit-Standard: Ein Rahmen für Ethik-Überprüfungen bei öffentlichen KI-Beschaffungen.

Mittelfristig:

1. Kartell-Prävention-Norm: Standards für Interoperabilität und Zugangsgleichheit in KI-Märkten.

2. Berufliche Transformation-Norm: Wie werden Fachleute geschult, wenn 70% ihrer Aufgaben KI werden?

3. Therapie-KI-Standard: Sicherheitsanforderungen, Notfall-Protokolle, Dokumentation.

Langfristig:

Woche: 05.2026

EXECUTIVE SUMMARY

Die analysierten Inhalte markieren eine Verschiebung von „KI als Tool“ hin zu KI als gesellschaftlicher und wirtschaftlicher Steuerungsfaktor. Im Fokus stehen drei Risikodynamiken:

1. Kontrolle über digitale Öffentlichkeiten (Beispiel TikTok): Plattformmacht beeinflusst politische Meinungsbildung.

2. Erosion von Authentizität (Deepfakes, KI-Propaganda, KI-Avatare in Verwaltung): Sichtbarkeit verliert Beweisfunktion.

3. Spaltung in der Arbeitswelt (Produktivitäts-KI vs. Nicht-Nutzung): Risiko einer Kompetenz- und Wertschöpfungskluft.

Ergänzt wird dies durch eine zunehmende Bedrohungslage (Malicious LLMs wie WormGPT) sowie durch Qualitätsrisiken durch synthetische Datenrückkopplung („KI frisst sich selbst“).

Zielbild für ANP:
Prüfbarkeit, Kennzeichnung, Verantwortlichkeit und Security-by-Design als Mindestleitplanken für KI-Einsatz in Öffentlichkeit, Verwaltung und Unternehmen.

PROBLEMFELD 1: KONTROLLE ÜBER DIGITALE ÖFFENTLICHKEITEN

Beobachtung
Digitale Plattformen sind öffentliche Arenen mit hoher gesellschaftlicher Steuerungswirkung. Eine politisch beeinflusste Eigentümer- oder Kontrollstruktur kann Vielfalt reduzieren und Debattenräume verengen.

Normungs- und Regulierungsbedarf
– Transparenzanforderungen an Governance-Strukturen von Plattformen
– Nachweisbare Mechanismen zur Sicherung von Pluralität und Nicht-Diskriminierung in Distributionslogiken
– Prüfpfade für „politische Integrität“ algorithmischer Reichweitenmechanismen

Idee für ANP
– Kriterienkatalog für Plattform-Governance-Transparenz
– Mindestanforderungen für algorithmische Rechenschaft (Auditierbarkeit)

PROBLEMFELD 2: AUTHENTIZITÄT, DEEPFAKES UND KI-INTERAKTION IN VERWALTUNG

Beobachtung
Deepfakes und KI-Manipulationen wirken schneller als Aufklärung. Parallel entstehen KI-Avatare für Bürgerkommunikation („KI-Bürgermeister“), die Vertrauen und Verantwortungszuordnung beeinflussen.

Normungs- und Regulierungsbedarf
– Kennzeichnungspflicht für KI-generierte Inhalte: sichtbar und maschinenlesbar
– Mindestanforderungen an KI-gestützte Behördenkommunikation:
• klare Rollen- und Haftungsabgrenzung
• Grenzen rechtsverbindlicher Auskünfte
• Protokollierung und Nachvollziehbarkeit

Idee für ANP
– Standard „Maschinenlesbare KI-Kennzeichnung“ (Metadaten und UI-Label)
– Leitlinie „KI-Assistenz in Behörden“ (Haftung, Transparenz, Eskalation)

PROBLEMFELD 3: ARBEITSWELT-SPALTUNG DURCH UNGLEICHE KI-NUTZUNG

Beobachtung
KI-Integration in Standardsoftware steigert Produktivität. Gleichzeitig zeigen Daten eine breite Nicht-Nutzung von KI, was eine neue Wertschöpfungskluft erzeugt.

Normungs- und Regulierungsbedarf
– Anforderungen an organisationsweite Qualifizierungsstrategien („Capability Building“)
– Mindeststandards für Change- und Lernkultur in KI-Transformation
– Schutz vor struktureller Benachteiligung durch fehlende Kompetenzzugänge

Idee für ANP
– Musterprozess „KI-Kompetenzaufbau“ für KMU (schlank, umsetzbar)
– Kriterien für „faire Einführung“ (Zugang, Schulung, Begleitung)

PROBLEMFELD 4: BEDROHUNGSLAGE DURCH MALICIOUS LLMS UND UNSICHERES VIBE-CODING

Beobachtung
Neben missbrauchbaren Systemen entstehen gezielt kriminelle Modelle (z. B. WormGPT). Gleichzeitig erzeugt KI-gestützte Softwareentwicklung ohne Security-Kompetenz neue Angriffsflächen.

Normungs- und Regulierungsbedarf
– Mindestanforderungen an Security-by-Design für KI-Systeme und KI-generierten Code
– Prüfverfahren und Zertifizierung nach Risikoklassen (analog Sicherheitsprüfung)
– Klare Haftungszuordnung bei Datenabfluss und Sicherheitsmängeln

Idee für ANP
– Entwurf „KI-Sicherheits-TÜV“ nach Einsatzgebiet (Finanzen, Gesundheit, Verwaltung)
– Security-Checkliste für KI-generierte Softwareartefakte

PROBLEMFELD 5: QUALITÄTS- UND WAHRHEITSRISIKEN DURCH SYNTHETISCHE DATENRÜCKKOPPLUNG

Beobachtung
KI-Inhalte werden Teil zukünftiger Trainingsdaten („KI frisst sich selbst“). Risiko: Fehlerverstärkung, sinkende Originalität, Erosion überprüfbarer Quellen.

Normungs- und Regulierungsbedarf
– Standards für Quellentransparenz und Rückverfolgbarkeit
– Anforderungen an Datenvalidierung und Provenance (Herkunftsnachweis)
– Schutzmaßnahmen gegen Datenvergiftung (Training Data Security)

Idee für ANP
– Leitlinie „Provenance und Quellenkette“ für KI-Antwortsysteme
– Anschlussfähigkeit an Sicherheitsforschung (Training-Absicherung)

SCHLUSSFOLGERUNG / LEITMOTIV

KI verschiebt die Kontrollfrage von der Technik in die Governance.

Wer steuert Öffentlichkeit, Wahrheit und Wertschöpfung?

ANP kann die Brücke bauen zwischen
„KI nutzen“ und „KI verantwortbar nutzen“ – durch Kennzeichnung, Prüfbarkeit, Verantwortungslogik und Security-by-Design

.

Hinweis: Diese Zusammenfassung wurde auf Basis der Podcast-Transkripte erstellt und für die Zielgruppe der Normenanwender kontextualisiert. Die Inhalte dienen der Information und ersetzen keine Rechtsberatung.