2. STAFFEL /

Woche:

KI Ethik News #6: Systemische Risiken – Jobangst, psychische Schäden &

Datum: 8. Dezember 2025
Zielgruppe: Normenanwender:innen, Arbeitskreise im DIN-Umfeld, Fachverantwortliche für KI-Governance

Titel:  Quelle: KI Ethik News (Staffel 2, Folge 6) | Datum: 08.12.2025 Kurator: Arno Schimmelpfennig

Executive Summary

Während Folge 5 noch von KI-Kollegen im positiven Sinne sprach, dreht Folge 6 das Blatt um: Sie analysiert die systemischen Schäden, die durch unkontrollierte Einführung autonomer KI-Systeme entstehen können. Zentrale Erkenntnisse: (1) Massive Jobverlustrisiken mit gleichzeitiger Vertrauenskrise in Teams; (2) Regulierungslücken bei KI-gestützten Gesundheitsanwendungen; (3) Marktstabilität gefährdet durch Milliardenwetten und Monopolbildung. Für die Normenpraxis ergeben sich unmittelbare Handlungsbedarfe in drei Bereichen.​

1. KI-Agenten im Workspace: Effizienz auf Kosten von Vertrauen

Inhalte der Folge:​

• Autonome Tools (Google Workspace Studio, Amazon Kiro): KI übernimmt Routineaufgaben wie E-Mail-Verwaltung, Meeting-Koordination, automatisierte Programmierung, etc.

• Kostenlogik: Junior-Mitarbeiter ~$50.000/Jahr vs. KI-Agent ~$10/Jahr → wirtschaftlicher Druck ist enorm.

• Prognose: Die Jobverluste kommen nicht graduell, sondern „kippen" 2026/2027 plötzlich.​

• Die Anthropic-Studie zeigt das Dilemma:​

  • 86% sparen durch KI Zeit (positiv).

  • 70% verstecken ihre KI-Nutzung aus Angst (Misstrauen im Team).

  • 55% fürchten um ihren Job konkret.

→ Paradox: Effizienzgewinn führt zu Vertrauensverlust und psychischer Belastung statt Zusammenarbeit.​

Relevanz für die Normenpraxis (ANP):

• Transparenz-Norm für Unternehmens-KI: Es braucht verbindliche Standards dafür, wie Unternehmen den Einsatz von KI-Agenten kommunizieren und dokumentieren (ähnlich wie Offenlegung von Code-of-Conduct-Verstößen).​

• Haftungsfragen: Wenn ein autonomer Agent falsche Daten an den gesamten Kundenverteiler schickt – wer haftet? Normen müssen klare Verantwortlichkeitsketten definieren, besonders in sicherheitskritischen Kontexten (z. B. Medizingeräte, Infrastruktur).​

• Arbeitnehmerschutz-Normen: Die psychische Belastung durch ständige Automatisierungsunsicherheit braucht auch arbeitsschutzrechtliche Grenzen (z. B. Ruhezeiten, Transparenzpflichten, Rückkehrgarantien).​

2. KI-Therapeuten als reguliertes Versprechen

Inhalte der Folge:​

• Chance: 24/7-Verfügbarkeit, Anonymität, erste Anlaufstelle für Menschen mit Hemmungen.

• Gefahr: KI-Charaktere für psychische Unterstützung sind weitgehend unreguliert – werden aber als echte Therapeuten wahrgenommen, besonders von Jugendlichen.

• Beispiel: Deepfake-Ärzte auf TikTok – gefälschte Ärzte werben gezielt (z. B. für Wechseljahrs-Präparate), was zeigt, wie glaubwürdig und manipulativ solche Systeme sind.

• Dresdner Forschungs-Forderung: „Wenn es wie eine Ente geht und wie eine Ente spricht, ist es eine medizinisch regulierte Ente."​

Relevanz für die Normenpraxis (ANP):

• Medizinprodukt-Klassifikation: KI-Therapeuten sollten der MDR (Medical Device Regulation) oder IVDR zugeordnet werden – mit Folgen: Risikoklassifikation, klinische Studien, Compliance-Audits.

• Psychische Notfall-Protokolle: Normen sollten verbindlich vorschreiben, dass KI-Gesundheitsbots bei kritischen Inhalten (Suizidgedanken, Missbrauch) automatisch zu professionellen Anlaufstellen weiterleiten und das dokumentieren.

• Transparenzmarking: Ähnlich wie „KI-generiert" für Inhalte – brauchen wir ein klares Kennzeichnungssystem: „Dieser Chat ist mit einer KI, nicht mit einem Therapeuten" (deutlicher als nur Kleingedrucktes).

• Altersschutz: Verstärkte Anforderungen für KI-Anwendungen, die Jugendliche oder Kinder nutzen, da emotionale Abhängigkeit größer ist.

3. Das Geldspiel: Marktkonzentration & Spekulationsblasen

Inhalte der Folge:​

• Infrastruktur-Kosten: Ein Rechenzentrum kostet $10 Milliarden; einige Firmen wetten intern auf $200 Milliarden Jahresumsatz.​

• Blase-Szenario: Kleine Fehlkalkulationen → ganzer Crash, ähnlich Dotcom, aber größer.

• Nvidia-Monopol: Open-Source-Modelle sind „offen" in der Software – aber laufen am besten (und rentabelsten) auf Nvidias proprietary Hardware. → Echte Unabhängigkeit? Fehlanzeige.​

• Digitale Souveränität gefährdet: Kontrolle über Zugang, Preise, Spielregeln liegt bei Handvoll Firmen.​

Relevanz für die Normenpraxis (ANP):

• Systemrelevanz-Standard: KI-Infrastrukturen sollten ähnlich wie Banken oder Energienetze reguliert werden – zu systemisch, um zu scheitern.

• Interoperabilität-Norm: Große offene Modelle sollten auf neutraler Hardware laufen können (z. B. über Standards für Hardware-Abstraktionen), um echte Wettbewerbsfähigkeit zu ermöglichen.

• Marktkonzentrationsüberwachung: Wie bei Kartellrecht: Ab wann kontrolliert eine Firma zu viel der KI-Infrastruktur? Brauchen wir Anti-Monopol-Schwellwerte?

• Resilienz-Norm: Was passiert mit kritischen Diensten, wenn ein Nvidia-Rechenzentrum ausfällt? Brauchen wir verbindliche Backup-Standards?

4. Der rote Faden: Wer kontrolliert das Narrativ?

Zentrale Frage der Folge:​

„Gestalten wir das noch oder werden wir gerade einfach überrollt?"

Diese Frage ist für die Normung zentral:

• Etablieren wir Standards proaktiv (auf Basis von Ethik, Sicherheit, Fairness)?

• Oder reagieren wir nur, wenn Schäden entstanden sind (Notfalltriage statt Prävention)?

• Wer bestimmt die Spielregeln – Tech-Giganten, Regierungen, Zivilgesellschaft, oder alle zusammen?

Handlungsbedarf für ANP / Normung

05.2026

EXECUTIVE SUMMARY

Die analysierten Inhalte markieren eine Verschiebung von „KI als Tool“ hin zu KI als gesellschaftlicher und wirtschaftlicher Steuerungsfaktor. Im Fokus stehen drei Risikodynamiken:

1. Kontrolle über digitale Öffentlichkeiten (Beispiel TikTok): Plattformmacht beeinflusst politische Meinungsbildung.

2. Erosion von Authentizität (Deepfakes, KI-Propaganda, KI-Avatare in Verwaltung): Sichtbarkeit verliert Beweisfunktion.

3. Spaltung in der Arbeitswelt (Produktivitäts-KI vs. Nicht-Nutzung): Risiko einer Kompetenz- und Wertschöpfungskluft.

Ergänzt wird dies durch eine zunehmende Bedrohungslage (Malicious LLMs wie WormGPT) sowie durch Qualitätsrisiken durch synthetische Datenrückkopplung („KI frisst sich selbst“).

Zielbild für ANP:
Prüfbarkeit, Kennzeichnung, Verantwortlichkeit und Security-by-Design als Mindestleitplanken für KI-Einsatz in Öffentlichkeit, Verwaltung und Unternehmen.

PROBLEMFELD 1: KONTROLLE ÜBER DIGITALE ÖFFENTLICHKEITEN

Beobachtung
Digitale Plattformen sind öffentliche Arenen mit hoher gesellschaftlicher Steuerungswirkung. Eine politisch beeinflusste Eigentümer- oder Kontrollstruktur kann Vielfalt reduzieren und Debattenräume verengen.

Normungs- und Regulierungsbedarf
– Transparenzanforderungen an Governance-Strukturen von Plattformen
– Nachweisbare Mechanismen zur Sicherung von Pluralität und Nicht-Diskriminierung in Distributionslogiken
– Prüfpfade für „politische Integrität“ algorithmischer Reichweitenmechanismen

Idee für ANP
– Kriterienkatalog für Plattform-Governance-Transparenz
– Mindestanforderungen für algorithmische Rechenschaft (Auditierbarkeit)

PROBLEMFELD 2: AUTHENTIZITÄT, DEEPFAKES UND KI-INTERAKTION IN VERWALTUNG

Beobachtung
Deepfakes und KI-Manipulationen wirken schneller als Aufklärung. Parallel entstehen KI-Avatare für Bürgerkommunikation („KI-Bürgermeister“), die Vertrauen und Verantwortungszuordnung beeinflussen.

Normungs- und Regulierungsbedarf
– Kennzeichnungspflicht für KI-generierte Inhalte: sichtbar und maschinenlesbar
– Mindestanforderungen an KI-gestützte Behördenkommunikation:
• klare Rollen- und Haftungsabgrenzung
• Grenzen rechtsverbindlicher Auskünfte
• Protokollierung und Nachvollziehbarkeit

Idee für ANP
– Standard „Maschinenlesbare KI-Kennzeichnung“ (Metadaten und UI-Label)
– Leitlinie „KI-Assistenz in Behörden“ (Haftung, Transparenz, Eskalation)

PROBLEMFELD 3: ARBEITSWELT-SPALTUNG DURCH UNGLEICHE KI-NUTZUNG

Beobachtung
KI-Integration in Standardsoftware steigert Produktivität. Gleichzeitig zeigen Daten eine breite Nicht-Nutzung von KI, was eine neue Wertschöpfungskluft erzeugt.

Normungs- und Regulierungsbedarf
– Anforderungen an organisationsweite Qualifizierungsstrategien („Capability Building“)
– Mindeststandards für Change- und Lernkultur in KI-Transformation
– Schutz vor struktureller Benachteiligung durch fehlende Kompetenzzugänge

Idee für ANP
– Musterprozess „KI-Kompetenzaufbau“ für KMU (schlank, umsetzbar)
– Kriterien für „faire Einführung“ (Zugang, Schulung, Begleitung)

PROBLEMFELD 4: BEDROHUNGSLAGE DURCH MALICIOUS LLMS UND UNSICHERES VIBE-CODING

Beobachtung
Neben missbrauchbaren Systemen entstehen gezielt kriminelle Modelle (z. B. WormGPT). Gleichzeitig erzeugt KI-gestützte Softwareentwicklung ohne Security-Kompetenz neue Angriffsflächen.

Normungs- und Regulierungsbedarf
– Mindestanforderungen an Security-by-Design für KI-Systeme und KI-generierten Code
– Prüfverfahren und Zertifizierung nach Risikoklassen (analog Sicherheitsprüfung)
– Klare Haftungszuordnung bei Datenabfluss und Sicherheitsmängeln

Idee für ANP
– Entwurf „KI-Sicherheits-TÜV“ nach Einsatzgebiet (Finanzen, Gesundheit, Verwaltung)
– Security-Checkliste für KI-generierte Softwareartefakte

PROBLEMFELD 5: QUALITÄTS- UND WAHRHEITSRISIKEN DURCH SYNTHETISCHE DATENRÜCKKOPPLUNG

Beobachtung
KI-Inhalte werden Teil zukünftiger Trainingsdaten („KI frisst sich selbst“). Risiko: Fehlerverstärkung, sinkende Originalität, Erosion überprüfbarer Quellen.

Normungs- und Regulierungsbedarf
– Standards für Quellentransparenz und Rückverfolgbarkeit
– Anforderungen an Datenvalidierung und Provenance (Herkunftsnachweis)
– Schutzmaßnahmen gegen Datenvergiftung (Training Data Security)

Idee für ANP
– Leitlinie „Provenance und Quellenkette“ für KI-Antwortsysteme
– Anschlussfähigkeit an Sicherheitsforschung (Training-Absicherung)

SCHLUSSFOLGERUNG / LEITMOTIV

KI verschiebt die Kontrollfrage von der Technik in die Governance.

Wer steuert Öffentlichkeit, Wahrheit und Wertschöpfung?

ANP kann die Brücke bauen zwischen
„KI nutzen“ und „KI verantwortbar nutzen“ – durch Kennzeichnung, Prüfbarkeit, Verantwortungslogik und Security-by-Design.

Langfristig:

Hinweis: Diese Zusammenfassung wurde auf Basis der Podcast-Transkripte erstellt und für die Zielgruppe der Normenanwender kontextualisiert. Die Inhalte dienen der Information und ersetzen keine Rechtsberatung.