Meeting: 2024-09-27

Agenda

1. Besprechung der Frage, wie wir das sehr große Themenfeld “LLMs und KGs” so sinnvoll strukturieren und letztlich kondensieren, dass wir bis Ende Dezember definitiv ein fertiges und vor allem nützliches Dokument haben. 

Idee #1: Wir machen die Entscheidung bzgl. Aufnahme bzw. Nicht-Berücksichtigung eines Themas an der Sinnhaftigkeit des jeweiligen Abschnitts/Unterabschnitts fest, z.B. bringt das Thema eines bestimmten Abschnitts/Unterabschnitts tatsächlich z.B. Performanz-Gewinne oder weniger Halluzinationen, wenn man sich z.B. die Nutzung von KGs als faktisches Wissen für LLMs ansieht? Nur: An welchen globalen KPIs könnte man das festmachen?

Idee #2: Jeder einzelne Abschnitt wird durch eine Art allgemeine Frage motiviert, so dass die gesamte SPEC dann schließlich als eine Art “LLM and KI FAQ” konzeptualisiert werden könnte. Eine Art Vorbild könnte hier z.B. die DIN SPEC 13266:2020-04 sein ("Leitfaden für die Entwicklung von Deep-Learning-Bilderkennungssystemen").

Ich wäre euch allen sehr dankbar, wenn ihr euch zu dieser Herausforderung Gedanken machen könntet.

Konsens:

Fragen-basiertes Vorgehen: "Wie mache ich X?"

- User-driven question (the question is the headline)
- Problem statement (only a few sentences, at most one paragraph)
- Explanation of concepts
- Brief description of the state of the art (only a few sentences, at most one paragraph)
- Answer: proposed solution (rephrasing and extending the question)
- References (norms, standards, scientific publications)

Wenn möglich ohne Abbildungen – Tabellen sind okay.

Ggf. eine Landscape-Abbildung zu Beginn.

2. Durchsicht und Ergänzung der einzelnen Punkte in den drei Hauptseiten (Terminologie, LLMs für KGs und KGs für LLMs), ggf. auch Streichung einzelner Unterabschnitte. Bitte fügt auch noch weitere Namen hinzu und falls euch noch weitere wichtige Themen einfallen, notiert diese bitte in den drei Hauptseiten.

3. AOB

Meeting: 2024-07-12

Agenda

refine scope

what may or may not be part of the project

collating information to start application process, according to this form (German version shall be used for application, EN for reference only):

DIN SPEC Request (EN).docx
DIN SPEC Anfrage (DE).docx

Meeting: 2024-07-05

Agenda

1. Wrap-up
2. Kennenlernrunde
3. Kurze inhaltliche Diskussion des Bedarfs (gemeinsame Basis schaffen)
4. Aufgaben zur SPEC-Projektinitiierung
   1. Arbeitstitel der DIN SPEC
   2. Scope (inkl. sinnvoller Erweiterungen zum Bedarf)
      1. Diese DIN SPEC legt … fest/beschreibt/befasst sich mit…

1. Inhalt/Gliederung
   1. Begriffe/Definitionen à Begriffsmodell (Unifying Large Language Models and Knowledge Graphs: A Roadmap (UML)-basiertes Begriffsmodell, ISO 24156-1:2014, Graphic notations for concept modelling in terminology work and its relationship with UML — Part 1: Guidelines for using UML notation in terminology work)
   2. Bestehende Normen/Standards analysieren
   3. Umfeldanalyse und Abgrenzung
   4. Methoden
   5. Use-cases/Anwendungsfälle
   6. Sprachmodelle für Knowledge Graphs (Definition!?) und umgekehrt à nicht nur darauf beschränken,
   7. Unterscheidung von K Models und K Graphs
2. Nächste Schritte/Termine

Links: https://www.poolparty.biz/semantic-retrieval-augmented-generation

From the roadmap paper, KG-enhanced LLMs:
1) KG-enhanced LLM pre-training
1.1.) Integrating KGs into training objective
1.2) Integrating KGs into LLM inputs
1.3) Integrating KGs by fusion modules
2) KG-enhanced LLM inference
2.1) Dynamic knowledge fusion
2.2) Retrieval-augmented knowledge fusion
3) KG-enhanced LLM interpretability
3.1) KGs for LLM probing
3.2) KGs for LLM analysis