KI-Startseite

Weitere Themen
KI-Interessierte auf DIN.ONE

You are viewing an old version of this page. View the current version.

Compare with Current View Page History

« Previous Version 16 Next »

The intention (for now) of this page is to define the Scope (Anwendungsbereich) for the DIN-SPEC-Project on "Wissensgraphen und Ontologien in großen Sprachmodellen"

Guidelines for registration and handling the page:

Registration and login on DIN.ONE is required for collaboration!

Note: To participate in writing the DIN SPEC 91516 on DIN.ONE, you must be registered on our collaboration platform DIN.ONE. Under the following Link you can register for free here. You can find further helpful information to DIN.ONE here: Help and Documentation

  • if you add something new or change something indicate the new content with red colour
  • if you comment something please use the blue colour
  • always followed by your name in brackets in green

→ Example: This text was added and changed (name)



This document specifies the dimensions of/a method for/the characteristics of ... . (Dieses Dokument legt die Maße von/ein Verfahren für/die Merkmale von ... fest.)
This document establishes a system for/general principles for ... . (Dieses Dokument stellt ein System für/allgemeine Grundsätze für ... auf.)

where applicable.

This document is applicable ... (Dieses Dokument ist anwendbar ...)
This document is not applicable ... (Dieses Dokument ist nicht anwendbar ...)




Next Meeting: 2024-07-12

Agenda

refine scope

what may or may not be part of the project

collating information to start application process, according to this form (German version shall be used for application, EN for reference only):

DIN SPEC Request (EN).docx
DIN SPEC Anfrage (DE).docx

Notes from 2024-07-05

Agenda

  1. Wrap-up
  2. Kennenlernrunde
  3. Kurze inhaltliche Diskussion des Bedarfs (gemeinsame Basis schaffen)
  4. Aufgaben zur SPEC-Projektinitiierung
    1. Arbeitstitel der DIN SPEC
    2. Scope (inkl. sinnvoller Erweiterungen zum Bedarf)
      1. Diese DIN SPEC legt … fest/beschreibt/befasst sich mit…


  1. Inhalt/Gliederung
    1. Begriffe/Definitionen à Begriffsmodell (Unifying Large Language Models and Knowledge Graphs: A Roadmap (UML)-basiertes Begriffsmodell, ISO 24156-1:2014, Graphic notations for concept modelling in terminology work and its relationship with UML — Part 1: Guidelines for using UML notation in terminology work)
    2. Bestehende Normen/Standards analysieren
    3. Umfeldanalyse und Abgrenzung
    4. Methoden
    5. Use-cases/Anwendungsfälle
    6. Sprachmodelle für Knowledge Graphs (Definition!?) und umgekehrt à nicht nur darauf beschränken,
    7. Unterscheidung von K Models und K Graphs
  2. Nächste Schritte/Termine


Links: https://www.poolparty.biz/semantic-retrieval-augmented-generation

From the roadmap paper, KG-enhanced LLMs:
1) KG-enhanced LLM pre-training
1.1.) Integrating KGs into training objective
1.2) Integrating KGs into LLM inputs
1.3) Integrating KGs by fusion modules
2) KG-enhanced LLM inference
2.1) Dynamic knowledge fusion
2.2) Retrieval-augmented knowledge fusion
3) KG-enhanced LLM interpretability
3.1) KGs for LLM probing
3.2) KGs for LLM analysis



Bedarf zum Nachlesen 01-17: Wissensgraphen und Ontologien in großen Sprachmodellen

Während Sprachmodelle den Stand der Wissenschaft und Technik für eine Vielzahl sprachtechnologischer Aufgaben darstellen, existieren zahlreiche Wissensbasen, Wissensgraphen und Ontologien, die symbolisches Wissen bzw. semantisches Wissen in symbolischer Repräsentation enthalten. Derzeit existieren noch keine Standards, wie derartige Wissensbasen und Ontologien in Sprachmodelle integriert und der jeweiligen Anforderung entsprechend sicher (Bewertung der „Kritikalität“) nutzbar gemacht werden können. Dieser Aspekt betrifft auch die Zusammenführung und Integrierung unterschiedlicher Wissensbasen und Wissenspakete.

Die Standardisierung von Ansätzen, wie Wissensgraphen und Ontologien in große Sprachmodelle, die integrierbar und nutzbar gemacht werden können, dient der Nutzung existierender symbolischer Wissensbestände im Rahmen der Stand der Forschung und Technik von Sprachtechnologien, die typischerweise auf großen Sprachmodellen basieren. Hierbei sollte auch die Zusammenführung, Integration und Verwaltung von Ontologien und Ontologiemodulen bzw. Ontologiepaketen aus unterschiedlichen Quellen betrachtet werden. Dabei können auch Ansätze betrachtet werden, wie (eher ontologiebasiertes) Weltwissen in (eher dokumentbasierte) Wissensgraphen integriert werden kann. Diese Aspekte sind wichtig und relevant für die Nutzung symbolischer Wissensbasen (d. h. Ontologien) im Rahmen von Knowledge-Graph-basierten Anwendungen.


Template for DIN SPEC (for reference only, you may not use this or any word file yet)

3 types of KG+LLMs systems (Robert D. - SWC)

  1. Complementary solution:
    KGs and LLMs complement each other to implement a use case that each would not be able to do. [I wouldn't restrict to the point that alone KG and LLM would not be able to solve the task. Probably better to say that their complementary use enhances the performance/quality/efficiency/... (significantly)]
    1. KG-based (Semantic or Graph) RAG
  2. Improve LLMs by using KGs
    1. reduce hallucinations/garbage
    2. provide additional background knowledge
    3. ...
  3. Improve KGs by using LLMs
    1. improve structure of KGs-> extend/augment KG with nodes/entities + relations
    2. content -> add labels/descriptions based on other KG entities
    3. Context-aware translation of labels/literals between different languages
    4. Disambiguate KG entities
    5. LLMs for entity matching in different KGs
    6. LLMs for ontology engineering tasks (in ontology design, ontology mapping/alignment,...)
    7. ...



Based on above version (Harald, Sven, Heike - FIZ Karlsruhe)

  1. Definition of vocabulary used 

    • Only focus on language (LLMs) vs multi-modal (language + images, audio, etc)?

  2. Complementary solution
    1. Downstream tasks
      1. Question answering
      2. Fact checking
      3. Fake news detection
      4. Explainability
  3. Improve LLMs by using KGs
    1. KG-enhanced LLM training
      1. Integrating KGs into training objective
      2. Integrating KGs into LLM inputs (verbalize KG for LLM training)
      3. Integrating KGs by fusion modules
    2. Retrieval-augmented Generation (RAG)
      1. KG-guided retrieval mechanisms (Daniel B. (FSTI))
      2. Hybrid retrieval combining KGs and dense vectors (Daniel B. (FSTI))
      3. KG-enhanced reranking of retrieved information (Daniel B. (FSTI))
    3. KG-enhanced LLM interpretability
      1. KGs for LLM probing
        1. KG-based analysis of attention patterns (Daniel B. (FSTI))
        2. Measuring KG alignment in LLM representations (Daniel B. (FSTI)) 
        3. KG-guided explanation generation (Daniel B. (FSTI))
        4. KG-based fact-checking and verification (Daniel B. (FSTI))
    4. KG-enhanced LLM inference / reasoning
      1. KG-guided multi-hop reasoning (Daniel B. (FSTI))
      2. Integrating symbolic reasoning with LLMs using KGs (Daniel B. (FSTI))
      3. KG-based consistency checking in LLM outputs (Daniel B. (FSTI))
    5. KGs for LLM analysis
      1. Using KGs to evaluate LLM knowledge coverage (Daniel B. (FSTI))
      2. Analyzing LLM biases through KG comparisons (Daniel B. (FSTI))
  4. Improve KGs by using LLMs
    1. Assertional knowledge engineering
      1. Information Extraction
        1. KG completion (A-Box)
          1. Link prediction
          2. Relation prediction
          3. Fact checking / Triple testing
          4. Literal completion (labels/comments/descriptions)
      2. Entity Linking (between KGs)
      3. Entity Disambiguation
    2. Terminological knowledge engineering
      1. Ontology Design
        1. Competency Question (CQ) generation
        2. User stories / personas generation
        3. Ontology learning (Automated ontology design from text)
      2. Ontology Evaluation
        1. Competency Question (CQ) generation (from given ontologies)
        2. CQ to SPARQL
      3. Ontology Mapping
      4. Ontology Documentation
        1. Class and relation descriptions/labels
    3. Reasoning
      1. Aprox/Probabilistic Reasoning via LLMs (LLM supported)
      2. Constraint checking (Robert D.)
      3. Data Repairs (→ maybe move to completion?) (Robert D.)
    4. Downstream tasks
      1. KG/Ontology embeddings
    5. User interface / Access
      1. Natural Language interface to KG
      2. KG to natural language (verbalization)
      3. Multilingual translation of literals



  • No labels