2. Workshop: Multimodal Foundation Models – Functionality and use as a tool for semantic testing

Planned date: September 27th, 2023 | 10.00 am - 12.30 pm

Multimodal Foundation Models are large generative AI models that process not only speech, but also other data types such as images. Simple textual queries can generate surprisingly specific and realistic images within seconds. However, the underlying technology also promises further applications, e.g. for semantic description of metadata, again a basis for effective testing of neural networks. This workshop will introduce the methodology and procedures of multimodal foundation models from a scientific perspective and discuss their use as an aid for semantic testing of neural networks.

Multimodale Foundation Models sind große generative KI-Modelle, die nicht nur Sprache verarbeiten, sondern auch andere Datentypen wie beispielsweise Bilder. Durch einfache textuelle Anfragen lassen sich innerhalb von Sekunden überraschend spezifische und realistische Bilder generieren. Die dahintersteckende Technologie verspricht jedoch auch weitere Einsatzmöglichkeiten, bspw. zum semantischen Beschreiben von Metadaten, wiederum eine Grundlage zum effektiven Testen von neuronalen Netzen. In diesem Workshop wird aus wissenschaftlicher Perspektive in Methodik und Verfahren von multimodalen Foundation Models eingeführt und der Einsatz als Hilfestellung zum semantischen Testen neuronaler Netzwerke diskutiert. 

Tentative Agenda:

Interested participants register for the event at: ANMELDUNG (Log-in Code: foundmod2) 

If you have any questions, please do not hesitate to contact us.

Armagan Sahin 
Project manager
DIN – Dept. Strategic theme development

T +49 30 2601-2453 | F +49 30 2601-42453