Page History
Planned dateDatum: 27. September 27th, 2023 | 10.00 am - 12.30 pm
Multimodal Foundation Models are large generative AI models that process not only speech, but also other data types such as images. Simple textual queries can generate surprisingly specific and realistic images within seconds. However, the underlying technology also promises further applications, e.g. for semantic description of metadata, again a basis for effective testing of neural networks. This workshop will introduce the methodology and procedures of multimodal foundation models from a scientific perspective and discuss their use as an aid for semantic testing of neural networks.
Uhr
Multimodale Foundation Models sind große generative KI-Modelle, die nicht nur Sprache verarbeiten, sondern auch andere Datentypen wie beispielsweise Bilder. Durch einfache textuelle Anfragen lassen sich innerhalb von Sekunden überraschend spezifische und realistische Bilder generieren. Die dahintersteckende Technologie verspricht jedoch auch weitere Einsatzmöglichkeiten, bspw. zum semantischen Beschreiben von Metadaten, wiederum eine Grundlage zum effektiven Testen von neuronalen Netzen. In diesem Workshop wird aus wissenschaftlicher Perspektive in Methodik und Verfahren von multimodalen Foundation Models eingeführt und der Einsatz als Hilfestellung zum semantischen Testen neuronaler Netzwerke diskutiert.
Tentative Voraussichtliche Agenda:
10.00 - 10.10 am | Welcome and review of the 1st workshop | Uhr | Willkommen und Rückblick auf den 1. Workshop | DIN, Fraunhofer IAISFraunhofer IAIS, DIN | |||
10.10 - 1011.45 am | Working title | Speaker's name, IAIS | 10.45 - 11.10 am00 Uhr | Introduction to CLIP and Application to Meta Data Generation in Autonomous Driving (Arbeitstitel) | Michael Mock, IAIS | ||
11.00 - 11.10 Uhr | Pause | ||||||
| 11.10 - 11.45 Uhr | Identification of Systematic Errors of Computer Vision Systems (Arbeitstitel) | Dr. Jan Henrik Metzen, Robert Bosch GmbH | 11.10 - 11.20 am | Break | 11.20 - 11.45 am | Working title | Speaker's name, IAIS|
11.45 am - 12.15 pm25 Uhr | DiscussionDiskussion | ParticipantsTeilnehmende | |||||
12.15 25 - 12.30 pmUhr | Zusammenfassung und VerabschiedungSummary and farewell | Fraunhofer IAIS, DIN |
Interested participants register for the event atInteressent*innen können sich hier anmelden: ANMELDUNG (Log-in Code: foundmod2)
If you have any questions, please do not hesitate to contact usBei Fragen stehen wir Ihnen gern zur Verfügung.
Armagan Sahin
Project managerProjektmanager
DIN – Dept. Strategic theme developmentAbt. Strategische Themenentwicklung
T +49 30 2601-2453 | F +49 30 2601-42453
...
