About this role
Am Fraunhofer IAIS erforschen und entwickeln rund 360 Mitarbeitende individuelle Lösungen zur Integration und Analyse von Daten für unsere Fördergeber*innen und unsere Kund*innen aus der Wirtschaft. Künstliche Intelligenz, Machine Learning, Big Data, Multimedia Content Analytics, Information Integration sowie Unternehmensmodellierung und -analyse sind die inhaltlichen Schwerpunkte unserer Arbeiten.
In der Abteilung AI Assurance and Assessments (AAA) operationalisieren wir KI-Vertrauenswürdigkeit entlang von drei Schritten:
- Wir analysieren Anforderungen an KI-Systeme aus Gesetzen und Standards.
- Wir setzen diese Anforderungen um, indem wir technische Absicherungsmethoden für KI-Systeme entwickeln und diese auf organisatorischer Ebene durch effektive KI-Governance Mechanismen komplettieren.
- Wir entwickeln Prüfkriterien und Testverfahren für KI-Systeme und forschen zu der Frage, wie sich solche Prüfungen und Tests automatisieren lassen.
Hierbei beschäftigen uns Fragestellungen wie: Wie lassen sich a priori inkommensurable KI-Risiken, etwa die Verletzung von Persönlichkeitsrechten und Safety-Risiken zu einem Gesamtrisiko aggregieren? Wie lassen sich die Unsicherheiten von Transformer-Modellen messen? Welche Controls in KI-Managementsystemen operationalisieren den AI Act? Wie lassen sich KI-Prüfworkflows automatisieren? Was sind die besten Redteaming Ansätze, um die Safeguards von LLMs zu testen? Wie lassen sich KI-Agenten im Betrieb absichern?
Bei Fraunhofer IAIS zu arbeiten, heißt unternehmerisches Denken mit Spitzenforschung zu verbinden: Unsere Abteilung AAA hat weltweit Kunden, die von großen Technologiekonzernen bis hin zu Start-ups reichen. Auch viele Behörden zählen zu unseren Auftraggebern. Gleichzeitig entstehen aus unserer Forschung wissenschaftliche Publikationen und Doktorarbeiten. Unser interdisziplinäres Team hat Abschlüsse in Informatik, Naturwissenschaften, Rechtswissenschaften und Psychologie und freut sich auf Sie!
Hier sorgen Sie für Veränderung
- Übersetzung von regulatorischen Vorgaben, wie etwa der KI-Verordnung, in technische Anforderungen an KI-Systeme
- Konzeption und Entwicklung von technischen Lösungen zur Absicherung von KI-Systemen
- Konzeption und Entwicklung von KI-Governance Frameworks
- Konzeption und Durchführung von KI-Prüfungen für konkrete Use Cases
- Entwicklung von Methoden zur Messung und Quantifizierung von Unsicherheiten in KI-Modellen (z. B. Transformer-Architekturen)
- Durchführung von Redteaming- und Stresstests zur Absicherung von LLMs und KI-Agenten im produktiven Einsatz
- Automatisierung von KI-Prüf- und Testworkflows
- Beratung von Kund*innen aus Wirtschaft und öffentlicher Verwaltung zur regulatorischen Einordnung und Absicherung ihrer KI-Systeme