Prof. Dr. Dr. Frauke Rostalski ist Teil eines interdisziplinären Forscherteams der Universitäten Bonn und Köln sowie des Fraunhofer IAIS. Dieses Team entwickelt im Rahmen der Kompetenzplattform KI.NRW einen Prüfkatalog, der die sachkundige und neutrale Bewertung von KI ermöglicht. Ziel ist es, mit Hilfe einer Zertifizierung für KI-Anwendungen die technische Zuverlässigkeit und einen verantwortungsvollen Umgang mit der Technologie zu gewährleisten.

Im Rahmen des Forschungsprojektes ist Prof. Dr. Dr. Frauke Rostalski für den gesamten Teilbereich „Recht“ verantwortlich.

-> mehr zum Projekt

Whitepaper

Das Team stellt seinen interdisziplinären Ansatz für die Zertifizierung von KI-Anwendungen in einem Whitepaper vor und erläutert die identifizierten Handlungsfelder aus philosophischer, rechtlicher und techno­logi­scher Sicht.

Die Publikation bildet die Grundlage für die weitere Entwicklung der KI-Zertifizierung.

-> Whitepaper (DE)
-> Whitepaper (EN)

„Die Europäische KI-Verordnung ist da, doch wie können KI-Anbieter die Konformität mit den neuen Anforderungen zuverlässig und rechtssicher prüfen?“

Dieser Frage widmet sich das Symposium „Scaling AI Assessments“, zu dem wir Sie am 30. September und 1. Oktober 2024 nach Köln einladen.

Neben spannenden Keynotes aus der Praxis der KI-Prüfung aus computerwissenschaftlicher Sicht und zahlreichen Möglichkeiten zum interdisziplinären Austausch, freuen wir uns darauf, auch die rechtswissenschaftliche Sicht auf den Umgang mit der neuen KI-Verordnung in einem eigenen Panel weiter zu beleuchten:

• Dr. Andreas Engel (Universität Heidelberg) wird eine Einführung zur Regulierung von generativer KI und KI-Modellen mit allgemeinem Verwendungszweck nach der KI-Verordnung geben. In seinem Vortrag werden die Verpflichtungen der Anbieter kurz vorgestellt und die verschiedenen Mechanismen in der KI-Verordnung erörtert, die die Einhaltung der Vorschriften fördern und das KI-Verordnung durch die Wahrung der Flexibilität zukunftssicher machen sollen.
• Prof. Dr. Dimitrios Linardatos (Universität des Saarlands) wird den regulatorischen Rahmen für Hochrisiko-KI-Systeme in der KI-Verordnung betrachten und dessen Bestimmungen, Kriterien für die Einstufung von Hochrisiko-KI und die Auswirkungen analysieren. Es werden die wichtigsten rechtlichen, technischen und ethischen Standards sowie die spezifischen Anforderungen und Compliance-Verpflichtungen für Entwickler und Betreiber von Hochrisiko-KI behandelt.
• Prof. Dr. Mark Cole (Universität Luxemburg): wird die KI-Verordnung in zweifacher Hinsicht in einen Zusammenhang rücken: Zunächst wird er ihren Platz in einem bereits komplexen Regelungsrahmen für das digitale und Online-Umfeld in der EU und dessen Verknüpfung mit diesem aufzeigen. Dazu gehören Fragen der Anforderungen an Stakeholder sowie der Aufsicht und Überwachung. In einem kurzen Blick über die EU hinaus wird zudem das Potenzial und der Ansatz der KI-Verordnung etwa mit dem Rahmenübereinkommen des Europarats über künstliche Intelligenz sowie mit Menschenrechten, Demokratie und Rechtsstaatlichkeit verglichen.
• Nach den Vorträgen besteht selbstverständlich Raum für Fragen und Diskussionen.

Alle weiteren Informationen zum Veranstaltungsprogramm und zur Anmeldung finden Sie hier: https://www.zertifizierte-ki.de/symposium-on-scaling-ai-assessments/

Bei weiteren Fragen wenden Sie sich gerne an Herrn Mathias Schuh (mathias.schuh@uni-koeln.de).

Eckdaten:
Wann: 30.09. und 01.10.
Wo: Köln, Design Offices Dominium (Nähe Hbf)
Wie: Teilnahme kostenlos und in Präsenz

Das Symposium veranstalten wir gemeinsam mit unseren Projektpartnern vom Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS aus dem Forschungsprojekt „Zertifizierte KI“.

Im vierten Quartal des Jahres 2023 wurde der zweite Meilenstein des Teilprojektes Recht abgeschlossen. Ziel des Meilensteins war es, branchenübergreifend grundlegende rechtliche Anforderungen an den Einsatz von Künstlicher Intelligenz zu erarbeiten.

Zunächst wurden zu diesem Zweck die relevanten Themenfelder identifiziert und zusammengetragen. Es handelt sich dabei um jene rechtlichen Voraussetzungen, die unabhängig vom Einsatz in einem spezifischen Anwendungskontext oder einer speziellen Branche an den Einsatz der Künstlichen Intelligenz gestellt werden. Die konkreten Anforderungen wurden dann in ausführlichen Gutachten genauer erarbeitet. Dabei wurden die bestehende Fachliteratur und themenrelevante Rechtsprechung ausgewertet. Auch Unzulänglichkeiten der geltenden Rechtsordnung im Hinblick auf die interessengerechte und rechtssichere Regulierung Künstlicher Intelligenz wurden analysiert und aufgezeigt. In besonderem Maße wurde das Zusammenspiel einzelner Rechtsgebiete in den Blick genommen.

Die behandelten Themenkomplexe stammten dabei vorwiegend aus dem öffentlichen Recht und dem Zivilrecht. In zivilrechtlicher Hinsicht standen die allgemeinen Sorgfaltspflichten, die Akteure beim Einsatz von Künstlicher Intelligenz beachten müssen, im Zentrum der Untersuchung. Daneben wurden auch Fragestellungen eines „fairen“ KI-Einsatzes erläutert und geprüft, welche Anforderungen sich insbesondere aus dem Allgemeinen Gleichbehandlungsgesetz (AGG) ergeben. Die Themen aus dem öffentlichen Recht wurden geprägt durch die geltende sowie die sich in der Entwicklung befindende Digitalregulierung auf europäischer Ebene. Intensiv beleuchtet wurden vor allem die Anforderungen der Datenschutz-Grundverordnung (DS-GVO). Analysiert wurde in besonderer Weise das vermeintliche Spannungsverhältnis zwischen den datenschutzrechtlichen Grundsätzen der Zweckbindung und der Datenminimierung/-sparsamkeit zum Einsatz Künstlicher Intelligenz. Zudem wurden auch die besonderen Bedingungen zulässiger automatisierter Entscheidungen nach der DS-GVO genauer erörtert. Eine besondere Rolle nahm in der Bearbeitung des zweiten Meilensteins die im Gesetzgebungsverfahren befindliche Verordnung zur Festlegung Harmonisierter Vorschriften für Künstliche Intelligenz (KI-VO) ein. Anhand einer detaillierten Analyse des derzeitigen Gesetzgebungsstandes sowie der sich auf die Verordnung beziehenden Fachliteratur wurden die grundsätzliche Regelungssystematik, die Verzahnung mit anderen rechtlichen Anforderungen und die konkreten Voraussetzungen eines verordnungskonformen Einsatzes Künstlicher Intelligenz erarbeitet.

Am 20.10.2023 wurde Frau Prof. Dr. Dr. Rostalski als Sachverständige im Landtag Nordrhein-Westfalen im Rahmen der parlamentarischen Entscheidung zur KI- und Legal Tech-Strategie der Justiz vom Rechtsausschuss angehört. Sie nahm dazu Stellung, inwiefern ein breiter interdisziplinärer Diskurs über die Anwendung von Künstlicher Intelligenz in der Justiz geführt werden muss und sogar verfassungsrechtlich geboten scheint.

Das Ausschussprotokoll sowie die Videoaufzeichnung der 27. Ausschusssitzung ist hier zu finden.

Frau Prof. Dr. Dr. Rostalski und Herr Dr. Weiss haben im Handbuch „Die neue Verordnung der EU zur Künstlichen Intelligenz“, das von Prof. Dr. Dr. Hilgendorf und Prof. Dr. Roth-Isigkeit im C. H. Beck-Verlag herausgegeben wird, einen Beitrag zu den verbotenen KI-Praktiken in der KI-Verordnung verfasst.

Das Handbuch setzt sich umfassend mit der von der Europäischen Kommission vorgeschlagenen KI-Verordnung zur Regulierung künstlicher Intelligenz auseinander und zeigt Wege und Empfehlungen auf, diese erfolgreich im Unternehmen zu implementieren und anzuwenden. Das Werk enthält tiefgehende Beiträge führender Rechtswissenschaftlerinnen und Rechtswissenschaftler zur Entstehungsgeschichte, zum Anwendungsbereich, zur Regelungssystematik und zu den Anforderungen des Kommissionsentwurfs der KI-Verordnung.

Der Beitrag von Frau Prof. Dr. Dr. Rostalski und Herrn Dr. Weiss (Kapitel 3, S. 35 bis S. 50) beleuchtet die KI-Praktiken, die nach der KI-Verordnung gänzlich verboten sein sollen. Dabei werden die im Entwurf vorgeschlagenen Verbote näher beleuchtet und bewertet. Zudem werden Praktiken analysiert, die (noch) nicht im Verbotskatalog des Entwurfs enthalten sind.

Im Auftrag des Verbraucherzentrale Bundesverbands haben Frau Prof. Dr. Dr. Rostalski und Herr Dr. Weiss ein Gutachten zu den im KI-Verordnungsentwurf der Europäischen Kommission vorgesehenen Konformitätsbewertungsverfahren erarbeitet und veröffentlicht.

Das Gutachten prüft Systematik und Anforderungen an Konformitätsbewertungen im KI-Verordnungsentwurf. Eingangs werden die Zielsetzungen solcher Verfahren ebenso wie damit einhergehende, mögliche Folgen für den Wettbewerb näher beleuchtet. Auch die Frage nach der Haftung von Konformitätsprüfungsstellen wird adressiert. Im Anschluss wendet sich das Gutachten den spezifischen Herausforderungen zu, die KI-Systeme an Konformitätsbewertungen stellen. Neben einer Begriffsklärung finden sich an dieser Stelle Besonderheiten solcher Anwendungen, die bei einer normativen Prüfung angemessen abgebildet werden müssen. Dies betrifft sowohl empirische Faktoren, die auf die Beschaffenheit von Anwendungen der Künstlichen Intelligenz zurückzuführen sind, als auch Herausforderungen infolge mitunter unzureichender bestehender regulatorischer Vorgaben. Auf dieser Basis werden allgemeine Anforderungen an Konformitätsprüfverfahren im Hinblick auf KI-Anwendungen aufgestellt. Im weiteren Gang untersucht das Gutachten den „risikobasierten Kategorienansatz“ des KI-Verordnungsentwurfs und hinterfragt, inwieweit sich dieser im Kontext von Konformitätsprüfungen auf die Rechte von Verbrauchern auswirkt. Hierbei wird die Differenzierung des Verordnungsentwurfs nach verbotenen KI-Systemen und solchen mit hohem, geringem und minimalem Risiko zugrunde gelegt. Es erfolgt eine umfassende Analyse des im KI-Verordnungsentwurfs vorgesehenen Konformitätsbewertungssystems. Die auf diese Weise erlangten Erkenntnisse werden abschließend in Leitlinien für eine verbraucherschutzfreundliche Ausgestaltung des Konformitätsbewertungssystems im KI-Verordnungsentwurfs überführt.

Zum Gutachten

Im Teilprojekt Recht des Forschungsprojekts „Zertifizierte KI“ wurde der erste Meilenstein mit einer Analyse potenzieller Anwendungsfälle Künstlicher Intelligenz abgeschlossen. Diese soll als Ausgangspunkt für die weitere Untersuchung des gesetzeskonformen Einsatzes der Technologie dienen und den zu beurteilenden Sachverhalt näher spezifizieren.

Die Anwendungsfälle stammen aus 18 verschiedenen Sektoren: „Medizin und Pflege“, „Transport“, „Justiz und Gefahrenabwehr“, „Legal Tech“, „Finanzen und Versicherungen“, „Bildung“, „Presse und Journalismus“, „Politik“, „Forschung“, „Social Media“, „Freizeit und Unterhaltung“, „Arbeit“, „E-Commerce“, „Militär“, „Kunst und Kreativität“, „Verwaltung“, „Migration“ und schließlich „Umwelt und Katastrophenschutz“.

Dabei wurden für jeden Sektor mehrere Anwendungsfälle kurz beschrieben und mögliche rechtliche Probleme sowie weitere Herausforderungen benannt. Für jeden Sektor wurde zudem ein „Leit-Use-Case“ ausgewählt, der dann näher untersucht wurde. Hierzu wurde ein Fragenkatalog verwendet, der vor der Analyse gemeinsam mit dem Teilprojekt Philosophie des Projekts „Zertifizierte KI“ entwickelt und abgestimmt wurde. Dieser Fragenkatalog konzentrierte sich unter anderem auf die durch die KI übernommene Aufgabe, den Ursprung der Daten für die Anwendung, den Lernprozesse der KI sowie eine verbleibende menschliche Aufsicht bei der KI-Nutzung.

Das Arbeitsergebnis aus dem ersten Meilenstein schafft aufgrund der detaillierten Darstellung einzelner, konkreter Anwendungsfälle ein solides Fundament für die weitere Analyse der rechtlichen Voraussetzungen eines KI-Einsatzes. Die rechtlichen Probleme, die in diesem Schritt noch nicht im Fokus der Analyse standen, können in den nächsten Schritten näher analysiert und mit den Anwendungsfällen aus Meilenstein 1 verknüpft werden.

Frau Prof. Dr. Dr. Rostalski und Herr Dr. Weiss haben in der Zeitschrift für Digitalisierung und Recht (ZfDR 2021, 329) einen Aufsatz veröffentlicht, in dem sie den Entwurf der Europäischen Kommission für eine Verordnung zur Festlegung Harmonisierter Vorschriften für Künstliche Intelligenz (KI-VO) näher beleuchten.

Im Beitrag wird sein zentrales Konzept, der sog. „risikobasierte Regulierungsansatz“ einer ersten Analyse zugeführt. Es wird u.a. aufgezeigt, dass sowohl die Regelung zu den verbotenen KI-Systemen als auch die Ausgestaltung der übrigen Risikokategorien in Teilen erheblichen Bedenken begegnen. Hiervon ausgehend werden Anregungen für das weitere Gesetzgebungsverfahren formuliert. Darüber hinaus wird die Rolle von Zertifizierung im Rahmen der Regulierung neuer Technologien im Allgemeinen sowie im KI-Verordnungsentwurf im Speziellen beleuchtet. Zertifizierung wird als ein zentraler Baustein des Regulierungsvorschlags identifiziert, dessen Anwendungsbereich perspektivisch ausgebaut werden sollte. Zum Abschluss wird als ein Beispiel für Zertifizierungsinitiativen im KI-Sektor das interdisziplinäre Forschungsprojekt „Zertifizierte KI“ vorgestellt.

Online-Tagung „Zertifizierung und der KI-Verordnungsentwurf der Europäischen Kommission – Chancen, Herausforderungen, Perspektiven“

Am 27. Oktober 2021 veranstalteten Prof. Dr. Dr. Frauke Rostalski und Dr. Erik Weiss vom Lehrstuhl für Strafrecht, Strafprozessrecht, Rechtsphilosophie und Rechtsvergleichung eine Online-Tagung mit dem Titel „Zertifizierung und der KI-Verordnungsentwurf der Europäischen Kommission – Chancen, Herausforderungen, Perspektiven“.

Künstliche Intelligenz (KI) verändert unseren Alltag bereits in fundamentaler Weise, etwa durch Online-Übersetzungsdienste, Sprachassistenten oder immer selbstständiger fahrende Fahrzeuge. Ihr Einsatz ist jedoch nicht nur mit der Chance verbunden, die Fähigkeiten des Menschen zu erweitern und neues Wissen zu generieren. Er stellt uns als Gesellschaft zugleich vor große Herausforderungen. Es gilt zu gewährleisten, dass der Gebrauch von KI nur im Einklang mit unseren essenziellen gesellschaftlichen Werten erfolgt.  Zu diesem Zweck hat die Europäische Kommission jüngst einen Vorschlag für den weltweit ersten umfassenden Rechtsrahmen in diesem Bereich unterbreitet. Mit dem Entwurf einer KI-Verordnung soll ein vertrauenswürdiger und mit den europäischen Werten im Einklang stehender Einsatz dieser Technologien abgesichert werden. Als ein zentraler Baustein zur Erreichung dieser Zwecke wird u.a. auch die Zertifizierung erachtet. Aus der Perspektive aller von dem Entwurf tangierten Akteure ist es ratsam, sich frühzeitig mit dessen Regelungsgehalt und den Möglichkeiten seiner Umsetzung zu befassen. Im Rahmen der Tagung sollten daher der Verordnungsentwurf generell, die Rolle von Zertifizierung sowie praxisrelevante Aspekte des Regulierungskonzepts näher beleuchtet werden.

Nach einer Einführung und einem Vortrag von Prof. Dr. Dr. Rostalski zum Thema „Zertifizierung im aktuellen KI-Verordnungsentwurf – Status quo und weiterer Handlungsbedarf“ präsentierte Kilian Gross von der Europäischen Kommission die EU-Perspektive auf den Verordnungsentwurf. Daran anschließend beleuchtete Dr. Erik Weiss in seinem Vortrag die Anforderungen an KI-Systeme gemäß dem Regulierungsvorschlag näher. Der nächste Vortragende PD Dr. Michael Mock vom Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme (IAIS) stellte „KI-Managementsysteme“ vor und schlug so die Brücke zu den Ausführungen von Dr. Erik Weiss, der diesbezüglich relevante Vorgaben im Verordnungsentwurf zuvor dargestellt hatte. Im nächsten Vortrag referierten Christine Fuß und Katja Krüger vom Deutschen Institut für Normung (DIN) zur „technischen Ausgestaltung des KI-Verordnungsentwurfs durch Normung und Standardisierung“, bevor Dr. Julia Maria Mönig und Sergio Genovesi von der Universität Bonn zum Thema „KI-Zertifizierung und KI-Verordnungsentwurf: Die Rolle der Ethik“ sprachen. Zuletzt stellte noch Benjamin Ledwon von der Deutschen Telekom die Perspektive eines europäischen Telekommunikationsunternehmens auf den Regulierungsvorschlag dar und rundete das Tagungsprogramm damit ab. Prof. Dr. Dr. Rostalski richtete sich zuletzt mit einem die Erkenntnisse der Tagung zusammenfassenden Schlusswort an die Teilnehmenden. Damit endete ein Tag des intensiven und bereichernden Austauschs, der aus Sicht der Veranstaltenden eine Vielzahl von (auch interdisziplinären) Anknüpfungspunkten für weitere wissenschaftliche Auseinandersetzungen mit dem KI-Verordnungsentwurf aufgezeigt hat. 

Workshop „KI-Risiken systematisch bewerten“

Am 16.9.2021 hat das rechtswissenschaftliche Team der Universität zu Köln am vom DIN durchgeführten Online-Workshop „KI-Risiken systematisch bewerten“ teilgenommen. Dr. Erik Weiss referierte hier zum risikobasierten Kategorisierungsansatz des KI-Verordnungsentwurfs der Europäischen Kommission. Zusätzlich wurde eine Breakout-Session für die Teilnehmer*innen des Workshops gestaltet und durchgeführt, bei der zwei ausgewählte Use Cases rechtlich analysiert wurden. Nähere Informationen zum Programm des Workshops finden Sie unter folgendem Link.

Die Projekthomepage ist online. Unter www.zertifizierte-ki.de finden Sie aktuelle und weiterführende Informationen zum Projekt und den Partnern.

Workshop „Ansätze zur Prüfung von KI-Systemen“

Am 23.06.2021 richtete der DIN e.V. zusammen mit dem Fraunhofer IAIS und dem BSI einen virtuellen Workshop zu den Ansätzen von KI-Prüfungen aus. Im ersten Teil des Workshops stellten die drei Kernpartner vergangene und aktuelle Projekte und bestehende Ansätze vor. Am Nachmittag berichteten zwei assoziierte Partner aus der Unternehmenspraxis. Zum einen ging es um die bereits implementierte interne Überwachung der im Unternehmen angewandten KI-Systeme und die Herausforderungen für die Compliance-Abteilungen. Zum anderen wurde die Versicherbarkeit von KI-Risiken beleuchtet. 

Das vollständige Programm finden Sie hier.

Projektstart „Zertifizierte KI“

Das Projektteam am Lehrstuhl hat seine Arbeit aufgenommen. Dr. Erik Weiss (Projektleiter), Jakob Feldkamp und Teresa Ruberg werden in den nächsten Jahren die rechtlichen Implikationen von KI-Anwendungen untersuchen. Im Projekt „Zertifizierte KI“ sollen in einem interdisziplinären Austausch die Grundprinzipien für einen technisch zuverlässigen, ethisch verantwortungsvollen und sich im Rahmen des rechtlich Zulässigen bewegenden Einsatz von KI-Anwendungen entwickelt werden. Ziel ist es, Prüfverfahren für eine praxistaugliche Zertifizierung zu erarbeiten.

Mit einem virtuellen Kick-Off am 07.05.2021 startete das Projekt in die erste Phase. Dort nahmen neben den Kernpartnern (Fraunhofer IAIS, BSI, DIN e.V., Universität Bonn, RWTH Aachen, Universität zu Köln) auch die assoziierten Partner aus Wirtschaft und Forschung teil. Neben einer generellen Vorstellung des Projekts ging es auch um einen ersten Austausch. In den von den Kernpartnern gestalteten Break-Out-Sessions wurden einzelne Aspekte der Zertifizierung erläutert und in kleiner Runde diskutiert.

In den kommenden Monaten werden in einem ersten Schritt bestehende Use Cases im Bereich der Künstlichen Intelligenz recherchiert und im Hinblick auf tangierte Rechtsprinzipien analysiert. Das Projektteam am Lehrstuhl von Frau Prof. Rostalski steht dabei in engem Austausch mit den Kolleg*innen des Philosophie-Teams von der Uni Bonn (Lehrstuhl von Herrn Prof. Gabriel).

Weiterhin ist ein Workshop im Herbst in Planung.

Digitalstrategie & Digitalkonferenz 2019

Die Digitalkonferenz.NRW 2019 fand am 22.11.2019 in Düsseldorf statt.
-> Programm

Im Rahmen der Tagung "Verbraucherschutz digital: Faire Spielregeln für Künstliche Intelligenz" hat Frau Rostalski einen Vortrag zur vertrauenswürdigen Nutzung von Künstlicher Intelligenz gehalten.
-> Tagungsprogramm

Prof. Dr. Andreas Pinkwart, Minister für Wirtschaft, Innovation, Digitalisierung und Energie des Landes Nordrhein-Westfalen hat am 23.08.2019 zur Diskussion "Digitale Chancen von KI - Anwendungen mitgestalten" in Bonn eingeladen. Hierbei hat Frau Rostalski als Expertin das Thema Künstliche Intelligenz aus der Perspektive Recht beleuchtet.
-> Programm