#20 Interview: Einsatz und Governance von generativer KI in der Verwaltung

Auf KI basierende Instrumente zur Generierung von Text, Bildern oder anderen Werken halten vermehrt Einzug in unsere Arbeit und unser Leben. Wie kann sich die Verwaltung im Alltag diese neuen Instrumente zu Nutzen machen?

Marlène Schürch: Seit der Veröffentlichung von ChatGPT durch den amerikanischen Softwarehersteller OpenAI am 30. November 2022 ist künstliche Intelligenz (KI) in aller Munde. Generative KI-Systeme bergen hohes Potenzial, da sie Menschen Arbeit abnehmen können, die sonst sehr viel Zeit in Anspruch nimmt. Informationen können schnell und strukturiert erlangt werden, was die Entscheidungsfindung erleichtern kann. Wissen wird durch solche Instrumente für einen breiten Adressatenkreis niederschwellig zugänglich, da Texte leicht in verschiedene Sprachen übersetzt oder verständlicher formuliert werden können. Kurzum: Generative KI-Systeme können den Arbeitsalltag effizienter und effektiver machen, womit mehr Zeit für wertschöpfende Tätigkeiten bleibt. Dies kann auch für die Verwaltung als Arbeitgeberin – gerade in Anbetracht des Fachkräftemangels – von Vorteil sein.

Welche Risiken bestehen bei der Nutzung generativer KI?

Wie eine durch KI generierte Textausgabe durch die eingesetzten Algorithmen zustande gekommen ist, ist meist schwer nachvollziehbar und intransparent («Black-Box-Problematik»). Aufgrund von Verzerrungen in den verwendeten Datensätzen werden bestehende Stereotypisierungen oft weiter verstärkt, was zu diskriminierenden Ergebnissen führen kann. Die Qualität einer Antwort hängt zudem oft von der Genauigkeit der Anweisung («Prompt») ab. Nicht überall ist ein Einsatz von KI-Systemen geeignet: Komplexe Sachverhalte erfordern im Einzelfall weiterhin menschliche Beurteilungen.

Aus Sicht der Verwaltung stellt sich zudem spezifisch das Risiko, dass entgegen der gesetzlichen Vorgaben geheime oder vertrauliche Daten an Dritte weitergegeben werden und damit Amtsgeheimnisse, Berufsgeheimnisse oder der Datenschutz verletzt werden könnten. Diese widerrechtliche Bekanntgabe erfolgt unter Umständen nicht bloss an die Anbieterin des KI-Systems, da eingegebene Daten teilweise auch für die Weiterentwicklung von KI-Systemen verwendet werden und damit anderen Nutzenden zugänglich werden könnten.

Es kann zudem vorkommen, dass eine Textausgabe von einem KI-System aus unterschiedlichen Quellen generiert wird, für die zumindest teilweise nicht die erforderlichen urheberrechtlichen Rechte erworben wurden.

Wie kann und soll die Verwaltung diesen Risiken begegnen?

Hier ist zu unterscheiden zwischen generativen KI-Systemen bzw. KI-Anwendungen, die im Internet (meist kostenlos) frei zugänglich sind, und solchen, die von der Verwaltung gezielt beschafft und eingesetzt werden. Für Letztere sind die für die Beschaffung eines neuen IT-Systems üblichen Anforderungen eines Gemeinwesens zu beachten. Dies beinhaltet in der Regel nebst einer Rechtsgrundlagenanalyse eine umfassende Risikobeurteilung (einschliesslich Abklärungen zum Datenschutz und zur Informationssicherheit) im Rahmen eines Projekts. Dabei sind die betroffenen Anspruchsgruppen einzubeziehen. Über den schriftlichen Vertrag mit der Anbieterin können hier die Einhaltung gesetzlicher Vorgaben und weiterer Anforderungen erwirkt werden. KI-Systeme wirken meistens unterstützend, grössere Vorsicht ist bei KI-Systemen geboten, die Entscheidungen übernehmen: Hier stellen sich – soweit der Einsatz überhaupt zulässig ist – höhere Anforderungen aus Sicht des Verwaltungsverfahrens. Aus Transparenzgründen sollte insgesamt eine Übersicht über den Einsatz verwendeter KI-Systeme in einem öffentlichen Register geführt werden.

Für den anderen Fall, also im Internet frei zugängliche, «arbeitserleichternde», generative KI-Anwendungen, wie z. B. ChatGPT und DeepL, ist durch die Verwaltung als Arbeitgeberin ein sorgfältiger und verantwortungsbewusster Umgang der Mitarbeitenden sicherzustellen. Hierzu sollten Richtlinien oder Merkblätter erlassen werden. Des Weiteren ist eine Begleitung und Befähigung der Mitarbeitenden durch Schulungen oder weitere geeignete Massnahmen unerlässlich. Ein absolutes Nutzungsverbot erscheint im Rahmen der fortschreitenden digitalen Transformation nicht zukunftsgerichtet. Zudem wäre dies technisch aufgrund der Vielzahl an KI-Anwendungen sowie des Ausweichens auf private Geräte kaum umsetzbar.

Wie handhaben Sie im Kanton St.Gallen die Governance von generativer KI in der Verwaltung?

Eine vertiefte Auseinandersetzung zum Umgang mit KI in der Staatsverwaltung durch den Kanton St.Gallen erfolgt im Rahmen der Bearbeitung des Auftrags zur Erarbeitung einer KI-Strategie, den der Kantonsrat in der Sommersession 2023 mit dem Kantonsratsbeschluss über die Rechnung 2022 (33.23.01) erteilt hat. Zwischenzeitlich wurde in diesem Zusammenhang eine Arbeitsgruppe eingesetzt.

Die Regierung des Kantons St.Gallen und der Verband St.Galler Gemeindepräsidien (VSGP) haben als kurzfristige Massnahme im Spätsommer 2023 Leitlinien über die Verwendung von ChatGPT und ähnlichen Systemen in der Verwaltung erlassen. Diese regeln, inwiefern Mitarbeitende der Verwaltung im Internet frei verfügbare, generative KI-Instrumente wie ChatGPT im Arbeitsalltag unter Beachtung der rechtlichen Vorgaben einsetzen können. Dabei wird zwischen der Texteingabe und der Textverwendung unterschieden. Bei der Texteingabe dürfen keine Daten, die vom Datenschutzrecht (Personendaten) oder einer Geheimhaltungspflicht (z.B. Amtsgeheimnis, Steuergeheimnis oder Geschäftsgeheimnisse von Lieferanten) geschützt sind, erfasst werden. Vor einer Texteingabe muss deshalb immer überprüft werden, ob ein Text geheime oder vertrauliche Daten enthält und ob die entsprechenden Inhalte bzw. bestimmte Begriffe weggelassen oder umformuliert werden können. Bei der Textverwendung ist jeweils eine kritische Prüfung auf Qualität, Korrektheit, Objektivität und allfällige Urheberrechtsverletzungen unerlässlich, idealerweise erfolgt ein Abgleich mit vertrauenswürdigen Quellen. Zudem sollte der Einsatz von KI-Systemen aus Transparenzgründen ausgewiesen werden oder eine Textpassage sachgerecht angepasst werden.

Wie ist der Stand bezüglich der Regulierung von KI durch den Gesetzgeber?

KI macht vor Staatsgrenzen keinen Halt, weshalb eine internationale Regulierung sinnvoll erscheint. Dieses Jahr wurden mit der Annahme des «AI Act» durch das EU-Parlament am 13. März 2024 sowie der Verabschiedung des Übereinkommens über künstliche Intelligenz («KI-Konvention») durch das Ministerkomitee des Europarates wichtige Meilensteine gesetzt. Die KI-Konvention wird am 5. September 2024 für alle Staaten in Vilnius zur Unterzeichnung aufgelegt. Bei einer Ratifikation durch die Schweiz muss das Übereinkommen in das innerstaatliche Recht überführt werden. Der Bundesrat hat bis November 2024 eine Auslegeordnung zur Regulierung von KI durch das Eidgenössische Departement für Umwelt, Verkehr, Energie und Kommunikation (UVEK) in Auftrag gegeben. Eine solche Regulierung soll auf dem bestehenden Schweizer Rechtsrahmen aufbauen und mit dem AI Act der EU und der KI-Konvention des Europarates kompatibel sein. Spezielles Augenmerk wird dabei auf die Einhaltung der Grundrechte, technische Standards sowie finanzielle und institutionelle Auswirkungen gelegt. Diese Auslegeordnung und der sich daraus ergebende konkrete Auftrag für eine KI-Regulierungsvorlage wird auch für die Kantone und Gemeinden und die St.Galler KI-Strategie von hohem Interesse sein.

Die Regulierung von KI ist eine heikle Sache, einerseits sollen die Möglichkeiten der KI genutzt werden können, andererseits sind die potenziellen Risiken gross. Wie bewerten Sie die aktuellen Regulierungstendenzen, z. B. den AI Act der EU, in diesem Spannungsfeld?

Innovation muss möglich sein, jedoch müssen zur Wahrung der Grundrechte, der Demokratie und der Rechtsstaatlichkeit auch klare rote Linien in heiklen Bereichen gezogen werden. Der risikobasierte Ansatz des AI Acts, der inakzeptabel risikoreiche KI-Systeme wie z. B. biometrische Kategorisierungen auf der Grundlage sensibler Merkmale wie Rasse und Geschlecht verbietet, nimmt sich diesem Spannungsfeld an. Insgesamt kann festgehalten werden, dass die sowohl im AI Act als auch in der KI-Konvention statuierten Grundsätze wie menschliche Autonomie, Kontrolle, Nicht-Diskriminierung, Transparenz oder Schutz der Privatsphäre, wichtige und richtige Leitschranken setzen.