Sie sind hier: Startseite / Publikationen / Basler Schulblatt / Artikel / Künstliche Intelligenz an den Basler Schulen

Artikelaktionen

Künstliche Intelligenz an den Basler Schulen

18.09.2023
Überall hören und lesen wir von künstlicher Intelligenz (KI), wie neue Technologien unsere Gesellschaft und unsere Bildung auf den Kopf stellen. Insbesondere seit der KI-Textgenerator ChatGPT im letzten November eingeführt wurde, ist die künstliche Intelligenz für alle frei zugänglich. Blitzschnell schreibt die Maschine einen fixfertigen Text.
Bild Legende:

Der Dachverband Lehrerinnen und Lehrer Schweiz (LCH) widmet sich in seinem im August lancierten Aktionsplan unter anderem der künstlichen Intelligenz. Auch Lehr- und Fachpersonen in Basel-Stadt beobachten, wie Texte von ChatGPT oder Bilder von Dall-E in den Klassenzimmern Einzug halten. Projektgruppen und Kollegien arbeiten an Manuals, um eine Sensibilisierung im Umgang mit KI voranzutreiben.

In dieser Ausgabe wagen wir von der Redaktion des Schulblatts eine Momentaufnahme. Wir beleuchten unterschiedliche Perspektiven, um KI in der Basler Bildungslandschaft ein Gesicht zu geben: Wo findet bereits Unterricht zu KI statt? Wo wird hinter den Kulissen an möglichen Richtlinien gearbeitet, um die Verwendung von KI in geregelte Bahnen zu bringen und Lehrpersonen zu unterstützen? Was wünschen sich Schülerinnen und Schüler im Umgang mit KI? Wie äussern sich Lehr- und Fachpersonen zu Chancen, Sorgen und Ängsten, die von einer KI-Benutzung ausgehen? Was gibt es zum Datenschutz zu sagen? Wie sieht die Rechtslage in Bezug auf den Einsatz von KI-Tools an Prüfungen aus? Welche Plattformen und Tools ermöglichen Lehr- und Fachpersonen eine Unterrichtsvorbereitung mit KI? Und: Wie funktioniert künstliche Intelligenz überhaupt? Plus, wie geht die Universität Basel damit um?

Die Artikel zum Schwerpunktthema «Künstliche Intelligenz an den Basler Schulen» sind nicht umfassend, aber sie geben einen interessanten Einblick und zeigen: KI ist in den Basler Schulen angekommen. In den nächsten Jahren gilt es den Umgang damit zu lernen und zu lehren.

Tamara Funck und Charlotte Staehelin

Bild Legende:

«ChatGPT ist eine Black Box»

Chancen, Betrug und fehlende Transparenz: Ein Gespräch über künstliche Intelligenz mit Jean Terrier von der Universität Basel

Bild Legende:

Bildung im Zeitalter der künstlichen Intelligenz ist verbunden mit rasanten Veränderungen und dem stetigen Erlernen von neuen Fähigkeiten. Wie können wir sicherstellen, dass Schülerinnen, Schüler und Lehrpersonen technologisch am Ball bleiben und nicht den Anschluss verlieren?

Basler Schulblatt: ChatGPT hat in den Schulen Einzug gehalten. Wie genau künstliche Intelligenz funktioniert, wissen die Wenigsten. Was macht KI?

Jean Terrier: Diese Frage könnte man wohl in einer Dissertation beantworten (lacht). Künstliche Intelligenz ist breiter als nur Chatbots, aber zur Illustrierung halte ich mich an dieses Beispiel: Ein Chatbot wie ChatGPT formuliert Sätze auf der Basis von Beispielen, die er in der Datenmenge findet. Die Maschine wird mit viel Text gefüttert und erkennt darin Muster. Sie erkennt Abweichungen oder Ähnlichkeiten von Wörtern, die miteinander kombiniert werden.

Durch diese statistische Analyse von grossen Datenmengen ist die Maschine in der Lage, für uns kohärente Sätze zu erstellen. Wenn wir die Maschine nach Wissen oder nach der Wahrheit fragen, kann sie das nicht liefern. Die Maschine denkt nicht. Sie versteht auch nicht. Der technische Vorgang ist nicht extrem komplex, das kennen wir seit einiger Zeit. Neuer ist das Vorhandensein von riesigen Datenmengen. Die Bibliotheken, zum Beispiel, sind inzwischen komplett digitalisiert.

Wie geht die Uni Basel mit dem Gebrauch von ChatGPT um?

Wir wissen, dass viele Studierende KI-Tools nutzen und ausprobieren. Sei es zur Inspiration oder als sprachliche Unterstützung. An der Uni Basel gibt es kein pauschales Verbot – das streben wir auch nicht an. Wenn ChatGPT im prüfungsrelevanten Bereich genutzt werden soll, gelten Regeln. Studierende müssen Chatbots zum Beispiel als Quelle oder als Hilfsmittel angeben.

Ab wann gilt der Einsatz von KI-Programmen als Betrug?

Jean Terrier: Das liegt in den Händen der Dozierenden. Je nach Lernziel können sie jede Form von Hilfe ausschliessen oder sie erlauben – von Taschenrechnern über Wikipedia bis ChatGPT. Gewisse Studierende lernen Berufe, in denen ein Internetanschluss und gewisse Programme unabdingbar sind. In diesem Fall werden Dozierende möglicherweise praxisnahe Prüfungen bevorzugen, in denen bestimmte Tools zur Verfügung stehen. Wenn wir hingegen prüfen möchten, ob die Studierenden eine Sprache wirklich beherrschen, sind keine Übersetzungsprogramme erlaubt. Betrug heisst, sich nicht an die für die Prüfung definierten Regeln zu halten – von Prüfung zu Prüfung sind die Regeln aber nicht immer dieselben.

Wie können Lehrpersonen KI im Unterricht sinnvoll nutzen? 

Natürlich kann KI selber ein Thema im Unterricht sein. Mit Fragen wie: Wie funktioniert KI? Was ist bei der Anwendung von solchen Tools zu beachten? Mir fällt ein gelungenes Experiment des Instituts für Kunstgeschichte der Uni Bern ein. Die Studierenden sollten lernen, kritisch mit ChatGPT umzugehen. Konkret mussten sie Texte zu historischen Persönlichkeiten erstellen, diese korrekt zitieren und die Quellangaben ausfindig machen. Welche Nachschlagewerke wurden von ChatGPT benutzt? Das war gar nicht so einfach herauszufinden. Ein Fazit war, dass ChatGPT im Zweifelsfalle einfach Fakten erfindet, respektive sich aufgrund von mangelnden Informationen am falschen Ort bedient.

Weiter können Lehrpersonen selber Tools zur Textgenerierung als Schreibassistenten nutzen. Sie können helfen, aus kurzen Angaben einen Text zu erstellen – und dies in einem Stil, der genau auf das Zielpublikum abgestimmt ist. Dagegen würde ich aus den genannten Gründen die Struktur an sich nicht von solchen Tools schreiben lassen, dafür wird Fachexpertise benötigt.

Wer mit ChatGPT arbeiten will, muss also gleich mit mehreren Herausforderungen umgehen können. Welche Fähigkeiten benötigen wir dafür?

ChatGPT macht heute noch viele Fehler und die Ergebnisse können stark variieren. Die Kunst besteht darin, das Tool korrekt zu bedienen. Je sorgfältiger der Prompt, also der eingegebene Befehl, formuliert wird, desto brauchbarer sind die Ergebnisse. Wenn wir mit diesen Maschinen arbeiten wollen, müssen wir laufend unsere Kompetenzen beim «Prompt Engineering» erweitern. Weiter liefert ChatGPT heute noch keine Quellen. Im Gegensatz zu Wikipedia. Hier muss man selber eingreifen und ergänzen – das ist viel Arbeit. Die Studierenden müssen Prompts korrekt formulieren, das Ganze überprüfen, anpassen und Literaturhinweise hinzufügen. Die Nutzung von Formulierungstools wie ChatGPT kann unter Umständen den Schreibprozess beschleunigen. Aber fertige Texte, die den universitären Qualitätsstandards entsprechen, liefern sie momentan nicht.

Welche Rolle spielen die Schulen bei dieser technologischen Entwicklung?

Wir müssen lernen, anders mit diesen Medien umzugehen. Alle werden künftig in der Lage sein, Bilder, fertige Musikstücke und Videos zu erstellen – und dies noch viel schneller als jetzt. Wenn wir heute Fotos sehen, gehen wir davon aus, dass das eine Abbildung der Realität ist. Das werden wir bald nicht mehr erkennen können. Es kann ein reales Foto oder ein durch ein KI-Tool erstelltes Foto sein. Wenn wir weiterhin denken, dass wir das Abbild der Realität vor uns sehen, haben wir ein Problem.

Eine Aufgabe der Schulen ist es, diese Medienkompetenz in unsere Gesellschaft zu bringen. Bei vielen Dingen sind ChatGPT und andere KI-Tools eine Beschleunigung, sie erleichtern gewisse Arbeitsschritte. Deshalb müssen wir auch das Lernen und die Aufklärung beschleunigen. Ob wir die Kapazität und die nötigen Mittel für unsere Schulen und Universitäten dazu haben, wird sich zeigen.

Kann der Lernprozess an unseren Schulen durch die KI revolutioniert werden?

Das bleibt abzuwarten. Wenn sich Schreibassistenten verbreiten, werden wir weniger den Text an sich bewerten, dafür von Schülerinnen und Schülern mehr Originalität und kritisches Denken erwarten. Ausserdem sehen wir interessante neue Lernmethoden, bei denen Chatbots zum Einsatz kommen. Wer lernen will, muss aktiv werden – diese Aktivität kann auch eine Interaktion sein, also ein Gespräch mit anderen. Dieser Vorgang kann von einem Chatbot imitiert werden. Man stellt ihm eine Frage, erhält eine Antwort und kann jederzeit nachfragen, wenn man etwas nicht verstanden hat. Das kann sehr hilfreich sein.

Sagen wir, Sie erhalten einen Zauberstab und könnten damit die Bildungslandschaft verändern. Was würden Sie sich wünschen?

Das Problem mit ChatGPT und anderen KI-Tools ist, dass viele Daten gesammelt werden. Diese Daten verbessern zwar das Programm, doch was die Firmen dahinter sonst noch damit machen, wissen wir nicht. Das ist bezüglich Datenschutz problematisch. Zudem kommt auch die Chancengleichheit ins Spiel: Schülerinnen und Schüler, die sich die besseren Versionen der Chatbots leisten können, bekommen bessere Resultate. Das ist unfair.

Was ich mir wünschen würde, wäre also mehr Transparenz. Wir wissen nicht, was hinter den heutigen KI-Tools steckt. Momentan haben wir keine Kontrolle darüber, wie die Maschinen trainiert werden. Viele Infos kommen aus dem Internet, von YouTube oder von Twitter-Kommentaren. Das ist eine Black Box. Mit einem Zauberstab würde ich Tools für unsere Schulen und Universitäten entwickeln, die für unsere Bedürfnisse massgeschneidert sind – am liebsten Open Source, für alle zugänglich.

Interview: Jacqueline Visentin
Foto: Universität Basel

 

Zur Person
Dr. Jean Terrier ist Projektleiter «Digital Literacies» an der Universität Basel. Er sorgt dafür, dass Dozierende, Studierende und weitere Angehörige der Uni die nötigen Fähigkeiten besitzen, um mit neuen digitalen Herausforderungen und Programmen umgehen zu können. Die Uni Basel hat sich damit, wie viele andere Unis in der Schweiz, an das Bundesprojekt «Stärkung von Digital Skills in der Lehre» angeschlossen. (vis)
Bild Legende:

«Das Faszinationspotenzial ist riesig!»

Bild Legende:

Christina Holzwarth unterrichtet Deutsch und Chemie am Gymnasium Kirschgarten. Seit Januar integriert sie bei jeder Klasse ein Unterrichtsmodul zu ChatGPT in ihren Deutschunterricht. Eine möglichst frühe Sensibilisierung im Umgang mit KI sei wichtig, sagt sie.

Montagmorgen am Gymnasium Kirschgarten. 19 Erstklässlerinnen und Erstklässler setzen sich an die freien Tische im Schulzimmer A322. Es ist ihre dritte Schulwoche am Gymnasium. Deutschlehrerin Christina Holzwarth steht vorne und fragt in die Runde: «Wer von Ihnen hat KI-Tools schon ausprobiert?»

Inzwischen sind alle Schülerinnen und Schüler bereit für den Unterricht: alle haben ein eigenes elektronisches Gerät vor sich aufgeklappt. Papier und bunte Stifte sucht man in der BYOD-Klasse vergeblich (BYOD=Bring Your Own Device).

Über das Abstimmungstool menti.com beantworten die Jugendlichen mit einem Klick die Eingangsfrage zur Benutzung von KI-Werkzeugen. Das Resultat zeigt:

Benutze ich oft: 0 Stimmen

Habe ich schon ausprobiert: 17 Stimmen

Kenne ich noch nicht: 2 Stimmen

Im Bann der künstlichen Intelligenz

Christina Holzwarth fragt die Klasse, wofür sie künstliche Intelligenz schon verwendet habe. Drei Schülerinnen erzählen begeistert, wie sie mit Hilfe von KI Bilder generieren. Andere berichten davon, ChatGPT die verrücktesten Fragen gestellt zu haben, bis sie der Chatbot – so das Spiel der Teenager – zum Therapeuten geschickt habe. Tatsächlich befasst mit den Möglichkeiten und Gefahren von KI hat sich allerdings noch niemand – bis auf eine Schülerin, die erzählt, dass KI im MINT-Unterricht ihrer vorherigen Schule besprochen wurde.

Die Lehrerin lässt die Klasse erneut abstimmen. Diesmal widerspiegelt das Resultat, was die Jugendlichen von KI halten. Die Mehrheit der Schülerinnen und Schüler findet «KI wird in Zukunft immer wichtiger», gefolgt von «KI halte ich für etwas Spannendes». Eine Minderheit der Klasse antwortet mit «KI macht mir Angst». Die Lehrerin holt Rückmeldungen ein. Viele Hände schnellen in die Luft.

Eine Schülerin spricht sich für die Wichtigkeit von KI aus, sie werde inzwischen für fast alles gebraucht. Ein Jugendlicher sagt, es mache ihm Angst, weil er nicht mehr wisse, was er dürfe. Und dass Lehrpersonen merken könnten, dass KI benutzt wurde.

Holzwarth nimmt die Antworten auf und kommt während des Unterrichts auf viele der genannten Aspekte zurück.

Bild Legende:

Lehrperson redet mit KI, statt mit Schüler

Mit Interesse hat Holzwarth beobachtet, wie ChatGPT, der Nachfolger des noch fehlerhaften GPT-3, im November 2022 veröffentlicht wurde und innert kürzester Zeit an der Schule Verwendung fand. Neben ihrer Anstellung am Gymnasium Kirschgarten ist Holzwarth an der FHNW tätig und bei der Ausbildung von neuen Lehrpersonen engagiert.

«Zwischendurch bin ich auf Unterrichtsbesuch und sitze hinten im Klassenzimmer. Von hier habe ich einen ganz anderen Blick, sehe auf die Bildschirme und konnte beobachten, wie bei zwei bis drei Schülern ChatGPT im Hintergrund offen war und sie der KI regelmässig Fragen stellten», erzählt Holzwarth. «Natürlich haben wir im November alle mitbekommen, dass ChatGPT da ist und trotzdem war ich kurz verwundert, als der Chatbot zwei Wochen später tatsächlich im Klassenzimmer ankam», sagt Holzwarth.

Einmal habe sie sogar erlebt, wie eine Nachwuchslehrperson im Unterricht mit ChatGPT gesprochen habe, ohne es zu merken. Ein Schüler tippte die Fragen des Lehrers in den Chatbot ein und verkündete die Antwort, als wäre es seine eigene gewesen.

«Meine Beobachtungen haben mich bestärkt in der Überzeugung, dass eine möglichst frühe Sensibilisierung im Umgang mit KI enorm wichtig ist», sagt Christina Holzwarth. Bereits im Januar 2023 testete sie ein Unterrichtsmodul zu künstlicher Intelligenz am Gymnasium Kirschgarten, und im Februar führte sie gemeinsam mit Konrektor Thomas Preiswerk im Rahmen eines kollegiumsinternen «BarCamps» eine Schulung zu ChatGPT durch.

Inzwischen sind die vier Lektionen zu KI fester Bestandteil von Holzwarths Deutschunterricht. Und auch an der Pädagogischen Hochschule FHNW gehört im Fach Deutschdidaktik seit diesem Herbstsemester ein fixer Slot der künstlichen Intelligenz.

Die richtigen Antworten

Zurück ins Klassenzimmer A322. Die Schülerinnen und Schüler arbeiten an einem ersten Arbeitsauftrag: Sie sollen die wichtigsten Merkmale einer Kurzgeschichte ausfindig machen und aufschreiben. Ein Teil der Klasse nimmt einen Lexikonartikel zur Hand, der andere Teil fragt bei ChatGPT um Hilfe.

Das eigentliche Lernziel der Lektion – die wichtigsten Merkmale einer Kurzgeschichte zu kennen – erreichen alle. Gleichzeitig erfahren sie auch, wie informationsdicht und schwer leserlich der Lexikonartikel formuliert ist, während die KI innert wenigen Sekunden eine sprachlich einfache Antwort ausspuckt. Die Jugendlichen, die mit KI arbeiten, haben in drei Minuten eine Liste von Merkmalen erstellt. Der Teil der Klasse, der sich durch den Lexikonartikel quält, braucht fünfzehn Minuten.

«Was liefert die richtigen Antworten? KI oder das Lexikon?», fragt Christina Holzwarth in die Runde. Einige Schülerinnen und Schüler sind sich unsicher, die meisten glauben, beide liefern richtige Antworten. «Wir müssen uns Gedanken machen, wie wir das überhaupt entscheiden», betont Holzwarth. Sie möchte, dass die Jugendlichen verstehen, wann ChatGPT zur Informationsgewinnung genutzt werden sollte und wann nicht.

«ChatGPT ist leicht verfügbar und extrem eloquent, aber wenn uns die Expertise fehlt, um einschätzen zu können, ob es wahrheitsgetreue Informationen sind, die wir von der künstlichen Intelligenz bekommen, ist es sehr gefährlich den Chatbot zu nutzen», erklärt Holzwarth. Diejenigen, die den Lexikonartikel gelesen haben, würden die wichtigsten Merkmale einer Kurzgeschichte kennen und könnten in der Folge die Antwort eines Chatbots besser beurteilen.

Bild Legende:

Das «Spaghetti-Carbonara-Problem»

Die Deutschlehrerin erklärt der Klasse, wie ChatGPT funktioniert und erwähnt dabei das «Spaghetti-Carbonara-Problem». Fragte man vor ein paar Monaten den Chatbot (er hat inzwischen dazugelernt), was man mit Spaghetti, Tomaten und Parmesan kochen kann, lautete die Antwort von ChatGPT: «Mit diesen Zutaten können Sie ein klassisches Spaghetti alla Carbonara zubereiten». Gefolgt von einer Kochanleitung mit den genannten drei Zutaten, aber ohne Eier und Speck.

Das Beispiel zeigt anschaulich, wie ChatGPT funktioniert: Anhand unserer Fragen und Prompts, die wir eingeben, gibt uns ChatGPT die wahrscheinlichste Antwort an – und nicht unbedingt die faktentreueste Aussage. «Es sind nicht festgeschriebene Textbausteine, die immer angezeigt werden, wenn jemand Frage XY stellt, sondern es gibt jedes Mal – Stichwort: Nachbildung menschlicher Entscheidungsprozesse – eine neu generierte Antwort», meint Holzwarth, und fügt an: «Dieser Prozess hat einen Komplexitätsgrad, der nicht mehr hundertprozentig nachvollziehbar ist für uns.»

Bild Legende:

Eine KI-generierte Kurzgeschichte

Die Fünf- bis Siebzehnjährigen, die dem Unterricht bisher mit voller Aufmerksamkeit gefolgt sind, arbeiten nun an einem weiteren Arbeitsauftrag: Sie lassen ChatGPT eine Kurzgeschichte schreiben, die alle wichtigen Merkmale der Textsorte erfüllt. Sie sind aufgefordert, der künstlichen Intelligenz möglichst genau zu sagen, was sie machen soll, und die Merkmale anhand des KI-generierten Texts zu kontrollieren.

Wenig später ist die Lektion zu Ende. Rucksäcke werden gepackt und junge Menschen wandern zur nächsten Unterrichtsstunde. Als sich das Zimmer leert, nickt Christina Holzwarth und sagt: «Künstliche Intelligenz ist da. Sie ist sehr machtvoll. Das Faszinationspotenzial ist riesig! Wir kommen nicht drum herum, uns mit der Sache auseinanderzusetzen und vor allem unsere Schülerinnen und Schüler zu sensibilisieren, was KI kann und was sie nicht kann.»

Die Erstklässlerinnen und Erstklässler werden sich in den drei folgenden Deutschlektionen weiterhin mit ChatGPT befassen. Anhand von meinungsbildenden Texten werden sie diskutieren, wie künstliche Intelligenz ihre Meinung beeinflussen kann und wie sie sich durch die Eloquenz der KI blenden lassen. Ausserdem wird ihnen klargemacht, wann sie auf ChatGPT zurückgreifen dürfen.

«Ich möchte meine Schülerinnen und Schüler realistisch darauf vorbereiten, was sie erwartet. Im Deutschunterricht geht es um die Kompetenz des eigenständigen Formulierens. Die sollen sie hier ausbilden. ChatGPT dient vielleicht als Dialogpartner, der Feedback zu eigenen Texten geben kann, ansonsten möchte ich bei den Jugendlichen eine gewisse Vorsichtshaltung auslösen», resümiert Holzwarth und klappt ihren Computer zu. Die nächste Klasse wartet bereits auf sie.

Text: Tamara Funck, Fotos: Grischa Schwank

Fun Fact!

Wir haben ChatGPT nach Feedback gefragt zu dem Ihnen vorliegenden Text. Seine Antwort war: «Es ist grossartig zu sehen, wie Lehrer wie Christina Holzwarth Künstliche Intelligenz (KI) in den Unterricht integrieren und Schülern ermöglichen, frühzeitig Erfahrungen mit dieser Technologie zu sammeln. Insgesamt zeigt dieser Artikel, wie wichtig es ist, Schülerinnen und Schüler auf die zunehmende Rolle von KI in unserer Gesellschaft vorzubereiten und ihnen die Fähigkeiten zu vermitteln, diese Technologie verantwortungsvoll und kritisch zu nutzen.»

Bild Legende:

Unterricht mit KI vorbereiten: Plattformen und Tools zum Ausprobieren

Drei Schweizer Lehrpersonen, ein Blog

«Tools, Ideen und Materialien für den Unterricht von morgen auf der Stufe Sek II»: Das bietet der Blog Web2-Unterricht an. Seit 2012 stellen zwei Lehrer und eine Lehrerin auf die Schweiz zugeschnittene Beiträge zur Verfügung. Wie erkenne ich als Lehrperson beispielsweise, ob ein Text auch tatsächlich von den Jugendlichen stammt? Das KI-Texterkennungsprogramm «AI Text classifier» kann beim Beantworten dieser Frage unterstützen. Eine Schritt-für-Schritt-Anleitung des Web2-Unterricht-Teams erleichtert den Einstieg in das Tool. Web2-Unterricht ist öffentlich zugänglich und ohne Login nutzbar.

web2-unterricht.ch

web2-unterricht.ch/byod/von-ki-verfasste-texte-erkennen

 

Ein ChatGPT-Guide für die Schule

In übersichtlich gegliederten Abschnitten und mit schrittweitweiser Anleitung: So präsentiert sich der ChatGPT-Guide für Lehrpersonen. Zusammengestellt hat ihn der in Berlin lebende Lehrer Manuel Flick. Wie können Schülerinnen und Schüler zum Beispiel mithilfe von ChatGPT ein Vorstellungsgespräch üben und danach sowohl das Gespräch als auch das ChatGPT-Verhalten reflektieren? Die praxisnahen Informationen richten sich an Einsteigende und an Fortgeschrittene. Der kostenlose Zugang zum Guide erfolgt via E-Mail.

manuelflick.de/chatgpt-guide

 

Microsoft Forms im Unterricht

Quiz, Hausaufgaben oder Prüfung: Das Formular-Tool von Microsoft lässt sich im Unterricht vielfältig einsetzen. Lehrpersonen können die Aufgaben online auswerten oder die Schülerinnen und Schüler selbst auswerten lassen. Anleitungen und Umsetzungsideen finden Lehrerinnen und Lehrer unter anderem auf Zebis oder auf der Website des Deutschen Medientrainers Stefan Malter.

forms.office.com

malter365.de/forms/forms-schule

 

Ein Themendossier zu KI

éducation21

Wie viel und welche Daten möchten Schülerinnen und Schüler im Netz von sich preisgeben? Und wer profitiert eigentlich von KI-Anwendungen? Solche Fragen wirft éducation21 in ihrem Themendossier «Künstliche Intelligenz» auf. Auch Hintergrundwissen, Ideen für den Unterricht auf allen Stufen oder Hinweise auf Lernmedien zu KI stehen den Lehr- und Fachpersonen zur Verfügung. Die Schweizer Stiftung éducation21 will Bildung für Nachhaltige Entwicklung (BNE) in der Schule verankern. Auf ihrem Portal stellt das Team unter anderem pädagogisch geprüfte Materialien zur Verfügung. Die Stiftung arbeitet im Auftrag des Bundes und der Kantone, die Plattform ist öffentlich zugänglich und ohne Login nutzbar.

education21.ch/de/themendossier/kuenstliche-intelligenz

education21.ch/de/ventuno/kuenstliche-intelligenz

 

Von Valérie Rhein

Bild Legende:

Arbeitsgruppe KI – eine Reise in die Zukunft

In diesem Frühjahr wurde die Arbeitsgruppe KI im Bereich Mittelschulen geschaffen. Was treibt dieses Gremium um?

Bild Legende:

 

In rasantem Tempo verbessern sich die KI-Applikationen, bewährte Lehr- und Prüfungsformen geraten unter Druck und Gewohnheiten müssen überdacht werden. Neben Begeisterung und Neugier zeigen sich auch Unsicherheiten, Ärger und Ängste bei Lehr- und Fachpersonen, Schülerinnen und Schülern und Eltern. Mitten im Geschehen steht die neu gegründete Arbeitsgruppe KI. Sie sammelt, ordnet, vernetzt und strahlt Besonnenheit aus. Das zeigt sich in einem Gespräch mit den beiden Projektleitern Eugen Krieger, Rektor des Gymnasiums am Münsterplatz, und Patrick Langloh, Rektor von Wirtschaftsgymnasium und Wirtschaftsmittelschule.

Der Projektauftrag der Abteilungskonferenz der Mittelschulen (AKOM) an die neu gegründete Arbeitsgruppe KI ist unmissverständlich formuliert. Gefordert ist eine «Handreichung KI an den Mittelschulen BS». Dieser Auftrag ist der Kompass für die Entwicklung neuer Strukturen.

Auch das Ziel ist klar: «Wir wollen Schülerinnen und Schüler und Lehrpersonen dazu befähigen, sinnvoll und kritisch mit künstlicher Intelligenz umzugehen», bringt es Patrick Langloh auf den Punkt. Co-Projektleiter Eugen Krieger ergänzt: «Wir haben die Pflicht, uns jetzt fundiert mit KI zu beschäftigen, das schulden wir den jungen Menschen, denn spätestens an der Universität holt es sie sonst ein».

Vernetzung und Austausch

Wie aber sieht der Weg zu dieser Handreichung aus? Im Gespräch mit den beiden Projektleitern werden zwei Dinge deutlich: Die Arbeitsgruppe KI agiert nicht vom Schreibtisch im stillen Kämmerlein aus, sondern steht in einem pragmatischen Austausch mit den Akteurinnen und Akteuren in der Praxis, an den Schulen und den Hochschulen. So wurde in Anlehnung an die Universität Basel etwa in Kürze ein Leitfaden zum Zitieren von KI entwickelt. «Bei den laufenden Maturarbeiten musste dringend eine konkrete Handhabung her», erklärt Langloh. Der enge Austausch mit der Universität liegt auf der Hand denn, so Krieger: «Als Zubringer müssen wir unsere Gymnasiastinnen und Gymnasiasten fit machen für das, was nachher an der Uni gilt».

Auch kantonsübergreifend wird vernetzt. Über die Konferenz der Gymnasialrektorinnen und -rektoren etwa läuft ein regelmässiger Austausch. Andere Kantone wie zum Beispiel Zürich, haben ebenfalls solche Arbeitsgruppen gebildet, da wird versucht, Synergien zu schaffen. «Im Vergleich mit anderen Kantonen stehen wir gut da», resümiert Krieger.

Breite Vernehmlassung

Aus diesem Vernetzungsgedanken heraus ergibt sich das zweite Merkmal der Arbeitsgruppe: eine konsequente Bottom-up-Haltung. Es soll nicht von oben herab verfügt, sondern aus der Praxis heraus entwickelt werden. «Diese AG ist kein Beschlussgremium, sondern ein Think Tank», stellt Krieger klar. «Es geht hier um ein Vorspuren, ein Vordenken im Dialog mit den Kollegien. Wir legen nichts fest ohne Rücksprache», meint Langloh, «Ziel ist, dass wir am Ende zu Beschlüssen kommen, die verbindlich gelten, aber erst nach einer breiten Vernehmlassung durch unterschiedliche Stakeholder – wie etwa die Fachkonferenzen oder die AKOM. Die geforderte Handreichung muss von einer klaren Mehrheit mitgetragen werden. Wir wollen auf keinen Fall vorschnell mit Reglementierungen ins Kraut schiessen, um dann später zu realisieren, dass vieles nicht bedacht wurde.»

Bedachtsames Vorgehen

Konkreter Handlungsbedarf besteht zurzeit bei den aktuellen Maturarbeiten. Das Zitieren von KI und der Einsatz von KI-Detektoren zur Erkennung eines allfälligen Betrugs mussten schnell geregelt werden, um den Workflow aufrecht zu erhalten. Aber bei allen anderen Aspekten gehen die Projektleiter mit Bedacht vor: «Wir bewegen uns auf einem Gebiet, in dem sich alles so schnell verändert, dass wir zuerst etwas Erfahrungen sammeln müssen. Natürlich wird die Entwicklung auch in einem Jahr nicht abgeschlossen sein, aber wir haben dann als Grundlage zumindest einen ersten Erfahrungsschatz. Ich bin zum Beispiel überzeugt, dass wir uns in den kommenden Jahren noch viel stärker mit rechtlichen Fragen auseinandersetzen müssen. Mit Haftungsfragen etwa. Was passiert, wenn eine KI etwas Fehlerhaftes produziert? In unserem Bereich ist das vergleichsweise harmlos, das bleibt im Bereich des Papiers. Aber was ist mit autonom gesteuerten Fahrzeugen, die einen Unfall produzieren? Das sind Fragen, die wir als Gesellschaft beantworten müssen», konstatiert Langloh.

Soziale Komponenten

Neben dem rechtlichen Aspekt verweist Eugen Krieger auf soziale Komponenten, die bedacht werden müssen. Wie sieht es etwa mit der Chancengleichheit aus? Es gebe Stimmen, wie zum Beispiel diejenige von Professor Dr. Martin Vetterli von der ETH Lausanne (EPFL), die warnen, dass sich die gesellschaftliche Schere zwischen einer gut ausgebildeten Gruppe von Menschen, die mit KI einen maximalen Output generieren kann, und Menschen aus eher bildungsfernen Verhältnissen in Zukunft noch grösser werde.

Im Schulalltag stellt sich ganz konkret die Frage nach der Verfügbarkeit der KI-Applikationen. Neben der allgemein zugänglichen Gratisversion des Chatbots ChatGPT 3.5 von OpenAI zum Beispiel, gibt es bereits kostenpflichtige Premiumangebote mit einem privilegierten Zugang. Was heisst das für die Schulen? Wie wird verhindert, dass Kinder aus sozial schwächeren Verhältnissen keine Nachteile haben? «Es gibt dazu unterschiedliche Überlegungen, etwa ob und wie wir gute Lizenzbedingungen aushandeln können», skizziert Langloh diese Diskussion.

Verschiebungen im didaktischen und pädagogischen Bereich

Ein Kerngeschäft der Arbeitsgruppe sind natürlich die didaktischen und pädagogischen Verschiebungen, welche durch die KI ausgelöst werden. Eine Tendenz heben beide erfahrenen Pädagogen hervor: Die Mündlichkeit gewinne laufend an Bedeutung, denn nur im Gespräch könne die Eigenleistung einer Arbeit noch sicher beurteilt werden. Offen sei auch die Auswirkung der verfeinerten KI auf die Open-Source-Prüfungen. «Wie kann man Prüfungsgerechtigkeit schaffen, wenn da in einer Maturprüfung plötzlich ein Chatbot den schriftlichen Teil übernimmt», umreisst Eugen Krieger das Problem.

Je nach Fach seien die Herausforderungen für den Unterricht unterschiedlich. Für alle Disziplinen jedoch gelte: «Fachkompetenz ist nicht ersetzbar, sonst sind wir diesen Maschinen ausgeliefert. Es ist ein Auftrag der Schulen, Fachkompetenz zu fördern und zu pushen, damit man mündig und kritisch mit KI umgehen kann.»

Die Dynamik der Veränderung

Dann ist da die unglaubliche Dynamik der Veränderung, die seit dem vergangenen November mit dem Siegeszug von ChatGPT noch einmal eine neue Dimension erreicht hat. «Ich spüre im Gespräch mit den Lehrpersonen immer wieder ein Gefühl von Overload. Immer mehr Vertrautes vaporisiert sich. Das löst Unsicherheit, Stress und Zukunftsängste aus», resümiert Eugen Krieger. Und Patrick Langloh ergänzt: «Wir müssen diese Ängste ernst nehmen, dürfen aber nicht in die Igelhaltung verfallen, oder uns totstellen. Denn wir wollen nicht nur begrenzen oder reglementieren und immer allem hinterherrennen, sondern wir wollen mit Umsicht einen Rahmen schaffen, der Entwicklung zulässt. Wir möchten Lernende und Lehrende mitnehmen auf eine Reise, bei der man sich nicht ausgeliefert fühlt, sondern wo man mitgestalten kann».

Bild Legende:
Arbeitsgruppe KI

Die Arbeitsgruppe KI wurde im März 2023 von der Abteilungskonferenz der Mittelschulen (AKOM) gegründet. Sie umfasst neben den beiden Projektleitern je eine Vertretung aus allen sechs in der AKOM angesiedelten Mittelschulen (Fachmaturitätsschule, Gymnasium Bäumlihof, Gymnasium Kirschgarten, Gymnasium Leonhard, Gymnasium am Münsterplatz sowie Wirtschaftsgymnasium und Wirtschaftsmittelschule). Bei der Verteilung der Mandate wurde darauf geachtet, dass aus unterschiedlichen Fachbereichen Lehrpersonen mit einer Affinität zu KI und entsprechender Erfahrung im Unterricht ausgewählt wurden. Jedes Mitglied hat einen eigenen Zuständigkeitsbereich. Die AG trifft sich viermal im Jahr. Der Projektauftrag besteht darin, eine Handreichung «KI an den Mittelschulen BS» zu entwickeln. (cs)

 

 Text & Fotos: Charlotte Staehelin

Bild Legende:

KI an den Volksschulen

Startpunkt für den Umgang mit KI an den Volksschulen: Maria Papanikolaou, akademische Mitarbeiterin der Fachstelle Pädagogik, sprach Anfang September am Kick-Off der Fachkonferenzen in der Aula des Gymnasiums Leonhard über die Wichtigkeit, sich gegenüber KI-Tools nicht zu verschliessen.

Nach einem kurzen historischen Exkurs und einem Überblick zu den unterschiedlichen Ausprägungen von KI und deren Anwendungen, arbeitete Maria Papanikolaou in ihrem Beitrag sehr schön die paradoxe Struktur der künstlichen Intelligenz heraus, wo Chancen und Risiken zwei Seiten derselben Medaille bilden. Sie ermunterte ihr Publikum dazu, frühzeitig in die Diskussion einzusteigen. Dafür formulierte sie einige noch offene Fragen: «Wie stellen wir sicher, dass keine schützenswerten Personendaten in die KI-Plattformen gelangen? Wie stellen wir sicher, dass die Jugendlichen einen bewussten Umgang mit der KI lernen? Wie stellen wir sicher, dass KI-Tools verantwortungsbewusst eingesetzt werden und dass die Arbeitsergebnisse originär sind? Was ist die Eigenleistung einer Schülerin oder eines Schülers, die mit einer Note honoriert wird?» Am Ende des Beitrags stand die Anregung, sich nicht zu verschliessen, sondern die KI-Tools lustvoll zu erkunden: «Nur wenn wir explorativ vorgehen, werden wir in der Lage sein wissend zu diskutieren ­– Sinnvolles und Neuwertiges zu gestalten für unseren Unterricht, für unsere Schule, für unsere Kinder.» 
Sharepoint zur Präsentation: https://bit.ly/FaKo_KI 

Text: Charlotte Staehelin

Bild Legende:

KI und die Knackpunkte des Datenschutzes

Beat Rudin, der Datenschutzbeauftragte des Kantons Basel-Stadt,  kümmert sich um den Schutz von Personendaten. Die Schulblatt-Redaktion fragte ihn nach den grössten Knackpunkten im Umgang mit KI im Schulalltag.

Bild Legende:

Der Verwendungszweck von KI

«Die zentrale Frage im Umgang mit KI lautet: Was wird mit diesen Applikationen gemacht? Nutzt man diese Technologie rein als Unterstützung menschlicher Tätigkeiten, wie das etwa bei Übersetzungs- oder Rechtschreibetools der Fall ist oder in der Medizin, wenn Bilder mit Hilfe von KI auf Krebszellen hin analysiert werden, ist das etwas anderes, als wenn im staatlichen Bereich eine Maschine eine Verfügung erlassen würde, oder – um ein Beispiel aus dem Schulkontext zu bringen – wenn mithilfe eines KI-Tools konkrete Bewertungen oder Noten generiert würden. Ein solcher Einsatz muss transparent gemacht werden und jede Schülerin und jeder Schüler kann verlangen, dass solche Entscheidungen von einem Menschen mindestens überprüft werden.»

Sekundärnutzung von Daten durch die Anbieter von KI-Applikationen

«Wenn wir Schülerinnen und Schüler ermutigen oder zwingen, sich irgendwo einzuloggen, kann das schnell zu Problemen führen. Solange das bezahlte Systeme sind, wo die Login-Daten einzig dazu gebraucht werden, um sicherzustellen, dass das gewünschte Produkt oder Resultat ausgeliefert werden kann, ist das in Ordnung. Bei Bezahllösungen ist oft vertraglich geregelt, dass die sekundäre Datennutzung nicht erlaubt ist. Wenn eine Lehrperson jedoch die Gratisversion von Tools wie DeepL oder ChatGPT im Unterricht verwendet, lauern Probleme, denn dort werden Daten in der Regel weiterverwendet, um diese Applikationen aufzubauen oder zu trainieren. Das ist Teil des Geschäftsmodells. Als staatlicher Akteur muss ich diese Datenzweitnutzung oder Sekundärnutzung verhindern, wenn sie nicht durch eine gesetzliche Grundlage oder die ausdrückliche Einwilligung der betroffenen Personen gerechtfertigt ist.»
  

Verwendung privater Login-Daten

«Wenn sich Schülerinnen und Schüler oder Lernende im Schulkontext einloggen müssen, soll das nach Möglichkeit über die Schuladresse geschehen und nicht über eine private Mailadresse oder Handynummer. Dieses Problem stellt sich auch bei den Plattformen der Lehrmittelverlage. Sobald eine Zuordnung von Daten über eine private Handynummer möglich gemacht wird, wird es problematisch. Die Schuladressen werden nach der Schulzeit gelöscht, die private Handynummer oder private E-Mailadresse tragen die Schülerinnen und Schüler in der Regel noch viele Jahre mit sich.»

 

Inhaltliche Richtigkeit

«Die Lehrperson, die im Unterricht ein KI-Tool einsetzt, verantwortet die Resultate in Bezug auf den Inhalt: Ist das, was ich verwende oder weiterverarbeite, inhaltlich korrekt? Das ist aktuell ein grosses Thema, da diese KI-Applikationen wie ChatGPT noch sehr fehleranfällig sind. Wenn da Personendaten involviert sind, kann das schnell persönlichkeitsverletzend und damit unzulässig werden. Es können auch Quellen verfälscht oder verändert werden, ohne das die Autorin oder der Autor etwas davon weiss, geschweige denn, dass sie in die Nutzung dieser Quellen eingewilligt hat. Das ist dann aber eine Frage des Urheberrechts.»

 

Transparenz bei der Datenbekanntgabe

«Sobald Personendaten verwendet werden, müssen die betroffenen Personen wissen, was mit ihren Daten geschieht, wozu sie verwendet werden und ob dabei KI im Spiel ist. Es ist darauf zu achten, dass nicht unbeabsichtigt Personendaten bekanntgegeben werden. Wenn jemand zum Beispiel einen Brief ins Übersetzungstool DeepL gibt, und Name, Anrede, eventuell noch das Geburtsdatum stehen lässt, dann wird dieses System unbeabsichtigt mit Informationen über eine Drittperson gefüttert. Das ist nicht erlaubt. Auf den Schulalltag bezogen lässt sich festhalten, dass die Nutzung von Plagiatserkennungssoftware oder KI-Detektoren, wie sie bei der Beurteilung von schriftlichen Arbeiten teilweise genutzt werden, ausschliesslich in strikt anonymisierter Form erlaubt sind.»

Zur Person

Prof. Dr. Beat Rudin amtet seit 2009 als Datenschutzbeauftragter des Kantons Basel-Stadt und kümmert sich um den Schutz von Personendaten. Mit der anstehenden Revision des Informations- und Datenschutzgesetzes (IDG) sind damit ausschliesslich Daten von natürlichen Personen gemeint. (cs)

Verantwortlichkeit Datenschutz am Erziehungsdepartement
Mit der Revision des kantonalen Gesetzes über die Information und den Datenschutz (IDG) wird auch die Zuständigkeit für den Datenschutz innerhalb der Departemente neu geregelt. Wir werden zu gegebener Zeit über die Ansprechpersonen für Lehr-, Fach- und Leitungspersonen informieren. (cs)

 

Aufgezeichnet von: Charlotte Staehelin, Foto: Adrian Plachesi

Bild Legende:

So denken Schülerinnen und Schüler über KI

Gibt die Schule zu viele Richtlinien vor? Oder zu wenige? Vier Teenager erzählen, was sie über künstliche Intelligenz wissen und was sie sich im Umgang damit wünschen.

Bild Legende:

Anne, 18 Jahre, FMS

«Ich habe erst vor kurzem von KI gehört und verwende KI sehr selten. Selber habe ich bisher nur ChatGPT ausprobiert. Auf TikTok habe ich einige andere Tools gesehen, wie zum Beispiel eine KI, die Bilder generiert oder Photoshops Generative Fill.

ChatGPT verwende ich hauptsächlich, um Inspiration und Quellen zu finden für Texte oder andere Sachen. Ich benutze es hauptsächlich für die Schule. Zudem habe ich es auch mehrere Male während meines Praktikums benutzt, um meinen Arbeitsalltag einfacher zu machen.

An der Schule dürfen wir KI benutzen, solange nicht explizit gesagt wird, dass wir es nicht benutzen dürfen. Die einzig wirklich neue Regel betrifft die Selbstständige Arbeit. Wir haben jetzt einen Monat weniger Zeit, um die Arbeit zu schreiben, und die mündliche Präsentation wird stärker gewichtet.

Ich finde die Regeln, die die FMS eingeführt hat, gut. Es braucht Regeln im Umgang mit KI. Ausserdem glaube ich, urheberrechtlich sind Tools wie ChatGPT ein Problem. Wem gehört die Arbeit? Der Person, die diese Tools benutzt hat, oder der Firma, die die KI erstellt hat? Wenn man KI benutzt, sollte man es in seiner Arbeit irgendwo vermerken. Man könnte an der Schule Kurse anbieten, wo gezeigt wird, wie man KI-Tools richtig benutzt. Damit wenigstens alle ein gewisses Grundwissen haben. Dann wäre es wieder fair, weil die Leute, die KI benutzen, haben einen grossen Vorteil.»

Bild Legende:

Enes, 16 Jahre, Handelsschule KV

«KI verwende ich privat relativ oft. Ich finde, KI allgemein sehr interessant. Hauptsächlich benutze ich ChatGPT, jedoch habe ich schon einige andere KI-Tools gebraucht. Zum Beispiel Conch AI, Generative Fill von Photoshop und Adobe Enhanced Speech. Ich habe noch weitere ausprobiert, bin mir aber nicht mehr sicher, wie sie alle heissen.

KI habe ich schon einige Male benutzt, um eine Zusammenfassung von einem Buch zu erhalten, oder um Quellen für eine Arbeit zu sammeln. Ich benutze KI vielleicht einmal pro Woche oder alle zwei Wochen. Ich habe es auch ein oder zwei Male für Hausaufgaben benutzt, aber nie für etwas, das benotet wurde.

Soweit ich weiss, gibt es noch keine richtigen Regeln für die Benutzung von ChatGPT an unserer Schule. Ich glaube aber, die Schulleitung ist dabei, solche Regeln zu erstellen. Die meisten Lehrpersonen wissen nicht wirklich viel von KI. Also sagen sie auch nichts dagegen.

Es braucht definitiv Regeln für den Umgang mit KI in der Schule. KI-Tools sind zu stark, um sie einfach so zu lassen. Ich glaube für die Zukunft wäre es eine gute Idee, wenn man sagt, die Benutzung von KI-Tools ist an Schulen nicht erlaubt, ausser die Lehrperson sagt es. Schulen sollen nicht Angst vor Veränderung haben und sie meiden. Schulen sollen mit der Zeit mitgehen.»

Bild Legende:

Mara, 16 Jahre, Gymnasium

«Über künstliche Intelligenz weiss ich nicht viel. Es sind Webseiten, auf denen man verschiedene Begriffe eingeben kann zu ganz viel verschiedenen Themen. Ich habe KI noch nie gebraucht. Auf TikTok habe ich schon ein paar Videos zum Thema gesehen. Und an der Zeugnisübergabe hat der Schulleiter etwas darüber erzählt.

Im Privaten finde ich es nicht schlimm, wenn man KI benutzt. Wenn es um die Schule geht und man für etwas bewertet wird, finde ich es schwierig. Dann ist es ungerecht denen gegenüber, die es ehrlich gemacht haben und dann vielleicht nicht so eine gute Note haben.

Ich habe mir einmal überlegt es zu benutzen, als wir eine Satire schreiben mussten. Irgendwie war ich aber zu faul, die eineinhalb Seiten von Hand abzuschreiben.

Für mich ist es selbstverständlich, dass man angibt, wenn etwas aus dem Internet kommt, aber die Regeln der Schule dazu kenne ich nicht. Ich fände es gut, wenn KI an der Schule verboten wäre, aber das ist schwierig umzusetzen.

Gerade ist mir eingefallen, dass unser Mathelehrer uns Mathe-KI gezeigt hat. Die App heisst Photomath. Mit der Kamera scannt man die Matheaufgabe ein und dann zeigt es einem jeden Rechenschritt an und sagt, was man machen muss. Das ist noch praktisch.»

Bild Legende:

Niklas, 19 Jahre, FMS

«Ich benutze KI, jedoch nicht sehr oft. Hauptsächlich benutze ich ChatGPT, weiss aber, dass ChatGPT nur die Spitze des KI-Eisbergs ist.

Das letzte Mal habe ich ChatGPT für meine Selbstständige Arbeit an der FMS benutzt. Nicht, um einen fertigen Text zu erhalten, sondern um Inspiration oder Quellen zu sammeln. Beispielsweise habe ich nach Textinspiration gefragt, die ich dann umgeschrieben habe, oder Ideen für mein Thema oder die wichtigsten Argumente gesammelt. Ansonsten habe ich auch für Vorträge ChatGPT benutzt, um mich mit dem Thema vertraut zu machen.

Unsere Schule hat sehr schnell gehandelt, als die KI Anfang dieses Jahres im Mainstream angekommen ist. Für die Selbstständige Arbeit wurde die Arbeitszeit verkürzt. Und das Wissen wird bei der Präsentation mehr getestet, womit man schneller merkt, ob jemand den Text selber geschrieben hat.

Ich finde, es sollte definitiv Massnahmen geben für die Benutzung von KI. Grundsätzlich finde ich, dass im Fall der FMS gute Regeln eingeführt wurden. Jedoch war die Implementierung zu schnell und zu früh.»

Studie aus Schweden

Studien zu künstlicher Intelligenz sind noch rar. Die bisher erste umfassende Studie aus Europa stammt von der Chalmers University of Technology in Göteborg, Schweden, und fragt nach dem KI-Gebrauch an Hochschulen. Die Studie zeigt, dass 95 Prozent der Studentinnen und Studenten in Schweden ChatGPT verwenden, 35 Prozent regelmässig. Die Mehrheit der jungen Erwachsenen wissen jedoch nicht, ob ihre Bildungsinstitutionen Richtlinien im Umgang mit KI implementiert haben. Jede und jeder vierte Studierende sagt, ihren Bildungsinstitutionen fehle es an Verordnungen. (tf)

 

Aufgezeichnet von Tamara Funck und Erdit Sadiki, Fotos: Erdit Sadiki und Grischa Schwank

Bild Legende:
abgelegt unter: ,