Erprobe Methoden der künstlichen Intelligenz und des maschinellen Lernens in den Geisteswissenschaften!

am 21. / 22. September 2023 in der Bayerischen Akademie der Wissenschaften

ZEITPLANDonnerstag, 21. September

13:00 Uhr                                     Begrüßung

13:15 Uhr – 17:00 Uhr                 Hackathon  (Kaffeepause um 15:00 Uhr)

17 Uhr                                          Blitzumfrage: Erste Ergebnisse, Einschätzungen

17:30 Uhr – 18:30 Uhr                 Vortrag: “Lebt Sie schon?

                                                    Was die KI (noch) vom menschlichen Geist trennt.”

19 Uhr                                          Gemeinsames Abendessen (wer möchte)

Freitag, 22. September

9:00 Uhr – 12:15 Uhr                  Hackathon (Kaffeepause um 11 Uhr)

12:30 Uhr – 13:15 Uhr                 Fazit-Runde und Schlußdiskussion

Informationen zum genauen Ablauf siehe unten.

Die Schlussdiskussion (Fr. 12:30-13:15) und der Vortrag (Do 17:30) können auf zoom verfolgt werden: Video-Link

Gruppen

Diese Gruppen nehmen (bisher) am Hackathonteil.

Wer als einzelne/r zu einer der bestehenden Gruppen dazu stoßen möchte, schreibt einfach eine Mail an: digitalisierung@badw.de Alle Gruppen sind noch für weitere Mitstreiter offen!

Auch ein bis zwei weitere spontane Gruppenanmeldungen sind immer noch möglich!

Gruppe 1: “Schlagwortz’mfasser”

Wir möchten erproben, ob es allein mit dem “Weltwissen” der KI-Modelle
möglich ist, Schlagwortlisten hierarchisch zusammenzufassen. Die API von
ChatGPT hat anscheinend kein ausreichendes Eingabefenster (2-4.000
Schlagworte je als Wortgruppe).

Ein anderer Ansatz, der mit Beispielen trainiert werden müsste, wäre
ZeroShotClassfication (https://huggingface.co/tasks/zero-shot-classification)

Weitere Personen, Ideen oder Ansätze nehmen wir gern auf oder schließen
uns anderen an.

Gruppe 2: “Picdata”

Auf dem Hackathon möchten wir gerne eine Anwendung programmieren,
die auf kunsthistorischen Bildern mithilfe von Computervision ikonographische
Objekte und Personen erkennt und sie automatisiert mit Wikidata abgleicht.
Anhand dieses Abgleichs werden dann Tags vergeben, die – als allerhöchstes Ziel
des Projektes – in einem Wissens- oder Szenegraph organisiert werden.

KI-Methoden / Frameworks:
OpenCV
Tensorflow -> EfficientDet-Lite2 Object detection model
PyKEEN (Python KnowlEdge EmbeddiNgs)
Wikidata

Gruppe 3: “Genuswechsel”

Das (Fern-)ziel besteht darin, den Genuswechsel von
Substantiven vom Lat. zum Okz. zu simulieren. Eine eine komplette Simulation wäre für die beidenTage viel zu viel, aber einige Versuche in die Richtung können unternommen werden.. Insgesamt ist das Vorhaben etwas theoretischer und damit von grundsätzlicher Natur. Die wissenschaftliche Frage dahinter ist nämlich u.a., wie gut man solche Phänomene überhaupt simulieren kann oder mit welchen Modellen man hier arbeiten muss, um sinnvolle Ergebnisse
erzielen zu können.

KI-Methoden / Frameworks:
PyTorch
sciki-learn

Gruppe 4: “SemasiLink” (Semasiologische Verknüpfung von Wörterbüchern)

Für das Pfälzische Wörterbuch (PfWB) liegen Bedeutungen und
zugehörige, manuell zugeordnete Sachgruppen vor, wohingegen im Fränkischen
Wörterbuch (WBF) keine Sachgruppen enthalten sind. Auf Basis der Angaben im PfWB
sollen die Bedeutungen des WBF um Sachgruppen erweitert werden. Anschließend
wird verglichen, wie sich das KI-Ergebnis schlägt im Vergleich zu einer früher
durchgeführten Anreicherung mithilfe der Levenshtein-Distanz, die im Rahmen
einer BA-Arbeit evaluiert wurde, sowie zur manuellen Dateneingabe durch die
Wörterbuchredaktion. Erprobt wird es an der Lemmastrecke F.

KI-Methoden / Frameworks:
ChatGPT

Gruppe 5: “CoCoCo”

Eine Konkordanz erstellen zwischen den Texten des Corpus Corporum
https://mlat.uzh.ch/browser und den Werkeinträgen der Geschichtsquellen der
Bayerischen Akademie der Wissenschaften https://geschichtsquellen.de.
Herangezogen werden dafür versuchsweise GPT 4, dann, falls nötig,
vergleichsweise hausbackenere algorithmische Methoden.

Gruppe 6: “SacredScript Restore” –
Artifact-Free Segmentation and Restoration with Stable Diffusion

With this project, we would try to restore the quality of degraded art completely autonomously. Using a U-Net-based semantic segmentation model, we would detect the location and types of defects in the given painting. Based on the type of defect, we would generate text prompts for a latent diffusion model to impaint in the image to fix those defects and restore the image to its original state.
Given the precision of the segmentation maps and the high fidelity and versatility of the Stable Diffusion model, this architecture is expected to be more accurate and broader in scope compared to the previous GAN-based approaches.

KI-Methoden / Frameworks:

Pytorch + OpenCV
U-Net (Autoencoders for semantic segmentation)
Stable Diffusion
Potentially NLTK for the text prompts

Über den Hackathon

Künstliche Intelligenz ist eine Technologie, die menschliches Denken in bestimmten Bereichen erstaunlich gut imitieren kann. Damit ist diese Technologie aber gerade für die Geisteswissenschaften, die sich ja schon per Definition mit dem Studium menschlicher Geistesprodukte (Kunst, Kultur, Sprache …) befassen, von größtem Interesse.

Auch sind KI-Werkzeuge mittlerweile breit verfügbar und viele davon ohne technisches Vorwissen einsetzbar. Aber was genau kann man mit den neuen Werkzeugen anfangen? Für welche Aufgaben eignen sie sich? Woran scheitern sie? Wie muss man sie verwenden, um sie in der geisteswissenschaftlichen Forschung gewinnbringend einzusetzen? Weiter unten gibt es eine Liste mit Beispiel-Fragestellungen. (Weitere Vorschläge werden gerne entgegengenommen.)

Fragen wie diesen, wollen wir auf dem .dhmuc KI-Hackathon nachgehen, indem wir den Einsatz von KI-Technologien für die geistes- und kulturwissenschaftliche Forschung anhand konkreter Fragestellungen einfach ausprobieren und die damit einhergehenden Möglichkeiten und Grenzen diskutieren.

Format und ABLAUF

Der Hackathon findet an zwei Tagen (anreisefreundlich ein Nachmittag und ein Vormittag) statt. An beiden Tagen gibt es eine mehrstündige Sitzung in den in Kleingruppen (2-6 Leute) “gehackt”, d.h. der Einsatz irgend einer KI an einem wissenschaftlichen (oder hilfswissenschaftlichen) Problem. Am Ende tragen wir unsere Ergebnisse und Erfahrungen zusammen und diskutieren darüber, ob und welche Einsatzszenarien sich für KI-Technologien in den Geisteswissenschaften daraus ergeben.

Das Ganze ist eingebettet in ein Rahmenprogramm mit netten Grußworten, Kaffeepausen, gemeinsamen Abendessen (wer will) und gelehrtem Abendvortrag!

Wer kann mitmachen und WIE?

Mitmachen können Gruppen oder einzelne Personen, die sich einer der bestehenden Gruppen anschließen möchten. Die Veranstaltung steht allen offen, die beruflich, in der Forschung oder im Studium mit (geistes-)wissenschaftlichen Daten oder Problemen umgehen. Eine hinreichende digitale Grundkompetenz zur Bedienung der KI-Dienste oder Frameworks, die Ihr ausprobieren möchtet, wird natürlich vorausgesetzt.

Gruppen, die teilnehmen möchten, sollten sich die notwendigen Ressourcen für Ihr Projekt im Vorfeld selbst organisieren, also z.B. Zugänge zu Cloud-Diensten (wie Chat-GPT, Bard, Midjourney) oder Installation von Software wie Stable Diffusion, PyTorch etc. ebenso wie benötigte Geräte (Laptops). Unten gibt es eine kleine Liste mit öffentlich verfügbaren AIs.

1. Der Name Eurer Gruppe
2. Die Namen der Leute, die zur Gruppe gehören und kurz wer ihr seid und an welcher Einrichtung oder Firma ihr tätig seid. (z.B. “Studentin der Romanistik im 5. Semster an der Uni Bayreuth” oder “Privatdozent für Kunstgeschichte an der LMU”)
3. Das Thema bzw. das Problem, an dem ihr auf dem Hackaton arbeiten wollt, ggf. auch von welcher Arbeitshypothese Ihr ausgeht.
4. Welche KI-Methoden oder Frameworks ihr dafür erproben wollt.
5. Ob Eure Gruppe offen für weitere Teilnehmer/innen ist, die ihr unter den Interessenten der zweiten, individuellen Anmeldungsrunde (siehe unten) selbst auswählen dürft.

Die Veranstaltung findet vor Ort in der Bayerischen Akademie der Wissenschaften, Alfons-Goppel-Str. 11, 80539 München statt. Sollte der dringende Wunsch bestehen, können wir für einzelne Gruppen aber auch eine “Remote”-Teilnahme organisieren. Sprecht uns einfach an.

Reisekostenzuschuss für Student/innen und DoKTORAND/INNEN

Studentinnen und Studenten und Doktorandinnen und Doktoranden, sowie alle Wissenschaftlerinnen und Wissenschaftler, die von außerhalb kommen, können einen Reisekostenzuschuss beantragen. Schreibt es bitte mit in die EMail, wenn Ihr einen Reisekostenzuschuss beantragen möchten.

Ansprechpartner

Wer Fragen zu dem Hackathon hat, wendet sich bitte an: Eckhart Arnold (arnold@badw.de oder +49 89 23031 1315) vom DH-Referat der Bayerischen Akademie der Wissenscharften.

 

 

Themenideen

Zur Anregung hier noch eine kleine Liste von Ideen zum Ausprobieren:

A) Problemorientiert

Sprachwissenschaften:

• Einsatz von Sprach-KIs für die Zuordnung von (Lemma-)Wörtern innerhalb eines Text-Exzerpts zu Bedeutungsgruppen.
• Einsatz von Sprach-KIs für die Unterscheidung von Homonymen. (Verbesserung der DWDS-Wortprofile)

Kunstgeschichte:

• Einsatz von KI zur Bildbeschreibung, Stilbestimmung, Klassifikation (Bildgeneratoren rückwärts)
• Einsatz von KI zur Rekonstruktion schlechterhaltener oder nachgedunkelter Bilder, Fresken etc.

Philosophie:

• Welche kognitiven Leistungen können Sprach- oder Bild-KIs erbringen, welche nicht.
• Kann man zeigen, dass diese oder jene KI bestimmte kognitive Leistungen prinzipbedingt nicht erbringen kann.
• Kann man die intellektuellen Grenzen gegenwärtiger KIs, z.B. ChaptGPT nach irgendeinem Maßstab (z.B. „Ladder of Causation“?) kategorisieren (was auch eine Forschungsrichtung für die künftige KI-Forschung vorgeben könnte…)

Hilfswissenschaftlich:

• Bücher oder Aufsätze von der KI ausformulieren oder sprachlich lektorieren lassen. (Und erst recht lästige Gebrauchstexte wie Gutachten, Empfehlungsschreiben etc.)
• Kann eine KI zu Stichworten, sinnvolle Skizzen oder grafische Visualisierungen, z.B. für eine Präsentation liefern. Wie?
• Literaturrecherche mit Hilfe der KI. Geht es besser als mit der klassischen Suchmaschine?

(Könnte die KI z.B. inhaltlich passende, aber falsch verschlagwortete Werke finden?)

(Könnte die KI es erleichtern passende Literaturstellen aus Nachbardisziplinen, in denen man sich selbst nicht so gut auskennt, ausfindig zu machen.)      

B) Methodenorientiert

Text => Bild

• Jenseits vom Fun-Faktor: Welche wissenschaftlichen Anwendungsmöglichkeiten gibt es für Text-Bildgeneratoren?

Text => Ton

• Vorlesen von Texten mit semantisch sinnvoller Sprachmelodie

Text => Programmcode

• Erstellung von „Glue-Code“ mittels KI.
• Immer wiederkehrende und einfache DH-Anwendungen bauen lassen: Erstelle mir eine Online-Datenbank mit diesen Tabellen/Feldern für Forschungsprojekt X/Y. Beispiel: Mehrbenutzer Bibliografie-DB
• Kann man die KI mit eigenem Programmcode oder Schablonen füttern: Erstelle mir eine Anwendung dieser Art, aber mit folgenden Anpassungen.

Öffentlich verfügbare KI-Systeme

Hier eine Liste mehr oder weniger frei verfügbarer KI-System. (Danke an Viola Beugel für’s Zusammenstellen!)

AI	Tätigkeit	Info
Gamma.app	Erstellen von Präsentationen	Kostenfrei
Chatshape.com	–          Infos über neue Algorithmen  –          Hilfe für Programmierung	Kostenfreie Version mit vielen Einschränkungen möglich (z.B. nur 2 Chatbot Generations und 20.000 Zeichen) Kostenpflichtige Version 19$/Monat für 10 Chatbot Generations und 500.000 Zeichen
Numerous.ai	–          Hilft bei Excel und Google Sheets –          Schreibt, schreibt um, formatiert, bereinigt Daten und klassifiziert Zellen	Kostenfreie Version mit Einschränkungen möglich (30 Formeln). Kostenpflichtige 10$/Monat für 500 Formeln
Stylized.ai	–          Zeichnen von Bildern und deren Bearbeitung	Kostenfreie Version möglich. Pro Version kostenpflichtig
Browse.ai	–          Für das leichtere Auswerten von mehreren Webseiten	Kostenpflichtig für 19$/Monat
Rationale.jina.ai	–          Entscheidungshilfeassistent	Kostenfrei
Perplexity.ai	–          Google + ChatGPT –          Verbesserte Suchergebnisse	Kostenfrei; Ergebnisse und weitere Suchvorschläge ohne Anmeldung
Kickresume.com	–          Schreibhilfe für z.B. Bewerbungen, etc.	Kostenfrei aber Auf Bewerbung gerichtet.
Bard.google.com	–          ChatGPT nur mehr Funktionen –          Erklärt Code einer Webseite	Kostenfrei aber Anmeldung mit GoogleKonto nötig, aus Deutschland mglw. Nur über VPN erreichbar.
Bing (+ChatGPT)	–          Verbesserte Ergebnisse im vgl. zu reinem ChatGPT	Private Mailadresse nötig
Easy diffusion UI	Die einfachste Art den bekannten Text zu Bild-Generator zu installieren. (Fette Grafikkarte ist von Vorteil!)	github.com/easydiffusion/easydiffusion
Consensus.app	–          Suchhilfe für wissenschaftliche Artikel („Kombination“ aus GoogleSchoolar und ChatGPT)	Kostenfrei