LitPivot: Entwicklung von Forschungsideen durch dynamische Kontextualisierung

LitPivot: Entwicklung von Forschungsideen durch dynamische Kontextualisierung

Im Bereich der akademischen und wissenschaftlichen Forschung verläuft die Entwicklung einer Forschungsidee selten linear. Oft wird sie durch den Moment geprägt, in dem ein Forscher auf einen neuen Artikel stößt, der seine Annahmen in Frage stellt oder ein ungelöstes Problem aufzeigt. Dieser Prozess, als „durch Literatur ausgelöster Wendepunkt“ bezeichnet, stellt einen entscheidenden Wendepunkt dar, an dem sich die Forschungsrichtung aufgrund der Auseinandersetzung mit früheren Arbeiten ändert. Die gleichzeitige Bewältigung der Aufgaben, eine Idee zu entwickeln und sie zugleich mit der bestehenden Literatur abzugleichen, ist jedoch eine komplexe kognitive Aufgabe.

Um diese Herausforderung zu bewältigen, entwickelten Forscher bei Ai2 in Zusammenarbeit mit der University of Pennsylvania LitPivot. Dieses System soll Forschern dabei helfen, solche Wendepunkte zu meistern, indem es Literatur nach bestimmten Teilen eines Forschungsvorhabens organisiert, kritische Anmerkungen mit Auszügen unterstützt und Änderungsvorschläge macht. Wie im Hugging Face Blog erwähnt, ist LitPivot in erster Linie für die Frühphase der Ideenentwicklung vorgesehen, obwohl der zugrunde liegende Arbeitsablauf potenziell auch auf längere Schreibaufgaben wie das Erstellen des Einleitungsabschnitts eines Artikels ausgedehnt werden könnte.

Die Herausforderung durch durch Literatur ausgelöste Wendepunkte

Die Schwierigkeit bei solchen Wendepunkten ergibt sich aus der Notwendigkeit, ständig neue Ideen mit dem etablierten Wissen in Einklang zu bringen. In einer Analyse von Sitzungsnotizen von vier abgeschlossenen Forschungsprojekten im Bereich Informatik identifizierten Forscher 21 durch Literatur ausgelöste Wendepunkte. Diese Änderungen fielen im Allgemeinen in zwei Kategorien: Die Abgrenzung einer Idee von bestehender Arbeit, um Neuheit zu schaffen, oder die Anpassung einer Idee an bestehende Arbeit, um darauf aufzubauen.

Die Bewältigung dieser Veränderungen ist nicht einfach. In einer explorativen Studie mit fünf Forschern hatten die Teilnehmer Schwierigkeiten, Vorschläge zu entwickeln und diese gleichzeitig unter kritischer Berücksichtigung der Literatur mithilfe von Standard-Texteditoren und Suchwerkzeugen zu bewerten. Wenn eine Veröffentlichung die Neuheit einer Idee in Frage stellte, wünschten sich die Forscher konkrete Anregungen zur Überarbeitung, gestützt auf frühere Arbeiten. Diese Erkenntnisse beeinflussten direkt die Gestaltung von LitPivot, das kritische Beurteilungen, die auf der Literatur beruhen, mit spezifischen Vorschlägen zur Überarbeitung des ausgewählten Teils einer Idee verbindet.

Wie LitPivot funktioniert

LitPivot arbeitet dadurch, dass eine dargelegte Idee in verschiedene Aspekte aufgeteilt wird: das Problem, der vorgeschlagene Beitrag und der Bewertungsplan. Dieser Ansatz, als „Aspekthervorhebung“ bezeichnet, ermöglicht es Forschern, mit ihren Entwürfen in großer Detailgenauigkeit zu arbeiten.

Wenn ein Forscher einen kurzen Vorschlag im LitPivot-Editor schreibt und die Aspekthervorhebung aktiviert, teilt das System die Idee in Abschnitte auf. Um einen vorgeschlagenen Aspekt zu überprüfen, klickt der Forscher auf diesen Abschnitt im Entwurf. Ein benachbartes Panel gruppiert anschließend verwandte Veröffentlichungen nach dem ausgewählten Aspekt. Wenn beispielsweise der Bewertungsaspekt ausgewählt ist, gruppiert das System die Veröffentlichungen nach den von ihnen verwendeten Bewertungsmethoden.

Der Arbeitsablauf umfasst drei wesentliche Schritte:

1. Auswahl: Der Forscher wählt Veröffentlichungen aus den gruppierten Ergebnissen aus.
2. Bewertung: Der Forscher bittet um eine Bewertung des ausgewählten Entwurfsabschnitts.
3. Überarbeitung: Das System prüft einen vorgeschlagenen Überarbeitungsvorschlag zusammen mit Auszügen, die die Kritik stützen.

Wichtig ist, dass LitPivot eine Forschungsidee in ihr Problem, ihren vorgeschlagenen Beitrag und ihren Bewertungsplan aufteilt, wobei jeder Aspekt seine eigene Liste sowie eine Reihenfolge der Relevanz der zugehörigen Literatur besitzt. Diese Trennung ermöglicht es dem System, die gefundenen Veröffentlichungen um den konkreten zu bearbeitenden Aspekt herum zu gruppieren, sodass der Forscher entscheiden kann, welche Veröffentlichungen das System zur Bewertung des Entwurfs verwenden soll.

Das System wendet eine spezifische Logik auf jeden Aspekt an:

• Problemstellung: LitPivot sucht nach Beweisen dafür, dass das Problem existiert, sowie nach Gründen dafür, warum es wichtig ist.
• Vorgeschlagener Beitrag: Es vergleicht, was in ausgewählten Arbeiten bereits behandelt wurde, mit den darin beschriebenen Einschränkungen und zukünftigen Aufgaben, um verbleibende Lücken zu erkennen.
• Bewertungsplan: Es prüft, ob die vorgeschlagenen Tests die Forschungsfrage adressieren und wie ähnliche Arbeiten bewertet wurden.

Anschließend schlägt das System eine Überarbeitung vor, bei der unterstützende Zitate beigefügt werden. Da eine Änderung eines Aspekts einer Idee dazu führen kann, dass ein anderer Aspekt veraltet wird, markiert LitPivot Abschnitte, die überarbeitet werden müssen – beispielsweise einen Bewertungsplan, der einen überarbeiteten Beitrag nicht mehr angemessen bewertet. Forscher behalten die Kontrolle und können Vorschläge akzeptieren, bearbeiten oder ablehnen sowie neue Arbeiten anfordern oder die Literaturrangliste aktualisieren, je nachdem wie sich ihr Vorschlag entwickelt.

Empirische Erkenntnisse und Nutzerstudie

Die Wirksamkeit von LitPivot wurde in einer Labormessung mit 17 Forschern getestet. Jeder Teilnehmer entwickelte eine zugewiesene Idee mithilfe von LitPivot sowie eine weitere mit einem Basistool, das aus einem Texteditor und einem KI-Chattool bestand. Beide Bedingungen nutzten dieselbe Sammlung von Arbeiten.

Zwei Fachleute, die nicht wussten, welches System verwendet worden war, bewerteten die entstandenen Vorschläge anhand eines einzigen Kriteriums: Inwieweit sie relevante Literatur nutzten, um die Idee zu untermauern und zu rechtfertigen. Mit LitPivot entwickelte Vorschläge erhielten höhere Bewertungen. Zudem berichteten die Teilnehmer über ein besseres Verständnis der zugehörigen Literatur sowie über eine größere Selbstbeurteilung hinsichtlich der Neuheit und Nützlichkeit ihrer Ideen beim Einsatz von LitPivot im Vergleich zur Baseline.

Die Fachleute prüften außerdem die Ideen der Teilnehmer und bewerteten die mit LitPivot überarbeiteten Ideen als deutlich besser in der relevanten Literatur verankert.

Ein illustratives Beispiel aus der Studie betraf einen Teilnehmer, der ursprünglich vorschlug, konsistente, faktengerechte synthetische medizinische Notizen zu erstellen. LitPivot erkannte die Konsistenz bei mehreren Krankenhausbesuchen als möglichen Mangel in der ausgewählten Literatur. Der Teilnehmer überprüfte Abstracts und entfernte Arbeiten zu Notizen aus Einzelbesuchen. Nach einer weiteren Bewertung beschränkte er den Vorschlag auf die Erkennung von Widersprüchen in Notizen aus mehreren Besuchen. Dieses Beispiel zeigt, wie die Überarbeitung einer Idee und die Auswahl der zur Beurteilung verwendeten Literatur sich gegenseitig beeinflussen können.

In einer Nachfolgestudie nutzten fünf Forscher LitPivot in ihren eigenen laufenden Projekten während Sessions von 30 Minuten. Die Teilnehmer setzten das Tool in mehreren Projektphasen ein, nicht nur zu Beginn. Zwei nutzten es, um neue Ideen anhand der Literatur zu prüfen, während drei es verwendeten, um die Formulierung bereits weiterentwickelter Ideen zu verfeinern. Ein Forscher betonte, wie das Erkennen paralleler Konzepte aus verschiedenen Bereichen ihnen half, ihren Beitrag neu zu formulieren. Diese Studien deuten darauf hin, dass LitPivot sowohl die frühe Erkundung als auch die Verfeinerung einer bestehenden Forschungsrichtung unterstützen kann.

Unterstützung wissenschaftlicher Entdeckungen

LitPivot ist Teil eines umfassenderen Ökosystems an KI-Tools, die bei Ai2 entwickelt wurden, um Forscher zu unterstützen. Neben Tools wie Asta Paper Finder, Theorizer, AutoDiscovery, HARPA, Scideator und IdeaSynth zielt LitPivot darauf ab, Wissenschaftlern dabei zu helfen, überprüfbare Ideen zu formulieren und die dahinterliegenden Beweise zu untersuchen.

Eine kürzlich veröffentlichte Studie mit dem Titel „Old Ideas, Novel Problems“ untersuchte die Grenzen der automatisierten Bewertung der Neuheit und zeigte, wie kleine Anpassungen in den Anfragen das Urteil eines KI-Bewerters zu denselben Ideen verändern können. LitPivot erweitert diese Arbeit, indem es die Auswahl der relevanten Literatur zu einem integralen Bestandteil des Überarbeitungsprozesses macht. Forscher können je nach Entwicklung ihrer Idee ändern, welche Arbeiten sie zur Beurteilung eines Vorschlags nutzen, und anschließend Kritiken sowie unterstützende Auszüge nutzen, um zu entscheiden, wie dieser überarbeitet werden soll.

Das System verbindet diese Entscheidungen im Hinblick auf das Problem, den Beitrag sowie den Bewertungsplan des Vorschlags. Wie in den Quellenmaterialien erwähnt, besteht die Hoffnung, dass Erkenntnisse aus LitPivot Wissenschaftlern dabei helfen, auf bestehendes Wissen aufzubauen und frühe Ideen in neue Beiträge für ihre Fachgebiete umzuwandeln.

LitPivot soll auf der UIST 2026 in Detroit vorgestellt werden, wo weitere Details zu seiner Implementierung und Wirkung erörtert werden.

Fazit

LitPivot stellt einen bedeutenden Fortschritt dar bei der Art und Weise, wie Forscher mit dem wissenschaftlichen Literaturkontext umgehen. Durch die dynamische Kontextualisierung von Forschungsideen mittels facetbasierten Organisierungsansätzen sowie literaturgestützter Kritik bewältigt das System die inhärente Schwierigkeit des „Pivoting“. Fachleute bewerteten die Vorschläge als besser in der relevanten Literatur verankert. Eine höhere Neuartigkeit und Nützlichkeit berichteten die Teilnehmenden selbst. Da künstliche Intelligenz weiterentwickelt wird, bieten Werkzeuge wie LitPivot einen vielversprechenden Weg, die menschliche Kreativität zu stärken, indem der strenge Prozess wissenschaftlicher Entdeckung zugänglicher und effektiver gemacht wird.

Quellen

• LitPivot: Entwicklung von Forschungsideen durch dynamische Kontextualisierung im wissenschaftlichen Literaturkontext