Universität Freiburg: Neues KI-Modell TabPFN ermöglicht schnellere und präzisere Vorhersagen auf kleinen Tabellendatensätzen - Frank Hutter (Professor für Maschinelles Lernen): „Viele Fachdisziplinen können von Methode profitieren“

Ein Team um Frank Hutter, Professor für Maschinelles Lernen an der Universität Freiburg, erleichtert und verbessert Vorhersage von Tabellendaten, vor allem bei kleinen Datensätzen mit weniger als 10.000 Datenpunkten - Das neue KI-Modell TabPFN wird vor seinem Einsatz auf synthetisch erzeugten Daten trainiert und lernt dadurch, mögliche kausale Zusammenhänge zu evaluieren und für Vorhersagen zu nutzen - Hutter: „Viele Fachdisziplinen können von dieser Methode profitieren und damit auch aus wenigen Daten wichtige Zusammenhänge schneller und zuverlässiger erkennen als bisher.“


Lücken in Datensätzen füllen oder Ausreißer erkennen – das kann der Machine Learning-Algorithmus TabPFN, den ein Team um Prof. Dr. Frank Hutter von der Universität Freiburg entwickelt hat. Diese Künstliche Intelligenz (KI) nutzt Lernmethoden, die von großen Sprachmodellen inspiriert sind. TabPFN lernt kausale Zusammenhänge aus synthetischen Daten und liegt dadurch mit seinen Vorhersagen häufiger richtig als bisher standardmäßig verwendete Algorithmen. Die Ergebnisse wurden in der Fachzeitschrift Nature veröffentlicht. Beteiligt war neben der Universität Freiburg das Universitätsklinikum Freiburg, die Charité – Universitätsmedizin Berlin, das Freiburger Startup PriorLabs sowie das ELLIS Institut Tübingen.

Datensätze, sei es zur Wirkung bestimmter Medikamente oder zu Teilchenbahnen in Beschleunigern am CERN, sind selten vollständig oder fehlerfrei. Deshalb besteht ein wichtiger Teil der wissenschaftlichen Datenanalyse daraus, Ausreißer als solche zu erkennen oder fehlende Datenpunkte durch sinnvolle Abschätzungen zu ergänzen. Bisherige Algorithmen wie XGBoost funktionieren gut bei großen Datensätzen, sind jedoch bei kleineren Datenmengen oft unzuverlässig.

Mit dem Modell TabPFN lösen Hutter und sein Team dieses Problem, indem sie den Algorithmus vor dessen Einsatz auf künstlich erstellten Datensätzen trainieren, die realen Szenarien nachempfunden sind. Die Wissenschaftler erzeugen dazu Datentabellen, in denen die Einträge der einzelnen Tabellenspalten kausal miteinander zusammenhängen. TabPFN wurde mit 100 Millionen solcher synthetischer Datensätze trainiert. Durch dieses Training lernt das Modell, verschiedene mögliche kausale Zusammenhänge zu evaluieren und für seine Vorhersagen zu nutzen.

Das Modell funktioniert insbesondere bei kleinen Tabellen mit weniger als 10.000 Zeilen, vielen Ausreißern oder einer großen Zahl fehlender Werte besser als andere Algorithmen. Zum Beispiel benötigt TabPFN nur 50 % der Datenmenge, um die gleiche Genauigkeit wie das bisher beste Modell zu erreichen. Zudem ist TabPFN im Umgang mit neuen Arten von Daten effizienter als bisherige Algorithmen. Statt bei jedem Datensatz einen neuen Lernprozess zu beginnen, kann das Modell auf ähnliche Datensätze angepasst werden. Dieser Vorgang ähnelt der Anpassung von Sprachmodellen mit offenen Gewichten wie das von Meta entwickelte Llama. Auch ermöglicht das Modell, aus einem Datensatz die Wahrscheinlichkeitsdichte abzuleiten und daraus wiederum neue Daten mit ähnlichen Eigenschaften zu erzeugen.

„Mit TabPFN verlässlich und schnell Vorhersagen aus Tabellendaten berechnen zu können, ist für viele Fachdisziplinen ein Gewinn – von der Biomedizin über die Wirtschaftswissenschaften bis hin zur Physik“, sagt Hutter. „TabPFN liefert schneller bessere Ergebnisse und ist durch seinen geringen Bedarf an Ressourcen und Daten ideal für kleine Unternehmen und Teams geeignet.“
In einem nächsten Schritt werden die Forschenden die KI weiterentwickeln, um auch bei größeren Datensätzen bestmögliche Vorhersagen machen zu können.

(Presseinfo: Albert-Ludwigs-Universität Freiburg, 09.01.2025)