KI-Update Deep-Dive: Wie zuverlässig sind Benchmarks für LLMs?
ChatGPT schneidet im Jura-Examen besser ab als Menschen – ChatGPT ist dümmer als ein Grundschüler. Solche Meldungen findet man schon mal am gleichen Tag. Wie kann das sein? Der Grund für dieses sehr unterschiedliche Abschneiden der großen Sprachmodelle in standardisierten Tests liegt in der Art und Weise, wie das vermeintliche Wissen der KI gemessen wird.
Andrea Trinkwalder und Hartmut Gieselmann von der c‘t haben sich angeschaut, wie Benchmarks diese Leistung messen und vergleichen – und wie aussagegkräftig die Ergebnisse solcher Benchmarks sind.
heise.de/ki-update
https://www.heise.de/ct
https://heise.de/-9288453
https://www.heise.de/thema/Kuenstliche-Intelligenz
https://the-decoder.de/
https://www.heiseplus.de/podcast
Wie intelligent ist Künstliche Intelligenz eigentlich? Welche Folgen hat generative KI für unsere Arbeit, unsere Freizeit und die Gesellschaft? Im "KI-Update" von heise bringen wir Euch gemeinsam mit The Decoder werktäglich Updates zu den wichtigsten KI-Entwicklungen. Freitags beleuchten wir mit Experten die unterschiedlichen Aspekte der KI-Revolution.
Disclaimer: Die hier bereitgestellten Links führen zu externen Webseiten, die nicht unter unserer Kontrolle stehen. Für den Inhalt, die Datenschutzrichtlinien oder etwaige Änderungen dieser Seiten übernehmen wir keine Verantwortung. Die Verlinkung dient ausschließlich zur Information und stellt keine Werbung oder Empfehlung dar.
Möchtest Du mehr Meinungsmache auf Meinungsmonopol? Hilf uns mit einer kleinen Spende.
Podcast-Logos, -Cover und -Daten sind das Eigentum ihres jeweiligen Besitzers und implizieren keine Zugehörigkeit zu uns oder Unterstützung durch eine Podcast-Show oder -Episode, einen Podcast-Player oder einer anderen Plattform.
iTunes® und iTunes Logo® sind eine Marke von Apple Inc., eingetragen in den USA und anderen Ländern. Spotify und die Spotify-Logos sind Markenzeichen der Spotify-Group.
Sag uns deine Meinung!