Why LLM Leaderboards Create Bad Incentives and How to Fix Them

Beschreibung

Akademischer Vortrag an der ETH Zurich, der analysiert, wie Leaderboards in der LLM-Entwicklung zu 'benchmaxxing' anreizen, und prinzipielle, spieltheoretische Lösungen vorschlägt, um das Benchmark-Design für Forschende und Praktiker zu verbessern.