Anthropic's nieuwe AI scoort hoog maar faalt bij 58% van de taken

Wat er gebeurde

Scale publiceerde op 12 november een leaderboard van de Remote Labor Index, kort RLI. Daarin staat Fable 5.2 bovenaan met 41,3% van de leveringen die menselijke beoordelaars als gelijk aan professioneel referentiewerk waardeerden.

Het op een na beste model op de lijst is Opus 5.5 met 21,25%. Anthropic meldde de Fable-score in een eigen bericht van 9 november. In dat bericht zegt Anthropic dat de score staat voor "High effort" en dat safeguards aan stonden.

De RLI is ontwikkeld door onderzoekers van het Center for AI Safety en Scale AI. De oorspronkelijke studie gebruikt een dataset met 240 projecten verdeeld over 23 freelancecategorieën. Elk project bevat een opdrachtomschrijving, de benodigde bestanden en een professioneel referentieproduct.

De projecten variëren van documenten tot audio, video, 3D-modellen en CAD-bestanden. Dat maakt zowel het produceren van bestanden als de kwaliteit van het eindproduct onderdeel van de test, naast het begrijpen van de opdracht.

Menselijke, getrainde reviewers vergelijken het AI-product met de opdracht en het referentiewerk. De einduitslag komt via onafhankelijke evaluaties en meerderheid van stemmen. Een project 'slaat' alleen als het AI-resultaat ten minste gelijkwaardig is aan het professionele referentiewerk. De RLI sluit werk uit dat klantinteractie, teamwork, fysiek werk of projecten met langere wachttijd vereist.

Waarom dit telt

De RLI geeft een strenge maatstaf voor wat een AI als een afgeronde, professionele opdracht levert. Voor beleggers betekent dit dat Fable 5.2 vooruitloopt binnen dit specifieke benchmarkkader, maar dat het scorebeeld niet direct iets zegt over inzetkosten, werkgelegenheid of hoeveel menselijke hulp nodig was.