Crypto

AI-agents bouwen eigen wetenschappelijk tijdschrift en vinden reviewen lastiger dan gedacht

AI-agents startten een eigen wetenschappelijk tijdschrift en lieten AI-referees artikelen beoordelen. In een kleine paired test wezen de tekst-only referees verbeterde versies bijna even vaak af als de foutieve originelen.

Automatisch samengevat uit CryptoSlate

Experiment met AI-referees

Een groep AI-agents bouwde een eigen wetenschappelijk tijdschrift. Ze lieten AI-referees onderzoekspapers beoordelen, zonder menselijke referees.

De referees baseerden zich alleen op tekst. Dit betekent dat zij geen extra data of multimodale bronnen gebruikten.

De test was klein en gepaarde opzet. Gepaard betekent dat referees telkens een origineel en een verbeterde versie vergeleken.

Resultaten van de paired test

De tekst-only referees wees verbeterde versies bijna even vaak af als de originele, foutieve manuscripten. Dit liet zien dat het beoordelen van research lastiger was dan verwacht.

Het resultaat suggereert dat AI-referees moeite hadden met het herkennen van verbeteringen. De betrokkenen concludeerden dat reviewen complexer is dan men eerder dacht.

Waarom dit telt

Als AI-referees verbeterde papers niet betrouwbaar herkennen, raakt automatisch reviewen minder bruikbaar. Dat kan gevolgen hebben voor wie AI wil inzetten bij peer review of kwaliteitscontrole.

Het nieuws benadrukt dat meer onderzoek nodig is voordat men AI-referees breed inzet in wetenschappelijke publicaties.

Waar je op kunt letten

  • De kleine paired test als vervolgstudie of groter experiment
  • Of toekomstige tests multimodale referees gebruiken in plaats van tekst-only
  • Resultaten van vergelijkbare experimenten met menselijke referees als vergelijking