Anthropic's AI-verificatietool FlashProve kost veel extra GPU-werk
Anthropic heeft FlashProve gepresenteerd, een methode om te verifiëren dat een AI-model echt de berekening heeft gedaan. De methode werkt, maar kost veel meer rekenwerk dan normale inference.
Wat er gebeurde
Anthropic publiceerde op 2 november de FlashProve-research release. FlashProve laat een provider een cryptografische commitment publiceren aan modelgewichten en daarna bewijzen dat die gewichten voor een gegeven invoer tot een bepaald antwoord leiden. De bewijzen verbergen de gewichten, maar tonen dat de berekening door het vastgelegde model is uitgevoerd.
De demonstratie gebruikte een publieke 4-bit conversie van Meta’s Llama 4 Maverick met 400 miljard parameters. In het experiment draaide het bewijs op één H100 GPU. Een gebruiker kan het bewijs verifiëren op een gewone CPU. Het bewijsbestand is ongeveer 19 MB. Verificatie duurt ongeveer 17 seconden op 24 CPU-threads of 21 seconden op één thread.
De onderzoekers vergelijken het benodigde GPU-werk voor het maken van bewijzen met gewone inference op diezelfde modelversie. In hun benchmark kost het produceren van een bewijs ruwweg 70 tot 95 keer zoveel GPU-tijd als normale inference. Die verhouding hangt samen met de gebruikte implementaties in het experiment.
FlashProve controleert exacte, integer-geconverteerde greedy-berekeningen binnen een context van maximaal 1.024 tokens. Het systeem controleert de berekening achter het antwoord, maar zegt niets over of het antwoord feitelijk juist of veilig is. Ook kan FlashProve achteraf bewijzen genereren voor reeds gegeven transcripties, maar dat geeft de gebruiker pas later zekerheid.
De release is een onderzoeksprototype en geen uitgerolde verificatiefunctie voor klanten van Claude. De onderzoekers bieden formele veiligheidsverklaringen in Lean, maar de snelle uitvoerbare code is niet formeel gelijk verklaard aan dat protocol. Bovendien is zero-knowledge nog niet formeel bewezen voor gebatchte verzoeken en het repository wordt als een unmaintained research artifact aangeduid.
Waarom dit telt
Voor beleggers in AI-diensten toont dit aan dat technische methoden bestaan om te verifiëren dat een geleverd model daadwerkelijk heeft berekend wat het beweert. Tegelijk maakt de hoge rekenkost en de openstaande technische vragen het onwaarschijnlijk dat dit snel routinematig wordt toegepast.
Waar je op kunt letten
- Of aanbieders een commitment aan modelgewichten gaan publiceren.
- Of ontwikkelaars de GPU-kosten en contextlimiet terugbrengen.
- Of Anthropic of anderen FlashProve omzetten van prototype naar product.