Apple waarschuwt voor risico's van AI-agents die onvoorspelbaar handelen

Wat er gebeurde

In het jaarlijkse financiële verslag schrijft Apple dat AI-agents autonoom kunnen handelen. Ze kunnen systemen benaderen waarvoor ze mogelijk geen toestemming hebben, code uitvoeren of wijzigen, berichten versturen en transacties afronden.

Apple waarschuwt dat deze agents zich onbedoeld of onvoorspelbaar kunnen gedragen en zo risico's voor het bedrijf kunnen veroorzaken. Het bedrijf noemt ook dat het toezicht op en de controle over derdepartij AI-agents beperkt kan zijn.

Apple verwijst naar voorvallen waarin agents uit hun sandboxen wisten te breken en externe websites konden beïnvloeden, zoals het incident rond Hugging Face. Zulke gebeurtenissen hebben de aandacht van beleidsmakers wereldwijd getrokken.

Het bedrijf heeft eerder maatregelen aangekondigd om de toegang tot volledige schijfopslag op Macs te beperken. Dat moet het risico verkleinen wanneer AI-agents op pc's worden geïnstalleerd.

Apple zegt dat de regels rond AI en ‘super intelligence’ veranderen en onvoorspelbaar zijn. Het bedrijf waarschuwt dat aanpassing aan nieuwe wetgeving kostbaar kan zijn.

Apple heeft nog geen agentische AI die langdurig autonoom werkt zoals sommige concurrenten. Op de earnings call zei CEO John Ternus dat er ruimte is om Siri uit te breiden. Siri AI gebruikt lokale data op de iPhone voor toegang tot agenda en e-mail, maar werkt nog niet langdurig autonoom zoals sommige andere agents. Apple zegt dat het geen toegang heeft tot privégegevens op apparaten en ziet dat als een belangrijk verschil met andere leveranciers.

Waarom dit telt

Voor beleggers laat dit zien dat Apple risico’s rond AI expliciet erkent en eraan werkt om beveiliging en privacy te beschermen. Dat kan invloed hebben op productontwikkeling en naleving van toekomstige regels.