Supermicro introduceert KV cache oplossing met IBM en NVIDIA
Supermicro heeft samen met IBM en NVIDIA een KV cache oplossing aangekondigd. Volgens de bedrijven moet die hogere inference‑prestaties en snellere reacties opleveren voor lange context AI‑workloads.
Wat er gebeurde
Supermicro (NASDAQ: SMCI) lanceert een KV cache opslagoplossing in samenwerking met IBM en NVIDIA. De oplossing combineert Supermicro Petascale all‑flash storage servers met AMD EPYC 9005 processors, IBM Storage Scale software en NVIDIA Dynamo inference software en Spectrum‑X Ethernet switches.
De partners zeggen dat de oplossing de tijd verkort voordat een AI‑model begint met antwoorden. Dit is vooral relevant voor agentic workflows en toepassingen met lange contexten. Door KV‑states persistent op te slaan, hoeven modellen eerder berekende contexten niet steeds opnieuw te rekenen.
Volgens de aankondiging verbetert dit de GPU‑utilisatie, de throughput en de schaalbaarheid van inference infrastructuur. De KV cache kan capaciteit buiten de lokale GPU‑geheugen uitbreiden en biedt hoge beschikbaarheid en non‑disruptive scaling van KV‑cache capaciteit.
IBM en NVIDIA stellen dat deze combinatie van hardware en software redundante berekeningen kan verminderen en de time‑to‑first‑token kan verbeteren. Resultaten van de prestaties zijn volgens de tekst nader uitgewerkt in een IBM Redbook.
Waarom dit telt
Voor beleggers in deze bedrijven betekent dit dat ze een gezamenlijke technische oplossing aanbieden die inspeelt op groeiende vraag naar efficiënte, schaalbare inference‑infrastructuur voor lange context AI.
Waar je op kunt letten
- Adoptie van KV cache door enterprise klanten
- Metingen van time‑to‑first‑token en GPU‑utilisatie in klantcases
- Opschaalbaarheid en beschikbaarheid van gedeelde KV‑opslag