MACaQ introduceert snelle, modelonafhankelijke quantization voor netwerken

Wat er gebeurde

Een paper over MACaQ is gepubliceerd op arXiv door Lorenz K. Muller, Philippe Bich, Chiara Boretti, Hyun-Min Chang en Jiawei Zhuang. De studie beschrijft een post-training quantizationmethode voor lage-precisie gewichten en activaties.

MACaQ werkt als MXFP4 W4A4 post-training quantization en werkt onafhankelijk per lineaire laag. De methode gebruikt per-channel scaling en block-Hadamard transforms om activaties online te verwerken. Inverse transforms worden in de gewichten opgenomen.

Door deze opzet ontstaan geen afhankelijkheden tussen lagen. Dat maakt een eenvoudige streaming implementatie mogelijk waarbij slechts één laag tegelijk in geheugen hoeft te staan.

Om de quantizationnauwkeurigheid te verbeteren introduceert MACaQ Flip-Refinement. Dat is een Hessian-aware coordinate-descent procedure die FP4-codes bijstelt naar aangrenzende vertegenwoordigde waarden.

Op een Qwen3-32B model in vLLM zorgt MACaQ ondanks de extra activatietransforms voor slechts 2,3% end-to-end overhead vergeleken met pure MXFP4. De auteurs melden daarnaast aanzienlijke verbeteringen ten opzichte van bestaande methoden.

De implementatie staat op GitHub en ondersteunt meerdere backends, waaronder llama.cpp, vLLM, Diffusers en PyTorch. Ook is er MACaQ-R om bestaande GGUF-modellen te verfijnen en aan specifieke workloads aan te passen, met compatibiliteit voor standaard llama.cpp.

Waarom dit telt

Voor beleggers in AI-technologie betekent dit dat er een nieuwe, efficiënte tool beschikbaar komt om grote modellen goedkoper en met weinig extra resources te draaien, zonder dat het modelontwerp aangepast hoeft te worden.