Modellen & evaluatie
Een lokaal model breekt niet op kwantisatie, maar op de horizon
Een gekwantiseerd model haalt 86% op losse tool-aanroepen; apart onderzoek naar 16 lokale modellen vindt de klap pas bij taken met meerdere stappen.
Een eerder stuk hier zocht uit wat voor model er op een 16GB-GPU past, en vond drie onafhankelijke methodes die allemaal op hetzelfde antwoord uitkwamen: 9–14 miljard parameters bij een Q4-kwantisatie, bepaald door geheugenbandbreedte en niet door VRAM-capaciteit. Dat stuk sloot zelf af met de vraag die het niet kon beantwoorden: al die metingen gingen over losse generatiesnelheid bij een vaste prompt, niet over een agentische taak met toolgebruik en meerdere stappen — precies het soort werk waar deze site zelf over gaat.
Twee bronnen die sindsdien zijn verschenen, beantwoorden die vraag samen — niet door hetzelfde te meten, maar door elkaars blinde vlek te dekken.
Kwantisatie tot 4 bit houdt bij losse tool-aanroepen goed stand; wat een lokaal model breekt, is niet de bitbreedte van de gewichten maar het aantal stappen dat een plan zonder correctie moet volhouden.
Wat de nieuwe edge-benchmark meet, en wat niet
Tot voor kort werd een lokale GPU vooral op tokens per seconde beoordeeld — de vraag die het vorige stuk hier onderzocht. Op 9 juli 2026 publiceerde MLCommons de oproep voor een nieuwe benchmark binnen MLPerf Inference v6.1, en de aanleiding staat er met zoveel woorden: “The shift from single-shot text generation to multi-turn agentic workloads is one of the most consequential trends in applied AI.” Bestaande edge-benchmarks maten doorvoer op een vast geheugenbudget; deze meet iets anders, expliciet voor “a single small accelerator (with a limited amount of memory)” in plaats van een datacenter met veel gelijktijdige gebruikers.
Het referentie-model is Qwen3.6-27B, “served as a Q4_K_M GGUF” — 4-bit kwantisatie, ruwweg een kwart van het geheugenbeslag van de volledige precisie. De nauwkeurigheidstoets leunt op de Berkeley Function Calling Leaderboard v4: een reeks die sinds versie 1 evolueerde van losse functieaanroepen via multi-turn-evaluatie (v3) naar drie nieuwe agentische onderdelen in v4 — webzoeken, geheugenbeheer en gevoeligheid voor het uitvoerformaat. MLPerf's edge-benchmark gebruikt daar bewust maar één deel van: de single-turn-poort, met een referentiescore van 86,23% en een pass-drempel van “≥ 83.64%”. Niet het multi-turn- of agentische deel van BFCL v4 — het losse, eenmalige tool-aanroepje.
Dat is de eerste helft van het antwoord: bij 4 bit per gewicht, op een model van 27 miljard parameters, blijft de nauwkeurigheid op een losse tool-aanroep hoog. Wat die score niet zegt, is wat er gebeurt zodra die aanroep de eerste in een reeks is.
De ladder waar de edge-benchmark niet over gaat
Die tweede helft komt uit een andere hoek. AgentFloor (Karmakar & Chatterjee, mei 2026) zet zestien open-gewicht-modellen — van 0,27B tot 32B, bediend via Ollama — en GPT-5 op dezelfde zes taaktrappen, elk met een oplopend aantal tussenstappen: geen tool, één tool, twee tools na elkaar, vertakken op een tussenresultaat, meerdere bronnen combineren met tegenstrijdigheden erin, en tot slot “long-horizon planning under persistent constraints” — een plan dat acht tot twaalf toolaanroepen moet volhouden waarbij elke stap een eerder vastgestelde voorwaarde in stand moet houden.
Op de eerste twee trappen doet gemma4:26b het goed — 100% zonder tool, 96% bij één tool, tegenover 80% en 98% voor GPT-5. Bij twee tools na elkaar zakt het naar 72% (GPT-5: 82%). Bij vertakken op een tussenresultaat draaien de rollen om: 59% voor gemma4:26b tegen 51% voor GPT-5. Bij de zwaarste trap zijn beide zwak, maar gemma4:26b het zwakst: 0%, tegenover 10% voor GPT-5.
Het cijfer dat GPT-5 nominaal overtreft, houdt geen stand
Niet elk open-gewicht-model in AgentFloor zakt op de zwaarste trap naar 0%. Het model met de hoogste score dáár is een ander model uit de set: “The highest open-weight cell on this tier is ministral-3:8b at 16% (CI overlapping GPT-5's), but it does not Holm-pass non-inferiority at any margin in our sweep.” Met andere woorden: het puntgetal ligt hoger dan GPT-5's 10%, maar de onzekerheidsmarges overlappen, en na correctie voor de vele vergelijkingen in de tabel is dat verschil niet aan te tonen. Dit stuk gebruikt daarom gemma4:26b als hoofdvoorbeeld — het model dat over de hele taakset het dichtst bij GPT-5 komt — en niet het model met het hoogste losse cijfer op één trap.
Vanaf hier: mijn interpretatie
Alles hierboven is terug te lezen in de drie bronnen onderaan. Wat nu volgt staat daar niet in: het is de gevolgtrekking die ik eruit trek voor wie een lokaal model als agent-backend inzet in plaats van als chatmodel. Neem het als voorstel, niet als bevinding.
Waarom het aantal stappen zwaarder weegt dan de bits
Geen van beide bronnen meet precies wat de ander mist — AgentFloor noemt geen kwantisatie, MLPerf's benchmark toetst geen meerstaps-plan — maar de sterkste aanwijzing zit niet in de vergelijking tússen de twee bronnen. Ze zit binnen AgentFloor zelf. Dezelfde modellen, in dezelfde bediening via Ollama, scoren op de eenvoudige trappen A0 en A tussen de 84% en 100%. Diezelfde modellen zakken op trap E naar 0–16%. Wat er ook aan kwantisatie onder die Ollama-bediening zit, het is bij trap A kennelijk geen obstakel — anders zou trap A ook laag scoren. De as die tussen A en E daadwerkelijk verandert, is niet de precisie van de gewichten maar het aantal stappen dat het model zonder correctie moet volhouden.
MLPerf's cijfer bevestigt dat vanuit een andere hoek: bij expliciet gecontroleerde 4-bit-kwantisatie, op een enkele tool-aanroep, blijft de nauwkeurigheid ruim boven de drempel. Twee onafhankelijke metingen, met verschillende modellen en een andere methode, wijzen dezelfde kant op: kwantisatie tot 4 bit is niet waar het misgaat.
Wat er wél gebeurt zodra een taak langer wordt, is te illustreren zonder dat er één dramatische fout in hoeft te zitten. Een keten van tien stappen waarin elke stap onafhankelijk een kans p heeft om te slagen, slaagt in z'n geheel met kans p tot de macht 10. Bij 95% per stap is dat nog altijd bijna 60%; bij 80% per stap — niet ongebruikelijk voor de trappen “vertakken” en “meerdere bronnen” hierboven — zakt het naar iets boven de 10%.
Wat dat betekent voor een lokale opstelling
- Vraag niet alleen naar de kwantisatie, vraag naar het aantal stappen. Een model dat prima scoort op een losse tool-aanroep bij Q4 zegt niets over hoe het zich houdt op stap acht van een plan.
- Test op de trap waar de taak werkelijk ligt, niet op de eenvoudigste. AgentFloor's eigen bevinding is dat de scherpste terugval niet aan het begin of het eind van de ladder zit, maar bij het overstappen van twee tools naar vertakken op een tussenresultaat.
- Een hoger cijfer op één trap is geen bevestigd verschil. Ministral-3:8b's 16% tegenover GPT-5's 10% op de zwaarste trap ziet er zo uit, tot je de onzekerheidsmarge erbij leest.
Waar het ophoudt
Drie voorbehouden bij deze twee bronnen
AgentFloor is één ongerepliceerde preprint. Twee auteurs, waarvan er één zonder vermelde institutionele affiliatie, gepubliceerd in mei 2026 en niet onafhankelijk herhaald. De methode — zestien modellen op zes trappen, met bootstrap- betrouwbaarheidsintervallen per cel — is zorgvuldiger dan veel vergelijkbaar werk, maar het blijft één onderzoeksgroep die de eigen taakset heeft opgesteld.
Kwantisatie is bij AgentFloor niet vastgelegd, alleen aannemelijk. Ollama serveert modellen doorgaans in een gekwantiseerd GGUF-formaat, maar het paper noemt geen precisie per model. De redenering in dit stuk — dat dezelfde waarschijnlijk-gekwantiseerde modellen op trap A hoog scoren en dus niet door kwantisatie alleen op trap E onderuitgaan — steunt op die aanname, niet op een bevestigd precisiegetal.
MLPerf's referentiecijfer is één submissie, geen veld. 86,23% is de score van de referentie-implementatie bij de aankondiging van de benchmark, vóór de eigenlijke ronde van inzendingen sluit. Of gekwantiseerde modellen van andere leveranciers en andere groottes hetzelfde cijfer halen op dezelfde single-turn-toets, is met deze bron niet vast te stellen.
Toets het op je eigen systeem
Laat je eigen agentopstelling toetsen op waar de nauwkeurigheid breekt: bij een zwaardere kwantisatie, of pas bij meer stappen in de keten.
Je gaat nagaan of de nauwkeurigheid van dit systeem breekt op de kwantisatie van het model, of op het aantal stappen in de taak — dat zijn twee verschillende assen, en de eerste is niet automatisch de verklaring voor de tweede. Stap 1 — zet een taakladder op. Definieer voor je eigen use-case vier tot zes niveaus van oplopende complexiteit: van één geïsoleerde tool-aanroep tot een taak die minstens acht opeenvolgende aanroepen nodig heeft, waarbij elke stap een eerder vastgestelde voorwaarde moet respecteren. Gebruik geen niveau dat je zelf nog nooit hebt zien slagen — dan meet je niets. Stap 2 — houd het model en de kwantisatie vast. Draai alle niveaus met hetzelfde model in dezelfde kwantisatie. Is de nauwkeurigheid bij de eenvoudige niveaus hoog en stort ze bij de zwaarste niveaus in, dan is dat geen kwantisatie-effect — het model faalde immers ook bij die kwantisatie niet op de eenvoudige stappen. Stap 3 — reken de compounding uit. Schat de nauwkeurigheid per stap op het lastigste niveau en bereken wat die kans tot de macht van het aantal stappen oplevert. Wijkt de gemeten eindscore sterk af van die berekening, dan speelt er meer dan alleen opeenstapeling van foutkansen — zoek dan uit wáár in de keten dat gebeurt. Stap 4 — benoem wat je NIET hebt getoetst. Deze test isoleert stappen van kwantisatie, niet van modelgrootte, van het type tool, of van de scherpte van de systeemprompt. Zeg erbij welke van die assen je hebt vastgehouden en welke niet.
De promptknop plakt de bronnen en de vindplaats van dit artikel eronder.
Bronnen
- AgentFloor: How Far Up the Tool Use Ladder Can Small Open-Weight Models Go?Ranit Karmakar & Jayita Chatterjee · arXiv:2605.00334, v1 van 1 mei 2026 · 2026
- Call for Submission: Edge Agentic Inference Benchmark for MLPerf Inference v6.1Palanivel Guruvarreddiar e.a. (MLCommons-taakgroep, NVIDIA en Atlas Inference) · MLCommons, gepubliceerd 9 juli 2026 · 2026
- Berkeley Function Calling Leaderboard (BFCL) V4Gorilla-project, UC Berkeley — geraadpleegd 28 augustus 2026 · 2026