Modellen & evaluatie
Wat er op je GPU past is een bandbreedtevraag, geen VRAM-vraag
Drie methodes om te bepalen wat op een 16GB-GPU past — een rekenregel, gemeten tokens/s en een testgids — komen op hetzelfde venster uit, en wijzen naar bandbreedte.
Zoek “wat past er op een 16GB-GPU” op en je krijgt binnen drie klikken een vuistregel: zoveel GB per miljard parameters, budgetteer een marge voor context, klaar. Elke gids geeft een net iets ander getal, en geen van allemaal legt uit waarom een kaart met meer VRAM soms niet de snellere keuze is.
Voor de RTX 5070 Ti — 16GB, een van de gangbare kaarten voor wie lokaal wil draaien zonder een datacenter-budget — heb ik drie bronnen nagelezen die alle drie een andere methode gebruiken om op “wat past” te antwoorden: een rekenregel per miljard parameters, gemeten tokens/s-benchmarks, en een capaciteit-eerst testvolgorde voor Ollama-artefacten. Een vierde bron, over de kleinere RTX 5070 uit dezelfde familie, benoemt waarom dat zo uitpakt.
Drie onafhankelijke methodes komen voor dezelfde 16GB-kaart uit op hetzelfde venster, en alle drie wijzen ze naar geheugenbandbreedte — niet VRAM-capaciteit — als de factor die bruikbare snelheid bepaalt.
Drie manieren om aan hetzelfde getal te komen
ModelFit rékent. De vuistregel: een Q4-model kost ~0,6GB VRAM per miljard parameters, en van de 16GB van de RTX 5070 Ti wordt 90% gebudgetteerd voor gewichten, context en KV-cache samen. Uitkomst: modellen tot 14B passen bij Q4, met Qwen3.5 9B Instruct (Q8, ~10,7GB) als aanbevolen beste fit op ~49 tok/s.
Compute Market méét in plaats van te rekenen: 7B–14B-modellen op 90–120+ tok/s, met 105 tok/s op Llama 3 8B (Q4) — 2,5× sneller dan de RTX 5060 Ti en 70% sneller dan de RTX 4090 op datzelfde model.
ToolHalla doet geen van beide. De gids noemt zichzelf uitdrukkelijk geen snelheids-, kwaliteits- of bandbreedtevergelijking, en geeft in plaats daarvan een testvolgorde van Ollama-artefacten per VRAM-tier. Voor het 16GB-niveau — RTX 5060 Ti 16GB, 5070 Ti en 5080 delen dezelfde wachtrij — is het startpunt qwen3.5:9b (6,6GB), gemma4:12b (7,6GB) of deepseek-r1:14b (9,0GB), met het 20B-model gpt-oss:20b (14GB) als grenstest.
Het gecontroleerde vergelijk: zelfde VRAM, andere bandbreedte
ModelFit's eigen vergelijkingstabel levert het schoonste voorbeeld, omdat het maar één variabele verandert. Twee kaarten met exact 16GB VRAM, verschillende bandbreedte, gemeten op hetzelfde 8B-model bij Q4:
- RTX 4070 Ti SUPER — 16GB, 672 GB/s — ~72 tok/s.
- RTX 5070 Ti — 16GB, 896 GB/s — ~87 tok/s.
Wat hier wél en niet bewezen is
De VRAM-capaciteit is op beide kaarten identiek; alleen de bandbreedte verschilt, en dat is precies het verschil dat de snelheid verklaart. ModelFit noemt dit zelf een schatting op basis van bandbreedte, geen gemeten benchmark — het is dus geen onafhankelijke meting, maar de vergelijking staat wel binnen één bron en één methode, wat 'm geschikter maakt om twee kaarten tegen elkaar te zetten dan om een absoluut tokens/s-getal op te hangen.
Waarom bandbreedte, en niet VRAM zelf
GIGAGPU beschrijft de kleinere RTX 5070 uit dezelfde familie (12GB, 672 GB/s): een praktische bovengrens van ~13B bij Q4_K_M (~8GB gewichten), en ~70–80 tok/s op Llama 3.1 8B (Q4_K_M) — weer binnen hetzelfde venster als de drie 16GB-methodes hierboven.
Interessanter is de vergelijking die de pagina zelf trekt, en die de omkering van het vorige voorbeeld is: een kaart met minder VRAM maar meer bandbreedte. Tegenover de RTX 5060 Ti (16GB, 448 GB/s) haalt de RTX 5070 (12GB, 672 GB/s) 30–40% meer tokens per seconde op hetzelfde model, ondanks 4GB minder VRAM. GIGAGPU trekt daaruit de conclusie met zoveel woorden: bandbreedte, niet VRAM-hoeveelheid, is de dominante factor voor single-user decodesnelheid.
Vanaf hier: mijn interpretatie
Alles hierboven is terug te lezen in de vier bronnen onderaan. Wat nu volgt staat daar niet in: het zijn de gevolgtrekkingen die ik eruit trek voor wie een kaart beoordeelt die al in de kast zit. Neem ze als voorstel, niet als bevinding.
Wat de overeenstemming betekent
Drie compleet verschillende methodes — een rekenregel, gemeten doorvoer, en een capaciteit-eerst testvolgorde die zich uitdrukkelijk niet als kwaliteitsoordeel presenteert — komen voor dezelfde 16GB-kaart onafhankelijk op vrijwel hetzelfde venster uit. ModelFit en Compute Market noemen 9–14B bij een Q4-achtige kwantisatie; ToolHalla's startpunten liggen op 9B, 12B en 14B, zonder een kwantisatie te noemen, met een 20B-model pas als grenstest. Die overeenstemming, over drie totaal verschillende manieren van meten, is zelf het opvallende gegeven.
Die overeenstemming verschuift de vraag: niet “hoeveel VRAM heb ik”, maar “hoeveel bandbreedte”.
Een kaart met meer VRAM maar minder bandbreedte laat je weliswaar een groter model láden, zonder dat de daaruit volgende snelheid ook bruikbaar wordt. GIGAGPU's meting aan de RTX 5070 tegenover de RTX 5060 Ti is daarmee eerder de verklaring áchter de drie VRAM-vuistregels hierboven dan een aparte bevinding: die vuistregels zeggen wat er past, maar het is de bandbreedte die bepaalt of wat past ook prettig snel draait.
Dat sluit aan bij wat een eerder stuk hier al over modelkeuze zei: de verkeerde as vergelijken levert een misleidend getal op. Daar was die as prijs versus architectuur; hier is het VRAM-capaciteit versus bandbreedte, en niet bij het kiezen van een API-model maar bij het beoordelen van hardware die je al bezit.
Wat hieruit volgt
- Vraag eerst naar tokens/s bij je kwantisatie, niet naar GB VRAM. Behandel VRAM-capaciteit als filter — past het model erin — niet als antwoord op hoe bruikbaar de kaart is.
- Toets een vuistregel altijd tegen minstens één gemeten benchmark. Een rekenregel alleen laat niet zien of de resulterende snelheid ook bruikbaar is; ModelFit zegt dat over zijn eigen tabel met zoveel woorden.
- Bij twee kaarten met vergelijkbare VRAM: kijk naar GB/s, niet naar het productnummer. Een “Ti” of “SUPER” in de naam zegt niets over bandbreedte; het datasheet wel.
Waar het ophoudt
Wat hier niet in staat, en waarom de bronnen zelf wisselend betrouwbaar zijn
Alle vier bronnen zijn GPU-hardwaresites met een commercieel belang (affiliate-links, serververhuur) en geen van vieren is een onafhankelijk lab. Compute Market's eigen specificatietabel noemt op dezelfde pagina 512 GB/s als bandbreedte voor de RTX 5070 Ti — dat is de bandbreedte van een ándere kaart uit die generatie, niet van de 5070 Ti, wiens officiële bandbreedte 896 GB/s is (bevestigd door zowel ModelFit als NVIDIA's eigen specificaties). De tokens/s-cijfers die dit stuk uit die bron citeert, staan in een apart benchmarktabel en zijn daar niet door geraakt — maar het is een reden om ook een bron die op de belangrijkste claims klopt, niet blind te vertrouwen op de rest van de pagina.
Wat hier ook niet in staat: een agentische werklast. Alle vier de bronnen meten of berekenen enkelvoudige generatiedoorvoer bij een vaste prompt, niet een taak met lange context, toolgebruik en meerdere stappen — precies het soort taak waar deze site zelf over gaat. Of een lokaal 9–14B-model op een RTX 5070 Ti bruikbaar is als agent-backend in plaats van als chatmodel, is met deze bronnen niet te beantwoorden.
Toets het op je eigen systeem
Laat je eigen systeem een GPU- of modelkeuze voor lokale inferentie toetsen op bandbreedte in plaats van op VRAM-capaciteit alleen.
Je gaat een voorgenomen of bestaande GPU-aankoop, of een modelkeuze voor lokale inferentie, tegen het licht houden. Stap 1 — inventariseer. Noteer de kaart: VRAM in GB, geheugenbandbreedte in GB/s, en het model plus de kwantisatie die je erop wilt draaien. Stap 2 — reken de vuistregel uit. Gebruik ~0,6GB VRAM per miljard parameters bij Q4 als eerste schatting, en budgetteer niet meer dan ~90% van de VRAM voor gewichten, context en KV-cache samen. Past het model daarmee? Stap 3 — toets tegen een gemeten cijfer. Zoek minstens één onafhankelijk gemeten tokens/s-benchmark voor die kaart op dat model — geen fabrikantschatting — en vergelijk die met de raming uit stap 2. Wijken ze meer dan een factor anderhalf af, ga dan uit van de gemeten waarde. Stap 4 — vraag het na bij bandbreedte, niet bij VRAM. Worden er twee kaarten vergeleken, vraag dan expliciet welke de hoogste GB/s heeft, niet welke de meeste GB VRAM heeft. Beargumenteer waarom dat de doorslaggevende as is voor snelheid, en benoem waar VRAM-capaciteit wél de doorslaggevende as blijft: of het model er überhaupt in past. Geef geen algemeen hardware-advies. Alleen een oordeel over de specifieke kaart en het specifieke model dat is opgegeven, met de aannames die je hebt gemaakt er expliciet bij.
De promptknop plakt de bronnen en de vindplaats van dit artikel eronder.
Bronnen
- RTX 5070 Ti 16GB for Local LLMs: Runs 14B Q4 (~54 tok/s)ModelFit · ModelFit GPU-gids · 2026
- RTX 5070 Ti Local AI: 90-120 tok/s, 16GB, $880 (2026)Compute Market · Compute Market — AI Hardware Blog · 2026
- RTX 50-Series Local LLM Guide: Artifact Fit by VRAM (2026)ToolHalla · ToolHalla-blog · 2026
- Running Ollama on RTX 5070: Fast Local LLMs on 12 GB GDDR7 BlackwellGIGAGPU · GIGAGPU-blog · 2026