AI-engineering / Kosten- en tokenoptimalisatie
Kosten per taak, gemeten en verlaagd zonder kwaliteit te verliezen.
De harness rond je agent is waar kosten worden beheerst en bewezen. We meten wat elke taak kost, trekken aan de hefbomen die ertoe doen en leveren een wijziging pas op als je evaluatieset laat zien dat de kwaliteit standhoudt.
01 / Waar tokens heen gaan
Waar de tokens in een verzoek heen gaan
Een enkel agentverzoek bevat meer dan de vraag. Elk onderdeel heeft een eigen drijfveer en elk onderdeel is bij te stellen.
| Onderdeel van het verzoek | Wat het bepaalt |
|---|---|
| Systeemprompt en instructies | Hoe lang de regels zijn en hoe vaak ze bij elke aanroep terugkomen |
| Opgehaalde context | Hoeveel passages terugkomen en hoe lang elke passage is |
| Gespreksgeschiedenis | Hoeveel beurten opnieuw worden meegestuurd en of ze zijn samengevat |
| Tooldefinities | Hoeveel tools worden aangeboden en hoeveel elke beschrijving zegt |
| Tooluitvoer | Hoeveel een tool teruggeeft boven wat de volgende stap nodig heeft |
| Redeneertokens | De inspanningsinstelling van het model en de moeilijkheid van de stap |
| Het antwoord | Het gevraagde formaat en hoeveel het antwoord moet bevatten |
| Herhalingen en loops | Mislukte aanroepen, herhaalde toolaanroepen en stappen die in kringetjes lopen |
02 / Eerst meten
Meet voordat je optimaliseert
Je kunt niet verlagen wat je niet meet. We maken kosten zichtbaar per taak, per stap en per team voordat we iets veranderen.
- Kosten per taak, het getal dat voor de business telt
- Tokens per stap, om te zien welk deel van de loop zwaar is
- Latency per stap en per taak
- Een kwaliteitsscore uit de evaluatieset, naast elk kostencijfer
- Gebruik per team en use case, uit de systeemtabellen van Unity AI Gateway
- Inference tables als vastlegging van wat is gevraagd en geantwoord
Het dashboard is een illustratie van de weergaven die we bouwen. Het toont geen echte cijfers.
- Agent voor orderintakeBinnen budget
Kosten per taak en kwaliteitsscore naast elkaar, per release.
- Agent voor conceptantwoordenBekijken
Tokens per stap laten zien waar de loop zwaar is.
- DocumentextractieBinnen budget
Latency en kosten per document, per model.
- TeamgebruikGevolgd
Verzoeken, tokens en latency per team uit de systeemtabellen.
03 / De hefbomen
De hefbomen die de kosten per taak verlagen
We kiezen de hefbomen op wat de metingen laten zien. Elke hefboom wordt op je evaluatieset getest voordat hij live gaat.
| Hefboom | Wat het doet | Wanneer het helpt | Hoe we bewijzen dat de kwaliteit standhoudt |
|---|---|---|---|
| Modelkeuze en wisselen | Draait elke taak op het model dat erbij past, uit een provider-API, een gelicentieerd model, een open-weightmodel of een eigen gefinetuned model | Altijd: het is de eerste hefboom, en de harness maakt wisselen tot een configuratiewijziging | Elk kandidaatmodel draait dezelfde evaluatieset en de kosten per taak worden per model vergeleken |
| Modelrouting | Stuurt makkelijke stappen naar een klein model en moeilijke stappen naar een groter model | Taken met een mix van simpele en lastige stappen | De routingregel wordt bepaald door evaluatie, niet door te gokken |
| Controle over redeneerinspanning | Stelt in hoeveel het model nadenkt voordat het antwoordt | Stappen die geen lang redeneren nodig hebben | Kwaliteit wordt per inspanningsinstelling vergeleken op de evaluatieset |
| Prompt caching | Zet het vaste begin voorop: instructies, tooldefinities, context | Veel aanroepen die een lang, onveranderd begin delen | Antwoorden blijven gelijk in de evaluatierun, alleen de kosten veranderen |
| Contexttrimming en samenvattingen van de geschiedenis | Houdt alleen over wat de volgende stap nodig heeft | Lange gesprekken en lange toolresultaten | Kwaliteit wordt gemeten vóór en na het trimmen |
| Retrieval afstellen | Minder en betere passages per vraag | Antwoorden opgevuld met losjes verwante context | Antwoordkwaliteit en bronnauwkeurigheid op de evaluatieset |
| Compacte tooluitvoer | Tools geven alleen de velden terug die de agent gebruikt | Tools die hele records teruggeven | Het slagingspercentage van de taak blijft gelijk met kleinere uitvoer |
| Gestructureerde uitvoer en vroeg stoppen | Korte, vaste formaten, en stoppen zodra de taak klaar is | Taken met een voorspelbare vorm van het antwoord | Geldigheid van het formaat en taaksucces op de evaluatieset |
| Herhaalde antwoorden en toolresultaten cachen | Hergebruikt een resultaat dat nog geldig is | Herhaalde vragen en langzaam veranderende data | Versheidsregels worden getest met cases die niet uit de cache mogen komen |
| Offline werk in batches | Draait werk waar niemand op wacht in batches | Back-officetaken, classificatie en extractie in bulk | De batchrun wordt op dezelfde set gescoord als de live run |
| Grenzen aan loops en herhalingen | Begrenst stappen, herhalingen en herhaalde toolaanroepen per taak | Agents die rondjes draaien of herhalen zonder voortgang | Tracing laat zien dat de grens zelden wordt geraakt, en de evaluatieset slaagt nog steeds |
| Providerkeuze op latency en doorvoer | Kiest het endpoint dat de taak het best bedient | Latencygevoelige taken en hoge doorvoer | Latency en kwaliteit worden per provider in dezelfde test vastgelegd |
| Open-weightmodellen zelf hosten | Serveert een model op infrastructuur die je zelf beheert | Stabiel, hoog volume, of data die moet blijven waar jij bepaalt | Het zelf gehoste model moet de evaluatieset halen voordat het verkeer krijgt |
| Een kleiner model finetunen | Past een klein model aan op één smalle taak | Een taak met stabiele regels en veel voorbeelden | Het gefinetunede model wordt vergeleken met het grotere model op achtergehouden cases |
Gebruik je eigen model en wissel het op elk moment Zelf gehoste en soevereine AI Finetuning en andere AI-oplossingen
04 / Guardrails op kosten
Guardrails op kosten
Optimalisatie verlaagt het gemiddelde. Guardrails beschermen je tegen de uitzondering.
Voor coding agents voegt Omnigent beleid toe op kostenbudgetten, dat bijhoudt wat een sessie al heeft uitgegeven. Open source in alpha; beheerde versie in Beta. Laatst geverifieerd: 11 november 2026. Omnigent: een gecontroleerde laag boven je agents
05 / Bewijs
Zo bewijst de harness elke wijziging
Elke optimalisatie draait tegen de evaluatieset. We leveren haar pas op als de kwaliteit standhoudt en de kosten per taak dalen, en we leggen het resultaat per release vast.
- WijzigingEen modelwissel, een cache of een ingekorte prompt
- EvaluatiesetDezelfde echte cases als altijd
- VergelijkenKwaliteit en kosten per taak, per model
- PoortKwaliteit houdt stand en kosten dalen
- ReleaselogHet resultaat, per release
Kwaliteit en kosten zijn twee poorten op dezelfde release.
- Modelkeuze en wisselen wordt getest als A/B-run op de evaluatieset, met de kosten per taak per model vergeleken
- Een shadow run of een verkeersverdeling met failover via de gateway laat het effect op live verkeer zien voordat de wissel definitief is
- Het resultaat van elke wijziging wordt per release vastgelegd, zodat de historie van kosten per taak op papier staat
# Schematische configuratie, geen echte API
gate:
evaluation_set: real-cases
compare: current-model, candidate-model
quality:
must_not_drop_below: current
cost_per_task:
must_not_exceed: threshold
on_fail: block-release
on_pass: log-result-per-release
MLflow
OpenTelemetry
Databricks
Unity Catalog
06 / Aanpak
Zo bouwen we het
Vijf stappen, in deze volgorde, omdat elke stap de vorige nodig heeft.
Nulmeting
We meten kosten per taak, tokens per stap, latency en kwaliteit zoals ze nu zijn.
Snelle winst
Prompt caching, contexttrimming en modelrouting, een voor een getest op de evaluatieset.
Structurele wijzigingen
Kleinere of gefinetunede modellen, of zelf hosten, waar de metingen een stabiel volume of een smalle taak laten zien.
Guardrails
Budgetten, limieten, waarschuwingen en kostentests in CI, zodat de winst blijft.
Maandelijkse review
Een korte review van kosten per taak, kwaliteit en nieuwe modellen, met als resultaat de volgende wijziging om te testen.
Governance voor AI
Eén gateway voor elk model, elke agent en elke tool
Elke aanroep van teams, agents en coding tools loopt via Unity AI Gateway, zodat toegang, kosten en logs dezelfde regels volgen als de rest van je data.
- Teams, agents, coding toolsWie een model aanroept
- Unity AI GatewayRechten, budgetten, limieten, beleid, logging
- Modellen, MCP-servers, toolsOp Databricks gehost en extern
Zo zetten we het op
- De gateway en het beleid staan als code in de repository en worden door een pipeline uitgerold, nooit met de hand samengeklikt.
- Eén service per use case, elk met een eigen budget en een eigenaar die erop aanspreekbaar is.
- Inference-tabellen met een bewaartermijn en toegangsgroepen, zodat logs bruikbaar zijn en geen risico vormen.
- Dashboards op system tables voor tokens, kosten en latency per team.
- Coding agents zoals Claude Code lopen via de gateway, met repositoryregels en reviewpoorten erbovenop.
- Fallbacks testen we vóór de livegang, door een bestemming bewust uit te zetten.
- Smart Routing houden we buiten productie zolang het in Beta zit.
Algemeen beschikbaar. Smart Routing zit in Beta. Laatst gecontroleerd: 10 november 2026. Documentatie van Unity AI Gateway
Verder lezen
Artikelen over kosten en routing
Geschreven door de engineers die deze systemen bouwen.
AI Engineering 13 min
Inference on Azure Databricks: What Drives Cost and Latency
Understand inference cost and latency, measure tokens and capacity, and choose batch, pay-per-token, provisioned or self-hosted serving on Azure Databricks.
Lees het artikelAI Engineering 13 min
Model Routing Is a Quality-Control Problem, Not a Cost Switch
Build trace-driven model routing with task-level benchmarks, quality gates and cost-per-success measures, without assuming Azure or Databricks integration.
Lees het artikelAI Engineering 11 min
Unity Gateway: Govern Coding Agents as a Platform Service
Govern coding agents with Unity Gateway: approved models and tools, clear authentication boundaries, trace access, spend ownership and EU processing checks.
Lees het artikel
Gratis check
Doe de check
Een score van 0 tot 100 en een volgende stap, in ongeveer drie minuten.
07 / FAQ
Vragen over kosten en tokens
Gaat een goedkoper model ten koste van de kwaliteit?
Dat kan, en daarom testen we het. Een goedkoper model draait op je evaluatieset naast het huidige. Houdt de kwaliteit op jouw taken stand, dan neemt het de taak over. Houdt ze geen stand, dan blijft het buiten de deur, of neemt het via routing alleen de makkelijke stappen.
Werkt prompt caching bij onze provider?
De meeste grote providers ondersteunen caching van een vast begin. We controleren de details per provider en model, omdat de regels verschillen, en we bouwen prompts met de vaste delen voorop zodat caching kan werken.
Wanneer is zelf hosten goedkoper?
Als het volume stabiel en hoog is, of als data moet blijven waar jij bepaalt. Zelf hosten ruilt gebruiksafhankelijke prijzen voor infrastructuur die je zelf draait, dus we vergelijken beide op je gemeten volume voordat we het aanraden.
Hoe snel zien we resultaat?
De nulmeting geeft je meteen inzicht. Snelle winst zoals caching, trimmen en routing testen we een voor een, dus elk resultaat staat vast zodra de bijbehorende evaluatierun klaar is.
Volgende stap
Wat kost één taak van jou nu?
Vertel ons welke agent of LLM-toepassing je draait. We zeggen wat je eerst moet meten en welke hefbomen waarschijnlijk tellen.
Open voor projecten in Q4 2026