Inferentie (inference)

Inferentie is het gebruiken van een getraind model om een antwoord te maken, in tegenstelling tot het trainen ervan. Elke prompt die je naar een model stuurt, is een inferentieverzoek. Waar inferentie draait en op welke hardware, bepaalt de reactietijd, de blootstelling van data en de manier waarop je ervoor betaalt.