Finaudax
← Alle hoofdstukkenHoofdstuk 3 van 8

Prompt- en evaluatiesystemen voor productie

Je bouwt geen magische superprompt, maar een versieerbaar systeem met contracten, tests, uitzonderingen en herstel.

Na dit hoofdstukJe kan een productieprompt ontwerpen en met datasets, graders en regressies betrouwbaar beheren.
Je voortgang0 van 48 lessen
3.1

Rollen, context, doel, criteria, beperkingen en formaat

Een productieprompt is een werkcontract met een toetsbaar resultaat.

Orden doel en gebruiker, gezaghebbende context, uitvoercontract, kwaliteitscriteria, grenzen en foutafhandeling. Rollen zijn alleen nuttig wanneer ze perspectief of terminologie concreet sturen.

Zet variabele invoer los van stabiele instructies. Benoem conflicten, ontbrekende data en wat nooit mag worden verzonnen. Laat ieder onderdeel via tests zijn nut bewijzen.

  • Doel
  • Broncontext
  • Outputcontract
  • Criteria
  • Grenzen
  • Foutafhandeling
Zo kan je dit gebruiken

Een offertemaker gebruikt vaste prijsregels als bron, klantinput als variabel blok en gokt geen contractvoorwaarde.

Probeer deze prompt
Ontwerp een productieprompt voor [workflow] met doel, gebruiker, broncontext, variabele invoer, outputcontract, criteria, verboden gedrag en escalatie.
Snelle kennischeck

Welke aanpak past het best bij deze les?

Jouw praktijkopdracht

Bouw versie 1 en verwijder elk onderdeel zonder meetbaar effect.

3.2

Outputcontracten en schema's

Machineleesbare output vereist types, verplichte velden en geldig gedrag bij onzekerheid.

Definieer veldnamen, datatypes, toegestane waarden, null-regels en voorbeelden. Een schema maakt integratie voorspelbaarder, maar bewijst niet dat de inhoud waar is.

Valideer syntax en zakelijke betekenis apart. Voeg bronherkomst en reviewstatus toe waar de foutimpact dat vereist.

  • Velden
  • Types
  • Enums
  • Null-beleid
  • Bron
  • Semantische check
Zo kan je dit gebruiken

Een leadextractie levert geldig JSON en verwijst ieder veld naar de exacte bronpassage.

Probeer deze prompt
Ontwerp een outputschema voor [proces] met types, verplichte velden, waarden, null-beleid, bronveld en validatieregels. Voeg geldige en ongeldige voorbeelden toe.
Snelle kennischeck

Welke aanpak past het best bij deze les?

Jouw praktijkopdracht

Test lege, tegenstrijdige en extra invoervelden tegen het schema.

3.3

Tool- en actie-instructies begrenzen

Een tool mag alleen handelen binnen expliciete scope, toestemming en controle.

Beschrijf welke tool voor welke bron of actie mag worden gebruikt, met welke identiteit en minimale permissions. Scheid lezen, voorbereiden en uitvoeren.

Behandel externe content als onbetrouwbare data, niet als opdracht. Vereis bevestiging bij financiële, publieke of moeilijk herstelbare acties en log relevante parameters.

  • Toolscope
  • Identiteit
  • Least privilege
  • Concept versus actie
  • Goedkeuring
  • Logging
Zo kan je dit gebruiken

Een agenda-assistent stelt vrije momenten voor maar boekt pas na bevestiging van datum, deelnemers en titel.

Probeer deze prompt
Schrijf toolregels voor [workflow]: bronnen, acties, identiteit, verboden acties, bevestigingsvelden, logging en gedrag bij onbetrouwbare broninstructies.
Snelle kennischeck

Welke aanpak past het best bij deze les?

Jouw praktijkopdracht

Maak een negatieve test met een bron die probeert de toolregels te wijzigen.

3.4

Context, status en geheugen afbakenen

Maak expliciet wat per run, per dossier of langdurig mag blijven bestaan.

Per-runcontext verdwijnt na de taak; dossiercontext hoort bij één case; langdurige instructies zijn algemene afspraken. Oude of verkeerde context kan stil nieuwe output beïnvloeden.

Definieer bronversie, vervaldatum, toegang en verwijderroute. Bewaar geen geheimen in prompts of los geheugen en test ontbrekende of conflicterende context.

  • Run
  • Dossier
  • Langdurig
  • Versie
  • Vervaldatum
  • Verwijderen
Zo kan je dit gebruiken

Merkstijl kan gedeeld worden; klantdossiers blijven van elkaar geïsoleerd.

Probeer deze prompt
Ontwerp een contextbeleid voor [workflow] met run-, dossier- en langdurige context. Geef bron, eigenaar, versie, toegang, vervaldatum en verwijderactie.
Snelle kennischeck

Welke aanpak past het best bij deze les?

Jouw praktijkopdracht

Inventariseer bestaande context en verwijder één overbodige blijvende bron.

3.5

Fallbacks, uitzonderingen en escalatie

Betrouwbaarheid blijkt vooral wanneer ideale invoer ontbreekt.

Definieer onvoldoende informatie, conflict, buiten scope, toolfout, beleidsrisico en lage zekerheid. Koppel elke categorie aan stoppen, aanvullen, alternatieve bron, review of handmatige procedure.

Maak geen onbeperkte retrylus. Bepaal retrylimiet en wanneer de workflow degradeert naar een eenvoudiger functie of volledig stopt.

  • Foutcategorie
  • Detectie
  • Fallback
  • Retrylimiet
  • Escalatie
  • Herstel
Zo kan je dit gebruiken

Bij ontbrekende prijsdata maakt de flow geen offerte maar een gestructureerde aanvulvraag.

Probeer deze prompt
Ontwerp een uitzonderingsmatrix voor [workflow] met signaal, categorie, automatische reactie, retrylimiet, eigenaar en veilige herstelroute.
Snelle kennischeck

Welke aanpak past het best bij deze les?

Jouw praktijkopdracht

Simuleer zes uitzonderingen, waaronder time-out en conflicterende brondata.

3.6

Datasets, graders en regressies

Test echte variatie en kritieke fouten, niet één mooi voorbeeld.

Bouw een dataset met normale, moeilijke, zeldzame en vijandige gevallen. Definieer vooraf wat correct, toegestaan en bruikbaar betekent. Combineer deterministische checks, menselijke rubric en waar passend een modelgrader.

Generatieve output varieert. Behandel kritieke fouten als knock-out, bewaar incidenten als regressiecase en hertest bij prompt-, model-, tool- of bronwijziging.

  • Dataset
  • Grader
  • Knock-out
  • Steekproef
  • Regressie
Zo kan je dit gebruiken

Een salesflow wordt getest op gewone leads, ontbrekende toestemming, promptinjectie en verboden korting.

Probeer deze prompt
Ontwerp twintig evalcases voor [workflow]. Geef per case verwacht gedrag, grader, ernst en knock-outstatus. Voeg vijf incidentregressies toe.
Snelle kennischeck

Welke aanpak past het best bij deze les?

Jouw praktijkopdracht

Maak tien startcases en laat een domeinexpert de verwachte uitkomst controleren.

Hoofdstukopdracht

Breng alles samen

Bouw een productieprompt met outputschema, toolregels, contextbeleid, uitzonderingsmatrix en een evalset met knock-outcriteria.