Procesomschrijving evaluaties in de propedeuse
Inleiding en uitgangspunten
De voortgangsevaluaties (VE's) en eindevaluatie (EE) zijn medium-stake evaluatiemomenten binnen het programmatisch toetsen van de propedeuse. Het doel van de VE is om per student en per leeruitkomst een onderbouwd beeld te vormen van de huidige ontwikkeling ten opzichte van het eindniveau, om daar gerichte feedback en feedforward aan te koppelen en om tijdig zicht te krijgen op de consequenties richting de high-stake eindevaluatie.
Deze werkwijze sluit aan op het uitgangspunt dat een high-stake beslissing aan het einde van een semester geen verrassing mag zijn voor de student. Tijdens de VE beantwoorden docenten daarom steeds drie kernvragen: waar staat de student nu, wat is nodig om verder te groeien en wat betekent de huidige ontwikkeling als deze lijn wordt voortgezet?
Voor de uitvoering van de VE's gelden de volgende organisatorische uitgangspunten. Er zijn 90 studenten, 4 leeruitkomsten en 8 docenten. De uitvoering wordt verdeeld over twee dagdelen, per dagdeel worden 2 leeruitkomsten behandeld. Per leeruitkomst wordt een waarderingsduo samengesteld, zodat in totaal 4 duo's verantwoordelijk zijn voor de waardering, 2 duo's voor elk dagdeel. Twee docenten moeten betrokken zijn bij de waardering van elke leeruitkomst, maar dit hoeft niet te betekenen dat iedere student volledig gezamenlijk wordt gewaardeerd; borging vindt plaats door gezamenlijke kalibratie, steekproefsgewijze controle en bespreking van twijfelgevallen.
Voor de VE zelf is per student 20 minuten docenttijd beschikbaar; de 10 minuten coaching daarna vallen buiten dit processtuk. Om dit uitvoerbaar te maken wordt gewerkt met een strak tijdschema van 300 minuten voor het waarderingsproces, plus 30 minuten geplande pauze.
Doel van het proces
Het proces is ontworpen om drie doelen tegelijk te dienen. Ten eerste moet het leiden tot een zorgvuldig en voldoende gekalibreerd professioneel oordeel per leeruitkomst. Ten tweede moet het binnen de beschikbare docenttijd uitvoerbaar zijn. Ten derde moet de uitkomst direct bruikbaar zijn in Portflow en in het daaropvolgende coachgesprek tussen student en coach.
De VE is nadrukkelijk geen optelsom van losse datapunten, maar een professionele interpretatie van de ontwikkeling van de student op basis van beschikbare bewijzen. Daarbij worden onder meer de zelfevaluatie van de student, het portfolio in Portflow, eventuele resultaten uit kennistoetsen en het professionele inzicht van docenten betrokken.
Overzicht van het werkproces
Het werkproces voor een evaluatie bestaat uit drie fasen: voorbereiding, waardering en afronding. In de voorbereiding levert de student de benodigde informatie aan via Portflow. In de waarderingsfase waarderen docenten per leeruitkomst in duo's en individueel de studenten volgens een vaste planning. In de afronding worden twijfelgevallen besproken, worden waardering definitief vastgelegd en wordt de overdracht naar de coaches voorbereid.
Fase 1a – Voorbereiding door OUT
Ter voorbereiding maakt de OUT een planning voor de VE’s. In deze planning is in ieder geval duidelijk:
- wanneer de VE-momenten plaatsvinden
- welke docenten aanwezig zijn en voor welke leeruitkomst zij waarderen
- hoe eventuele lessen worden opgevangen als een klassendocent tijdens een geroosterd moment bij de VE is
Daarnaast ligt er een actuele studentenlijst klaar waarin per student kan worden afgevinkt voor welke leeruitkomst de VE is uitgevoerd.
Per leeruitkomst zorgt het duo dat de succescriteria van hun leeruitkomst en het overzicht van behandelde onderwerpen met bijbehorende succescriteria bij de hand zijn. Deze documenten zijn beschikbaar in de docenten‑knowledgebase.
Fase 1b – Voorbereiding door student
Voorafgaand aan de evaluatie schrijft de student een zelfevaluatie en dient een progress review in via Portflow. De student selecteert daarbij relevante bewijzen en licht toe hoe de eigen ontwikkeling zich verhoudt tot de leeruitkomsten. Deze input vormt samen met het portfolio en de overige beschikbare datapunten de basis voor de waardering.
Fase 2 – Waarderen door docenten
De waardering vindt plaats op twee gezamenlijke VE/EE-dagen. In elk dagdeel waarderen docenten samen 2 leeruitkomsten. Ieder dagdeel heeft een eigen planning van 300 minuten, inclusief 30 minuten pauze. Hieronder staat de vaste opbouw.
| Stap | Activiteit | Deelnemers | Tijd | Doel |
|---|---|---|---|---|
| 1 | Centrale kick-off | 4 docenten | 10 min | Afspraken maken over normering, bijzonderheden en werkwijze |
| 2 | Kalibratie op 6 studenten | Per duo | 30 min | Gezamenlijk normeren en voorbeelden opbouwen |
| 3 | Individuele waardering blok 1 | Individueel | 100 min | Eerste helft van de resterende studenten waarderen |
| 4 | Pauze | Iedereen | 30 min | |
| 5 | Individuele waardering blok 2 | Individueel | 100 min | Tweede helft van de resterende studenten waarderen |
| 6 | Bespreking twijfelgevallen | Per duo | 30 min | Definitieve afstemming op grensgevallen |
| 7 | Gezamenlijke nabespreking in gezamelijk vergadermoment. | 8 docenten | 30 min | Bijzonderheden delen en bespreken |
Stap 1 – Centrale kick-off (10 minuten)
De VE-dag start met een korte centrale kick-off met de 4 betrokken docenten. In deze bijeenkomst worden de waarderingsschaal, de accenten van de betreffende VE-ronde en eventuele bijzonderheden in de studentgroep nog één keer kort afgestemd. Ook wordt de interne gemaakte verdeling voor duo's bevestigd en wordt besproken hoe twijfelgevallen worden gemarkeerd en teruggelegd.
Stap 2 – Kalibratie in duo's (30 minuten)
Daarna waardeert elk duo gezamenlijk 6 studenten voor de toegewezen leeruitkomst. Selecteer hiervoor studenten waarvan je weet dat dit mogelijk discussie gevallen zijn en enkele studenten die duidelijk de norm volgen. Per student is ongeveer 5 minuten beschikbaar. In deze fase bespreken de twee docenten samen welke datapunten zichtbaar zijn, welke ontwikkeling daaruit spreekt en welke waardering op de schaal van 1 tot en met 4 het best past.
De kalibratiefase heeft twee functies. Enerzijds wordt het normgevoel tussen de twee docenten gelijkgetrokken. Anderzijds ontstaan er direct enkele referentievoorbeelden die docenten in de rest van de sessie kunnen gebruiken om sneller en consistenter te waarderen.
Stap 3 en 5 – Individuele waarderingen in twee blokken van 100 minuten
Na de kalibratie waarderen de docenten zelfstandig de overige studenten voor hun leeruitkomst, verdeeld over twee blokken van elk 100 minuten. Binnen deze blokken werkt iedere docent met een compacte werkwijze per student: portfolio en progress review scannen, niveau bepalen, korte onderbouwing noteren en een concrete feedforward formuleren.
Per duo zijn na de gezamenlijke 6 studenten nog 84 studenten over. Deze worden verdeeld over de twee docenten in het duo, waardoor iedere docent nog ongeveer 42 studenten individueel waardeert. Met 200 minuten individuele waarderingstijd komt dit neer op gemiddeld iets minder dan 5 minuten per student, wat alleen haalbaar is als het feedbackformat compact en gestandaardiseerd is. Zorg dat je de template dus vooraf voorbereid en copy-paste, zodat je snel de details kunt invullen.
Stap 4 – Pauze (30 minuten)
Tussen de twee waarderingsblokken zit een geplande pauze van 30 minuten. Deze pauze is functioneel onderdeel van het proces, omdat de kwaliteit van oordelen en de consistentie in feedback afnemen wanneer docenten te lang achter elkaar studenten waarderen.
Stap 6 – Bespreking van twijfelgevallen (30 minuten)
Na de individuele waardering komt elk duo opnieuw samen om de gemarkeerde twijfelgevallen te bespreken. Het gaat hierbij alleen om studenten waarbij de primair waarderende docent onvoldoende zekerheid heeft over het passende niveau of over de formulering van de feedback en feedforward.
In deze stap wordt per twijfelgeval het definitieve oordeel vastgesteld. Waar nodig wordt ook gecontroleerd of de onderbouwing voldoende navolgbaar is en of de feedforward concreet genoeg is voor gebruik in het coachgesprek.
Stap 7 – Gezamenlijke nabespreking (30 minuten)
De gezamenlijke nabespreking met het volledige team vindt niet plaats binnen het evaluatie dagdeel zelf, maar wordt geagendeerd in een daaropvolgende teamvergadering. In die nabespreking worden opvallende patronen, knelpunten in de normering en signalen op cohortniveau gedeeld.
Deze laatste stap helpt om de evaluaties niet alleen als waarderingsmoment te gebruiken, maar ook als bron van gezamenlijke teaminformatie over de ontwikkeling van de studentgroep.
Fase 3 – Afronding
Rollen en verantwoordelijkheden
De student is verantwoordelijk voor het tijdig aanleveren van een zelfevaluatie en een progress review met relevante bewijzen. Het waarderingsduo is verantwoordelijk voor de waardering van de toegewezen leeruitkomst, voor onderlinge kalibratie en voor de afhandeling van twijfelgevallen. De coach gebruikt de uitkomsten van de VE vervolgens in het daaropvolgende gesprek met de student.
Binnen elk duo wordt vooraf afgesproken wie de primair de waardering bepaald voor welke studenten. De tweede docent fungeert als meelezer in de kalibratiefase, als sparringpartner bij twijfelgevallen en als medeverantwoordelijke voor de kwaliteit en consistentie van de oordelen.
Waarderingskader per leeruitkomst
Tijdens VE1 en VE2 wordt per leeruitkomst een waardering gegeven op een oplopende schaal van 1 tot en met 4. Deze schaal sluit aan op de niveaus in Portflow en heeft in het WIP-document de volgende betekenis.
| Niveau | Betekenis | Beknopte interpretatie |
|---|---|---|
| 1 | Waarschuwing | Student levert geen of weinig werk aan; er is weinig tot geen groei zichtbaar. |
| 2 | Op koers | Student laat ontwikkeling zien en lijkt op weg naar niveau 3, maar is daar nog niet. |
| 3 | Op niveau | Student laat werk zien op eindniveau; er is sprake van voldoende beheersing. |
| 4 | Boven niveau | Student laat werk zien dat qua kwaliteit, complexiteit of breedte boven het eindniveau uitstijgt. |
Bij het bepalen van dit oordeel kijken docenten niet alleen naar losse producten, maar vooral naar de ontwikkeling die uit meerdere datapunten blijkt. Daarbij is het van belang om te letten op hoeveelheid en variatie van bewijs, zichtbare groei, benutting van feedback, relevante resultaten uit kennistoetsen en de mate waarin succescriteria daadwerkelijk en herhaald zichtbaar zijn in het portfolio.
De onderstaande percentages zijn een algemene richtlijn. Ze helpen bij het inschatten van het niveau, maar worden altijd gelezen in samenhang met het holistische beeld en de kwaliteit van het portfolio.
Richtlijnen voor de niveau-inschatting
-
Voor op koers geldt als algemene richtlijn dat in VE1 minimaal 40% van de succescriteria aantoonbaar zichtbaar is en in VE2 minimaal 60%.
-
Voor op niveau geldt als algemene richtlijn dat minimaal 80% van de succescriteria aantoonbaar zichtbaar is.
-
Aangetoond betekent dat succescriteria niet slechts incidenteel voorkomen, maar meerdere malen zichtbaar zijn in bewijs en in ontvangen of gebruikte feedback.
-
Van voldoende bewijs en feedback is sprake wanneer de student niet meer dan 80% van de feedbackmomenten en artefacten mist; een feedbackmoment zonder bewijs kan daarbij worden beschouwd als een gemist moment.
-
Boven niveau betekent dat de student in ontwikkeling, kwaliteit, complexiteit of breedte nu al méér laat zien dan in de succescriteria voor het beoogde eindniveau wordt gevraagd
Interpretatie per niveau
1. Waarschuwing
Dit niveau past wanneer er te weinig bewijs is, wanneer succescriteria nog nauwelijks aantoonbaar zijn of wanneer er weinig tot geen ontwikkeling zichtbaar is binnen de leeruitkomst. Ook studenten die veel feedbackmomenten of artefacten missen, kunnen op dit niveau uitkomen, omdat er dan onvoldoende basis is voor een positief professioneel oordeel.
2. Op koers
Dit niveau past wanneer de student zichtbaar in ontwikkeling is, maar nog niet voldoende breed en consistent laat zien dat het eindniveau wordt beheerst. In de regel betekent dit dat in VE1 minimaal 40% en in VE2 minimaal 60% van de succescriteria aantoonbaar zichtbaar is, met voldoende bewijs en een stijgende lijn in de ontwikkeling.
3. Op niveau
Dit niveau past wanneer de student overtuigend en herhaald laat zien dat het eindniveau voor de leeruitkomst wordt beheerst. Als algemene richtlijn geldt dat minimaal 80% van de succescriteria aantoonbaar zichtbaar is, waarbij de docent ook kijkt naar de kwaliteit, samenhang en navolgbaarheid van het portfolio en de benutting van feedback.
4. Boven niveau
Dit niveau past wanneer de student niet alleen aan het eindniveau voldoet, maar daar duidelijk bovenuit stijgt in kwaliteit, complexiteit, zelfstandigheid, breedte of ontwikkeling. Het gaat dan niet om “meer van hetzelfde”, maar om werk of groei die aantoonbaar verder gaat dan in de succescriteria voor de leeruitkomst wordt gevraagd.
Gebruik van de richtlijnen
Deze richtlijnen ondersteunen de docent bij een consistente inschatting, maar vervangen het professionele oordeel niet. Een student kan dus niet uitsluitend op basis van een percentage automatisch op een bepaald niveau worden geplaatst; de uiteindelijke waardering volgt altijd uit de combinatie van succescriteria, kwaliteit van bewijs, feedbackgebruik, ontwikkellijn en het totale beeld van het portfolio.
Vastlegging in Portflow
Per leeruitkomst wordt de uitkomst vastgelegd in een compact format in Portflow. Dit format moet docenten helpen om snel, eenduidig en bruikbaar te rapporteren, zodat zowel de student als de coach direct ziet wat het oordeel betekent.
In Portflow zijn het evaluatiemoment, de datum, de geselecteerde leeruitkomst en de score al in het systeem opgenomen. De docent vult daarom alleen nog de korte tekstuele velden in die nodig zijn voor de onderbouwing van het oordeel, de feedforward en de registratie van de betrokken docenten.
Het format bevat daarmee alleen nog de volgende onderdelen:
- Onderbouwing oordeel: korte, concrete toelichting op basis van de belangrijkste datapunten en de zichtbare ontwikkeling.
- Feedforward: één of twee concrete vervolgstappen voor de student.
- Waarderende docenten: naam docent 1 en naam docent 2.
Een goed ingevulde onderbouwing is feitelijk, compact en navolgbaar. Een goed geformuleerde feedforward is concreet, actiegericht en direct bruikbaar in het coachgesprek. De tekstuele velden blijven bewust kort, zodat de waardering binnen de beschikbare tijd uitvoerbaar blijft.
Template per leeruitkomst
Onderstaand format moet als basis dienen voor de vrije tekstvelden in Portflow.
Korte template in Portflow
Onderbouwing oordeel
- Maximaal 2 tot 3 zinnen of 3 korte bullets.
- Benoem alleen het belangrijkste bewijs, de zichtbare ontwikkeling en de kernreden voor het gekozen niveau.
Feedforward
- Maximaal 1 tot 2 concrete vervolgstappen.
- Formuleer actiegericht: wat moet de student nu doen om verder te komen of het niveau vast te houden.
Docenten
- Docent 1:
- Docent 2:
Voorbeeldinvulling
Onderbouwing oordeel
Je laat zien dat je werkt aan je leerproces door je voortgang te documenteren en feedback op te halen. In je portfolio is zichtbaar dat je stappen zet in reflecteren en plannen, maar nog niet alle succescriteria zijn al voldoende en herhaald zichtbaar. Daarom zit je nu op op koers: je bent onderweg naar het eindniveau, maar bent daar nog niet.
Feedforward
Laat in de komende periode duidelijker zien hoe je feedback gebruikt om je aanpak aan te passen. Werk ook je reflecties concreter uit: beschrijf niet alleen wat je hebt gedaan, maar vooral wat je daarvan hebt geleerd en wat je daarna anders aanpakt.
Docenten
Docent A
Docent B
Kwaliteitsborging
De kwaliteit van de VE staat of valt met de combinatie van kalibratie, compacte maar navolgbare verslaglegging en gezamenlijke bespreking van twijfelgevallen. Door aan het begin gezamenlijk te kalibreren, tijdens de waardering een gestandaardiseerd format te gebruiken en aan het einde twijfelgevallen en patronen samen te bespreken, ontstaat een werkproces dat enerzijds efficiënt is en anderzijds voldoende betrouwbaar voor een medium-stake beslissing.
Deze opzet past bij het uitgangspunt van programmatisch toetsen dat beslissingen gebaseerd worden op geaggregeerde informatie uit meerdere datapunten en op een geïnformeerd professioneel oordeel. Tegelijk blijft het proces werkbaar voor het docententeam en bruikbaar voor de ontwikkelgerichte begeleiding van studenten.