Dat ChatGTP-3 geen fatsoenlijke review kan schrijven over het vwo examen wiskunde 2023 werd gisteren duidelijk. Het programma verzint maar wat en weinig overtuigend want de verzonnen contexten lopen te ver door in natuurkunde om geloofwaardig te zijn voor wiskunde A.
=> experiment 0 = ChatGTP-3

Voor deze blog heb ik de hulp ingeroepen van een prompt-engineer die de beschikking heeft over een betaald ChatGTP-4 account. Doel van deze blog is om aan te tonen dat ChatGTP helemaal niet zo goed zoeken kan en pas tot resultaat komt als je het de opdrachten letterlijk op een blaadje aanreikt.

Drie experimenten

In het eerste experiment stellen we dezelfde vraag als gisteren. Deze keer geeft ChatGTP eerlijk aan dat hij het niet kan en fabriceert een review van een hypothetisch examen. In de blog staat alleen de inleiding, het resultaat staat achter de link.
=> experiment 1 = ChatGTP-4

In het tweede experiment bieden we een link naar de website https://www.examenblad.nl/examen/wiskunde-a-vwo-2/2023 aan, maar ChatGTP-4 verontschuldigd zich dat het de opgaven niet kan vinden. Vervolgens geeft het aanbevelingen. De output staat achter de link.
=> experiment 2 = ChatGTP-4 Webbrowsing

In het derde experiment bieden we de link naar de PDF, maar ChatGTP-4 geeft aan dat het de link niet kan en wil openen. ChatGTP geeft pas resultaten als we de opdracht handmatig met knippen/plakken aanbieden. Een aantal zaken vallen op. Allereerst de (bijna overdreven, on-Nederlandse) positieve houding die ChatGTP vasthoudt. Knap is hoe de oorspronkelijke examentekst geherformuleerd wordt met kleine variaties. Grappig is dat ChatGTP niet de gebruikelijke Nederlandse wiskunde woorden vindt. “Sinusoïdale modellering” is wel heel letterlijk vertaald, evenals “trigonometrische fasen”. Dit zijn beslist geen 6 vwo schoolwiskunde woorden. ChatGTP-3 is gratis, ChatGTP-4 niet. Het verschil in output is groot. ChatGTP-3 blijft hangen in de vriendelijke bewoordingen, terwijl ChatGP-4 ook inhoudelijk wordt.

Conclusie na een half uur prompt-engineering is dat ChatGTP ook na een goede prompt volledig uit de bocht kan vliegen, dat het aanbieden van links onvoldoende soelaas geeft en dat je ChatGTP goed moet voeren. Duidelijk is dat de betaalde ChatGTP-4 veel betere resultaten geeft dan de gratis ChatGTP-3

Met dank aan Ayca Turan (creative technologist bij ayca.tech voor de prompt-engineering.

<review experiment 3> Knippen/Plakken:

prompt:

Schrijf een vriendelijke review op het vwo wiskunde A examen van 2023 in 1500 woorden en benoem de specifieke onderdelen van de verschillende vragen, met name over het onderdeel Gewicht in Beweging.

examen van 2023: “Gewicht in beweging”  Begin deze eeuw deed de bioloog Yunsheng Ma samen met andere biologen onderzoek naar het verband tussen het lichaamsgewicht, de hoeveelheid lichaamsbeweging en het eetpatroon tijdens feestdagen van een groep Amerikanen. Bij het onderzoek naar de invloed van beweging op het lichaamsgewicht speelt de MET-waarde1) een rol. …. …. …. …. …. …. …. Het gemiddelde gewicht is later maximaal dan de gemiddelde calorie- inname. Bereken hoeveel dagen later dit volgens de formules is

output:

Het wiskunde A examen van 2023 voor het VWO was een uitdagende maar opbouwende ervaring. Het stelde de vaardigheden van de studenten op de proef en bevatte een goede variatie aan vraagtypes die nauwgezet de verschillende aspecten van het curriculum bedekten.

Een bijzonder boeiend deel van het examen was het segment over ‘Gewicht in Beweging’. De integratie van echte biologische gegevens van een onderzoek uitgevoerd door de bioloog Yunsheng Ma en collega’s, die het verband tussen lichaamsgewicht, lichaamsbeweging en eetpatronen tijdens feestdagen onderzochten, maakte de vragen realistisch en relevant. De studenten werden aangemoedigd om hun analytische vaardigheden toe te passen om patronen in menselijk gedrag te herkennen, die waren afgeleid van een reeks MET-waarden.

De eerste vraag, vraag 9, daagde studenten uit om te onderzoeken of een hypothetische wandelaar die zijn snelheid verhoogde van 4 naar 6 km/uur meer MET-uren zou genereren. Dit was een mooie manier om het concept van MET-waarden, een eenheid die de hoeveelheid energie meet die een bepaalde fysieke activiteit kost ten opzichte van de ruststofwisseling, aan te pakken.

Vraag 10 ging over het aantal mogelijke weekindelingen dat een man kon maken om precies 12 MET-uren te realiseren. De combinatie van hardlopen en fietsen was een verfrissend voorbeeld van hoe wiskunde kan worden toegepast in de context van lichaamsbeweging en gezondheidsplanning.

Een verdere analyse van Amerikanen die gemiddeld zwaarder werden na de feestdagen in vraag 11 bood een nuttige toepassing van sinusoïdale modellering. Het vereiste dat studenten een formule opstelden om de fluctuatie van fysieke activiteit gedurende het jaar te modelleren, wat zowel het begrip van sinusoïdale functies als van periodiciteit testte.

Daaropvolgend vroeg vraag 12 studenten om de modelleringstechnieken te verfijnen door rekening te houden met de calorie-inname en gewichtsveranderingen. Dit verhoogde de complexiteit van de taak, maar bleef trouw aan de realistische scenario’s die een belangrijk kenmerk waren van dit examen.

Vraag 13 vormde een mooie afsluiting van deze sectie, waarbij studenten werden gevraagd om procentuele verschillen en tijdsvertragingen in gemiddeld gewicht en calorie-inname te berekenen. Het vereiste dat ze hun inzicht in trigonometrische fasen gebruikten, wat een grondige evaluatie van hun vaardigheden mogelijk maakte.

Al met al was dit een goed ontworpen en uitgevoerd examen dat de studenten een breed scala aan wiskundige vaardigheden bijbracht, van trigonometrie tot statistieken, terwijl het ook enkele zeer interessante inzichten bood in hoe wiskunde kan worden toegepast op de wereld van de fysieke gezondheid en welzijn. Het was een uitdagend examen dat zeker heeft bijgedragen aan de vorming van goed afgeronde wiskundige denkers.