Eerder hebben wij in deze blogserie (en in een eerdere blogserie) al over Learning Analytics geschreven. Lees hier meer over wat Learning Analytics ook alweer is. Nu zien wij dat onderwijsinstellingen dit begrip gaan omarmen en gaan inzetten binnen het onderwijs. In deze blog beschrijven wij hoe de VU aan de slag is met Learning Analytics.

Het onderzoek heeft ons met name geleerd om goed na te denken over onze ethische keuzes, in aanvulling op onze privacyrichtlijnen

Vrije Universiteit Amsterdam

De VU loopt in Nederland voorop als het gaat om het analyseren van data van studenten. De universiteit is al in 2013 begonnen met hun project Student Analytics. Om te leren van de 5 jaar ervaring bij de VU hebben wij gesproken met Theo Bakker projectleider van het Student Analytics-project aan de VU.

Theo Bakker is vanaf het begin betrokken bij het Student Analytics-project, waar hij door zijn achtergrond als Senior-Manager Onderwijs bij Deloitte ook veel kennis van buitenaf heeft meegebracht.

Student Analytics

De inhoud van het Student Analytics-project verschilt op een aantal punten van de definitie van Learning Analytics, vandaar ook de andere naam: Student Analytics. Het essentiële verschil is dat Learning Analytics naar het leerproces kijkt tussen docenten, studenten en de lesstof, terwijl Student Analytics zich richt op contextuele, administratieve data uit alle VU-informatiesystemen rondom het onderwijs. Student Analytics richt zich daarmee meer op lange termijn trends en informatie die beschikbaar is voor alle studenten.

Uit de analyses, die vaak over meerdere studiejaren gaan ontdekken zij veel interessante patronen. Zo kan bijvoorbeeld naar voren komen dat studenten die in hun eerste jaar slechts 40 (van de 60) studiepunten halen, in 80% van de gevallen 2 jaar langer doen over hun studie. Op basis van dit soort analyses kan de VU inmiddels goed inschatten welke studenten een grote kans hebben om langer over zijn of haar studie te doen of helemaal stoppen met de studie.

In de praktijk bleek het experiment geen enkele invloed te hebben op het studiesucces

De VU heeft geprobeerd deze informatie te gebruiken voor gerichte studentbegeleiding met individuele studenten. Hiervoor heeft de VU een onderzoek gedaan, waarin zij hebben getest of deze data kan worden omgezet naar persoonlijke studentspecifieke adviezen. Studenten die aan dit onderzoek meededen hebben expliciet toestemming gegeven om hun gegevens hiervoor te verwerken en te gebruiken voor persoonlijke adviezen. Elke week kwam het achterliggende, speciaal hiervoor ontwikkelde, algoritme met een update van de kans van slagen per student. Aan de hand hiervan konden gesprekken gevoerd worden door studieadviseurs en tutoren.

Bij de VU hebben zij aan den lijve ondervonden dat het lastig is om gesprekken met studenten te hebben op basis van de resultaten van een algoritme alleen. “In de praktijk bleek het experiment geen enkele invloed te hebben op het studiesucces.”, geeft Theo Bakker aan. Hij laat wel weten dat ze het voor nu hebben geprobeerd en niet met het gewenste resultaat: “Misschien kan een negatieve uitspraak (red: het hebben van een kleine kans van slagen) zelf meer kwaad doen dan dat het goed doet. Hierdoor zijn wij anders gaan nadenken over hoe wij deze data kunnen gebruiken. Het onderzoek heeft ons met name geleerd om goed na te denken over onze ethische keuzes, in aanvulling op onze privacyrichtlijnen. Die hebben we opgeschreven in onze Code of Practice , die ook voor andere onderwijsinstellingen beschikbaar is om te gebruiken.”

Analyse

De VU analyseert gegevens van studenten vanuit een groot aantal informatiebestanden. In de informatiebestanden staat onder andere informatie over de inschrijvingen, cijfers en matching. Deze informatie wordt geanalyseerd en dan kunnen trends worden herkend. In de afbeelding hieronder uit de Code of Practice is te zien welke gegevens allemaal worden verzameld en geanalyseerd. Tijdens de eerste jaren lag de nadruk op het analyseren van de gegevens, momenteel zit dit in een volgend stadium, namelijk het toepassen van inzichten in de praktijk.

Beleidsevaluatie

Student Analytics wordt bij de VU steeds meer ingezet als middel voor beleidsevaluatie en de ontwikkeling van nieuw beleid. Denk bijvoorbeeld aan het effect van het verhogen van het aantal studiepunten voor het BSA (bindend studieadvies) op studiesucces. Dit kan echter niet direct, om een betrouwbare analyse te maken is wel vier of vijf jaar (aan data) nodig. Door meerdere jaren te analyseren kan geconstateerd worden of het verhogen van het aantal punten een positief effect heeft op het studiesucces of juist niet.

Theo Bakker geeft aan: “Het zit hem vaak in kleine beleidswijzigingen, maar al die kleine wijzigingen bij elkaar zorgt ervoor dat we veel beter snappen wie er aan de VU studeren, wat hun achtergrond is, wat hun informatiebehoefte is en wat hun behoefte aan begeleiding is.”

De methode is goed toe te passen op andere universiteiten, maar het creëren van de datasets en de bijkomende privacy implicaties kosten erg veel tijd

Maatwerk

De vraag die ons erg bezig houdt is: Is het Student Analytics-project maatwerk of te generaliseren naar de rest van de universiteiten en hogescholen in Nederland? Theo Bakker geeft op deze vraag aan: “De methode is goed toe te passen op andere universiteiten, maar het creëren van de datasets en de bijkomende privacy implicaties kosten erg veel tijd.” De data die de VU gebruikt voor Student Analytics komt uit systemen die veel andere universiteiten ook in gebruik hebben. Wat erg belangrijk is tijdens het analyseren van de data, is dat dit goed en betrouwbaar gedaan wordt. Dit zorgt ervoor dat de output correct en te vertrouwen is en er ook daadwerkelijke verbanden aangetoond worden. Om dit kunnen garanderen heeft de VU het verwerkingsmodel van het CBS aangehouden.

Overzicht

De VU heeft dankzij hun Student Analytics-project erg veel inzicht gekregen op de manier waarop zij hun beleid (in overleg met de studentenraad) kunnen aanpassen en valideren. Alleen staat het hebben van veel data en analyse niet gelijk aan het verhogen van het studiesucces. Bij veel beleidsaanpassingen geldt dat het effect pas meetbaar is over langere periode en heeft dit niet op korte termijn invloed op studiesucces op student niveau.

De methode stelt de VU stelt dus in staat de “student” te kennen en met deze kennis systematisch hun onderwijs te verbeteren, maar het verbeteren van hun studiesucces vanaf dag 1 blijft een uitdaging.

In de volgende blog gaan we verder in op hoe Learning Analytics kan helpen het studierendement te verhogen en wat de best practises zijn aan de hand van voorbeelden.

Meer weten over hoe learning analytics een onderwijsinstelling kan ondersteunen, neem een kijkje in de andere engelstalige blogs omtrent Learning Analytics

Wil je op de hoogte worden gehouden van deze blog serie? Schrijf je dan in voor onze nieuwsbrief.

Alle afbeeldingen in deze blog zijn overgenomen met toestemming van de VU.