Wat zijn learning analytics?

Learning analytics staat voor “the measurement, collection, analysis and reporting of data about learners and their contexts (1), for purposes of understanding and optimising learning (2) and the environments in which it occurs”. 

• “data about learners and their contexts” (1)
  • De opkomst van digitale leerplatformen in het (hoger) onderwijs maakt het leerproces van studenten veel zichtbaarder dan pakweg 20 jaar geleden. Immers: een groot deel van de informatie-overdracht en communicatie tussen de docent en student gebeurt via deze platformen, en bovendien slaan ze al die activiteit op. 
  • De ‘digitale sporen’ die (groepen) studenten achterlaten geven lesgevers een beter zicht op hoe hun studenten interageren met de leerinhoud die ze op het leerplatform plaatsten.
• “for purposes of understanding and optimising learning” (2)
  • De learning analytics of analyses van het leerproces van studenten binnen de digitale leeromgeving kunnen lesgevers helpen om het ‘leren’ van studenten beter te begrijpen en te optimaliseren.
  • De algemene regel is dat lesgevers de analyses uitvoeren op groepsniveau en zich niet mogen toespitsen op de individuele student. Je mag dus niet uit nieuwsgierigheid nagaan wanneer individuele studenten inloggen op het leerplatform of wanneer ze leeractiviteiten voltooien.
  • De UGent stelde een gedragscode op voor de verschillende gebruikers van de ‘onderwijsdata’. Wie onderwijsdata wil analyseren (dus: wie learning analytics toepast) vindt in die gedragscode aan welke regels hij of zij zich moet houden om de privacy van studenten te respecteren.

Gebruik van onderwijsdata binnen Ufora door lesgevers in functie van beleidsvorming, onderwijsoptimalisatie en studentenbegeleiding

Welke analyses kan je als lesgever uitvoeren op basis van de gegevens die beschikbaar zijn binnen Ufora? Waar kan je die gegevens en analyses vinden en wat kan je eruit leren? Daar gaat deze onderwijstip verder op in.

 

Percentage studenten die inhoud bezocht/bekeken heeft en gemiddelde bestede tijd

Deze analyse geeft:

• een overzicht van hoeveel studenten een bepaald inhoudsitem (leeractiviteit) bekeken hebben
• het totale aantal studenten die dat bepaald inhoudsitem kunnen bekijken. Met wat rekenwerk kan je hier een % uit afleiden
• de gemiddelde tijd die studenten spendeerden aan dit inhoudsitem

 

Deze analyse leert je inschatten hoe actief je studentengroep met je cursus aan de slag is. Zijn sommige inhoudsitems niet of nauwelijks bezocht? 

• Dan is het inhoudsitem niet zichtbaar voor de student of ze vinden er de weg niet heen.
• Ga de instellingen van het inhoudsitem na.
• Tip! Als er ‘tests’ tussen de inhoudsitems zitten, kan je ook nagaan hoeveel studenten de test invullen.

Deze analyse vind je zo op Ufora: 

Inhoud > Inhoudsopgave> Gerelateerde tools > Rapporten weergeven 

 

Analyses van Ufora-tests

Ufora-tests leveren zinvolle info op, ongeacht of je de test nu gebruikt voor oefeningen of voor effectieve evaluaties. 

Gebruikersstatistieken

• Deze analyse geeft:
  • de gemiddelde score van de studentengroep op de test
  • de scoreverdeling: hoeveel % van de studenten scoort boven of onder de helft?
• Deze analyse leert je:
  • inschatten hoe goed of hoe slecht de studentengroep de inhoud onder de knie heeft.

Deze analyse vind je zo op Ufora: 

Ufora-tools > Tests > Kies de test waarvoor je de analyse wil zien en klik op het ‘v’tje naast de naam van de test > Statistieken

 

Vraagstatistieken

• Deze analyse geeft:
  • de gemiddelde score van de studentengroep per testvraag
  • de scoreverdeling per testvraag: hoeveel % van de studenten scoort boven of onder de helft?
• Deze analyse helpt je de kwaliteit van de vraag te beoordelen, of die nu wordt ingezet als oefening of evaluatie:
  • Een vraag met een gemiddelde score test de kennis van de student goed.
  • Een vraag die door 100% van de studenten goed beantwoord wordt, is te makkelijk en draagt weinig bij aan de evaluatie.
  • Een vraag die door geen enkele student goed beantwoord wordt, is te moeilijk.

 Deze analyse geeft, naast de gemiddelde score, bijkomend de standaardafwijking, de discriminatie-index en de punt-biserele-correlatie.

• Discriminatie-index
  • Een goede vraag maakt onderscheid tussen de hoog presterende studenten en de laag presterende studenten. In het beste geval is het zo dat de studenten die hoog scoren op de test in zijn totaliteit ook hoog scoren op vraag X, terwijl de studenten die laag scoren op de test, vraag X fout hebben. Dan is er sprake van een goed discriminerende vraag of een vraag die dus een onderscheid maakt tussen de goed scorende en de laag scorende studenten. 
  • Stel je voor dat een vraag slecht beantwoord wordt door de groep hoog scorende studenten en goed beantwoord wordt door de groep laag scorende studenten, dan schort er iets aan de vraag.
• De punt-biserele-correlatie is de Pearson-correlatie voor dichotome variabelen.

 

Vraagdetails 

Deze analyse gaat per antwoordmogelijkheid van een meerkeuzevraag na hoeveel % van de studenten die antwoordmogelijkheid koos:

• Een ‘afleider’ (dit is een foute antwoordmogelijkheid) die door geen enkele student als het juiste antwoord wordt gekozen, is geen goede afleider. Wellicht is de antwoordmogelijkheid te overduidelijk fout. 
• Wanneer enkel het juiste antwoord geselecteerd wordt door de studenten, zijn alle andere afleiders ook niet goed. In dat geval zijn alle afleiders te overduidelijk fout. 
• Idealiter wordt iedere afleider ‘redelijk’ gekozen door de studenten als het juiste antwoord. Als dat het geval is dan is er sprake van reële twijfel bij studenten en moeten ze de antwoordmogelijkheden analyseren en afwegen ten opzichte van elkaar. Op die manier toets je onderliggende theoretische opvattingen goed af. 

Gebruik van onderwijsdata binnen Ufora door lesgevers in functie van evaluatie

Analyses van onderwijsdata op niveau van individuele studenten kunnen in bepaalde gevallen wel gebruikt worden  in functie van de evaluatie van studenten. Dit is echter enkel toegelaten wanneer er door de analyse kan aangetoond worden dat de student een bepaald leerdoel wel of niet bereikt heeft. 

Wat mag niet?

De lesgever mag niet evalueren op basis van wanneer en hoe lang een student actief was op het digitaal leerplatform.  

Wat kan wel?

Het kan bv. wel gaan over het al  of niet doorlopen van een leerpad, het indienen van een opdracht, het posten van een reactie op het discussieforum, het uploaden van een filmpje, enz. 

Deze data kunnen zowel gebruikt worden voor formatieve als voor summatieve evaluatie. Daarbij is het belangrijk dat  de lesgevers de studenten steeds op voorhand informeren over welke data gebruikt zullen worden en hoe de scoring verloopt. Dit gebeurt bij de start van de lessen en/of via een mededeling het elektronisch leerplatform. Op de studiefiche vermeld je in het veld 'toelichtingen bij de evaluatievormen' dat er gebruik zal gemaakt worden van learning analytics. 

Ufora-cursus learning analytics

De faculteiten Geneeskunde en Gezondheidswetenschappen en Economie en Bedrijfskunde hebben samen een inspirerende cursus ontwikkeld rond het topic learning analytics. Deze cursus vertelt je meer over

• wat nu precies die learning analytics zijn;
• welke soorten er bestaan;
• hoe je deze kan inzetten om jouw vak te optimaliseren. 

Laat je inspireren en ga snel naar de Ufora-cursus: Learning Analytics faculteit Geneeskunde en Gezondheidswetenschappen (Cursuscode LEARNINGANALYTICSFACGE)

Meer weten?

• Gedragscode onderwijsdata aan de UGent
• 1st International Conference on Learning Analytics and Knowledge, Banff, Alberta, February 27–March 1, 2011, as cited in George Siemens and Phil Long, "Penetrating the Fog: Analytics in Learning and Education," EDUCAUSE Review, vol. 46, no. 5 (September/October 2011)