Is feedback van ChatGPT op geschreven teksten beter dan feedback van leerkrachten?

Mark Warschauer, hoogleraar aan University of California, Irvine, deelde vandaag een pre-print van een interessante studie waarin feedback werd gegeven door een getrainde leerkracht of door ChatGPT op teksten die door leerlingen waren geschreven. 

Dit is de prompt die de onderzoekers gebruikten voor ChatGPT: “Pretend you are a secondary school teacher. Provide 2-3 pieces of specific, actionable feedback on each of the following essays...that highlight what the student has done well and what they could improve on. Use a friendly and encouraging tone. If needed, provide examples of how the student could improve the essay.”

Hun studie laat zien dat feedback van de getrainde leerkrachten op vier van de vijf door de onderzoekers gebruikte kwaliteitscriteria beter scoort dan de feedback van ChatGPT. Warschauer en zijn team concluderen ook dat de verschillen in kwaliteit van de feedback opvallend klein zijn.

Warschauer en zijn collega’s concluderen op basis van hun bevindingen dat ChatGPT (nog) geen vervanging is voor feedback van een leerkracht, maar dat leerlingen ChatGPT zouden kunnen gebruiken als aanvulling op feedback van een leerkracht.

Het abstract:

Offering students formative feedback on drafts of their writing is an effective way to facilitate writing development. This study examined the ability of generative AI (i.e., ChatGPT) to provide formative feedback on students’ compositions. We compared the quality of human and AI feedback by scoring the feedback each provided on secondary student essays (n=200) on five measures of feedback quality: the degree to which feedback (a) was criteria-based, (b) provided clear directions for improvement, (c) was accurate, (d) prioritized essential features, and (e) used a supportive tone. We examined whether ChatGPT and human evaluators provided feedback that differed in quality for native English speakers and English learners and for compositions that differed in overall quality. Results showed that human raters were better at providing high-quality feedback to students in all categories other than criteria-based. Considering the ease of generating feedback through ChatGPT and its overall quality, practical differences between humans and ChatGPT were not substantial. Feedback did not vary by language status for humans or AI, but AI and humans showed differences in feedback based on essay quality. Implications for generative AI as an educational tool are discussed.

Een betere schrijver worden door writing assistants?

Terwijl de halve onderwijswereld momenteel het hoofd breekt over de kansen en bedreigingen van ChatGTP is de opmars van AI in het onderwijs uiteraard al langer aan de gang. Zo maken docenten en studenten steeds vaker gebruik van writing assistants zoals Grammarly en Pigai. Deze assistants maken gebruik van onder andere natural language processing om fouten in teksten te identificeren en feedback of tips over je schrijfsels te genereren. Een nieuwe meta-analyse onderzocht de effectiviteit van writing assistants. De resultaten van deze meta-analyse laten zien dat het gebruiken van zulke writing assistants inderdaad ertoe leidt dat studenten betere teksten gaan schrijven.

Het abstract

Automated writing evaluation (AWE) has been frequently used to provide feedback on student writing. Many empirical studies have examined the effectiveness of AWE on writing quality, but the results were inconclusive. Thus, the magnitude of AWE’s overall effect and factors influencing its effectiveness across studies remained unclear. This study re-examined the issue by meta-analyzing the results of 26 primary studies with a total of 2468 participants from 2010 to 2022. The results revealed that AWE had a large positive overall effect on writing quality (g = 0.861, p < 0.001). Further moderator analyses indicated that AWE was more effective for post-secondary students than for secondary students and had more benefits for English as a Foreign Language (EFL) and English as a Second Language (ESL) learners than for Native English Speaker (NES) learners. When the genre of writing was considered, AWE showed a more significant impact on argumentative writing than on academic and mixed writing genres. However, intervention duration, feedback combination, and AWE platform did not moderate the effect of AWE on writing quality. The implications and recommendations for both research and practice are discussed in depth.

Je eigen feedback genereren met rubrics en voorbeelden?

Kunnen leerlingen hun eigen feedback genereren en daarmee hun schrijfprestaties verbeteren? Deze vraag staat centaal in een nieuwe studie van Lipnevich, Panadero en Calistro. In deze studie onderzochten de onderzoekers de effecten van rubrics en exemplars (voorbeelden) op schrijfprestaties van leerlingen in het voortgezet onderwijs door deze leerlingen te vragen deze hulpmiddelen te gebruiken om hun eigen feedback te maken. Uit het onderzoek bleek dat leerlingen in de condities met rubrics en exemplars het meest profiteerden en dat hun prestaties verbeterden na een training over het gebruik van deze hulpmiddelen. De onderzoekers concludeerden dat het loont om leerlingen aan te moedigen om rubrics en voorbeelden te gebruiken om zelf feedback te genereren. Dit kan hun prestaties kan helpen verbeteren en kan ook de werklast voor leraren kan verminderen.

Het abstract

Teachers across educational systems struggle to find time to provide quality feedback to their students. Asking students to create their own feedback has been shown to enhance students’ performance. In this experimental study, we explored the effects of rubrics and exemplars on writing performance, encouraging students to employ these tools for self-feedback generation. Two hundred six 9th- and 10th-grade students participated. Students were asked to write an essay and revise it based on the information provided to them under four conditions: control, rubrics, exemplars, and combined condition (rubrics and exemplars). After submitting the revised version of their essay, students in experimental conditions were trained on how to use rubrics and/or exemplars. Students were then asked to write another essay and revise it based on the information consistent with their experimental group membership (i.e., control, rubric, exemplars, combined). We found that students in the rubrics condition benefited the most, closely followed by students in the exemplars condition, and then the combined condition. The performance across conditions was somewhat variable for the three performance outcomes. Furthermore, the improvement in the usage of the tools following the training session was the highest for the exemplars condition. We conclude that teachers can encourage students to use both rubrics and exemplars to generate self-feedback and improve performance. This way, teachers’ workload can be significantly decreased.

Impact statement

This study suggests that high school students can effectively use rubrics and exemplars to self-assess, generate self-feedback, and revise their essays based on it. That is, rubrics and exemplars have a potential to both enhance self-feedback that leads to higher performance and to increase teachers’ efficient use of time. 

 Lipnevich, A. A., Panadero, E., & Calistro, T. (2022). Unraveling the effects of rubrics and exemplars on student writing performance. Journal of Experimental Psychology: Applied. Advance online publication. https://dx.doi.org/10.1037/xap0000434

Een goede schrijver geeft goede feedback, een slechte schrijver geeft slechte feedback?

Bij peer feedback geven leerlingen feedback aan hun medeleerlingen. Hoewel het geven en ontvangen leerzaam kan zijn voor beide partijen, zijn er ook zorgen over peer feedback. Niet in de laatste plaats bij leerlingen zelf: zij vragen zich geregeld af of hun medeleerlingen wel voldoende vaardig zijn om goede feedback te geven. Als leerlingen elkaar bijvoorbeeld feedback moeten geven op een geschreven tekst, maar de feedbackgever is geen sterke schrijver, kan deze feedbackgever dan wel goede feedback geven? Een studie die onlangs verscheen in Journal of Educational Psychology onderzocht de impact van de schrijfvaardigheid van degene die peer feedback geeft op de kwaliteit van de feedback die deze leerling geeft. De auteurs, Wu en Schunn, vonden dat het nuttiger is om uit te gaan van de meer specifieke sterke en zwakke punten van elke beoordelaar. Het maakte in deze studie niet uit of een leerling in het algemeen meer of minder succesvol was in zijn eigen schrijfprestaties. Het was veeleer van belang of zij het specifieke onderwerp dat zij moesten beoordelen, onder de knie hadden. Wanneer hun eigen schrijven het specifieke probleem had dat het document dat zij moesten beoordelen, had, gaven zij minder nuttige feedback. De auteurs concluderen dat ook zwakkere schrijvers toch nuttige feedback kunnen geven aan hun medeleerlingen.

Het abstract

Although peer review has been widely used for formative assessment in writing instruction, there remain concerns about whether assessors are at a sufficient writing performance level that would allow them to identify major problems in the reviewed work and provide helpful feedback to improve draft quality. Little empirical research has examined how assessor writing performance specifically influences problem identification accuracy and helpfulness of feedback, nor has it acknowledged different grain sizes of assessor performance. Assessor writing performance at different grain sizes (i.e., performance at the levels of genre, dimension of a genre, and specific problem topic) was assessed alongside problem identification accuracy and feedback helpfulness in 234 high school students who participated in an anonymous multipeer review in a secondary writing course in the United States. A correlation analysis showed that assessor performance levels on specific problem topics were meaningfully separable, thereby allowing for consideration of the effects of assessor performance at genre, dimension, and topic levels. Multiple regression results indicated that assessor writing performance was unrelated to problem identification accuracy at any grain size. Therefore, scaffolds in the reviewing process appear sufficient to support problem identification accuracy. However, assessor writing performance, particularly on specific dimensions and specific topics, consistently predicted helpfulness of feedback, even though lower performing assessors rarely produce incorrect advice. Theoretical and practical implications of the findings are discussed.