La seule expérience où la division n'a pas fait de différence

Lire sur l’apprentissage adaptatif pour ce fil a mené quelque part que je n’attendais pas : pas un autre jeu de données EEG, mais une question sur si toute l’histoire de fuite que je raconte se généralise même au-delà des neurosciences.

Pourquoi pas de l’EEG cette fois

L’idée originale — enregistrer le timing des questions, les tentatives, et l’usage d’indices de mes propres sessions d’étude — a besoin d’un outil de journalisation qui n’existe pas encore. Plutôt que de fabriquer des données pour garder le fil en mouvement, j’ai cherché un vrai jeu de données public avec la même forme de signal, et j’en ai trouvé un : ASSISTments, une plateforme de tutorat dont les journaux d’interaction de 2009-2010 (523 534 tentatives de questions, 4 213 étudiants) sont une référence standard en fouille de données éducatives. Corbett & Anderson, 1994 Chaque ligne enregistre si une réponse était correcte, combien de temps la première réponse a pris, combien de tentatives et d’indices ont été utilisés, et combien de fois cet étudiant avait pratiqué cette compétence spécifique avant.

Un détour par les styles d'apprentissage d'abord

Avant de toucher aux données, j’ai lu autour de l’idée des « styles d’apprentissage » — l’affirmation qu’adapter l’enseignement à un style visuel/auditif/kinesthésique améliore l’apprentissage. Le résumé honnête : un soutien faible à inexistant. Pashler et al., 2008 a trouvé que la recherche à l’appui manquait des designs randomisés nécessaires pour lui faire confiance, et une méta-analyse plus récente de Clinton-Lisell & Litzinger, 2024 a trouvé seulement un petit effet, décrit comme trop petit pour justifier d’adopter la théorie. Une affirmation de différence individuelle mieux soutenue est la capacité de « construction de structure » — McDaniel, Marsh & Gouravajhala, 2022 a trouvé qu’elle prédit la compréhension de façon cohérente, en laboratoire et en classe. Rien de tout ça n’a nourri directement l’expérience ci-dessous, mais ça a façonné ce que j’étais prêt à supposer au départ : pas grand-chose.

L’expérience

Même structure que chaque expérience de fuite de ce fil : prédire un résultat binaire (ici, correct vs incorrect) à partir d’un petit ensemble de caractéristiques, en utilisant la régression logistique, comparée entre une division aléatoire à 5 plis et une division par étudiant (GroupKFold par ID d’étudiant), plus un modèle nul à étiquettes mélangées.

Les caractéristiques sont délibérément génériques — rien sur quelle compétence ou question, seulement sur l’interaction elle-même : temps de réponse logarithmique, nombre de tentatives, nombre d’indices, total d’indices disponibles, log(opportunité — combien de fois cet étudiant a vu cette compétence avant), et si un indice complet a été utilisé.

Le résultat

ASSISTments : prédire la justesse, division aléatoire vs par étudiant
Division	Précision équilibrée
Aléatoire (fuite)	0,866 ± 0,002
Par étudiant	0,865 ± 0,006
Nul (mélangé)	0,500 ± 0,000

L’écart est de 0,001. Pour comparaison, le plus petit écart ailleurs dans ce fil était 0,027 (imagerie motrice), et le plus grand était 0,182 (EEGMAT). Celui-ci est effectivement nul, sur le plus grand échantillon de toute la série — 4 213 étudiants, contre 10-36 dans les expériences EEG et capteurs portables.

Pourquoi ce n'est pas une contradiction

Les caractéristiques ici — temps de réponse, usage d’indices, nombre de tentatives — décrivent à quel point une question est difficile pour qui que ce soit qui y répond, pas qui est cette personne. Une réponse lente et trois indices prédisent une mauvaise réponse presque de la même façon pour n’importe quel étudiant. Les caractéristiques EEG et de capteurs portables portent par nature beaucoup plus d’information d’identité de la personne (géométrie du crâne, ligne de base de conductance de la peau, signatures spectrales individuelles), ce qui est exactement ce qu’une division aléatoire laisse un modèle exploiter gratuitement. Retirer cette information d’identité des caractéristiques, et l’avantage de la division aléatoire disparaît en grande partie avec elle.

Ce que ça ajoute à la checklist

La checklist d’un article précédent de ce fil disait que la taille de l’écart de fuite dépend de la tâche et du jeu de données. Ce résultat précise ça : ça dépend spécifiquement de combien d’information d’identité de la personne est intégrée dans les caractéristiques, pas le type de signal brut ou la difficulté de la tâche. Un écart proche de zéro n’est pas une preuve que la discipline d’évaluation n’a pas d’importance ici — la vérification par étudiant reste la seule façon de le savoir — mais c’est une preuve que cet ensemble particulier de caractéristiques n’encode pas silencieusement « quel est cet étudiant » comme le font les motifs spatiaux de l’EEG.

Sources & articles utilisés pour apprendre cela

Pashler et al.2008

Learning Styles: Concepts and Evidence

La revue classique derrière la discussion sur les « styles d'apprentissage » dans cet article — argumente que la recherche soutenant l'enseignement adapté au style manquait des designs randomisés nécessaires pour lui faire confiance.
Read paper
Clinton-Lisell & Litzinger2024

A meta-analysis of learning styles

Un regard plus récent et plus sympathisant sur la même question — a trouvé un petit effet positif de l'adaptation de l'enseignement au style, mais le décrit comme trop petit et trop rare pour justifier d'adopter la théorie.
Read paper
McDaniel, Marsh & Gouravajhala2022

Individual Differences in Learning From Educational Materials: The Case of Structure Building

Une affirmation de différence individuelle plus défendable que les styles d'apprentissage : la capacité de « construction de structure » (former des modèles mentaux cohérents d'un texte) prédit la compréhension de façon cohérente à travers les études.
Read paper
Corbett & Anderson1994

Knowledge tracing: Modeling the acquisition of procedural knowledge

L'article fondateur derrière le knowledge tracing, la technique que les systèmes de tutorat adaptatif utilisent pour estimer ce qu'un étudiant sait actuellement à partir de son historique de réponses.
Read paper