De combien de données d'une nouvelle personne un modèle a-t-il besoin ?

Le dernier article s’est terminé par un écart inter-sujets faible mais réel : un modèle entraîné sur neuf personnes et testé sur une dixième qu’il n’avait jamais vue a obtenu un score nettement inférieur à un modèle entraîné et testé sur tout le monde regroupé.

Ça laisse une question suivante évidente. Le modèle n’a jamais vu cette dixième personne. Et s’il en voyait un peu d’abord ?

Le dispositif

Mêmes données que la dernière fois : 10 sujets, jeu de données PhysioNet d’imagerie motrice, poing gauche vs droit imaginé, caractéristiques de puissance de bande (puissance logarithmique sur quatre bandes de fréquences, 32 canaux), régression logistique.

Pour chacun des 10 sujets à tour de rôle, je l’ai exclu complètement : entraîné seulement sur les 9 autres. Puis, avant le test, j’ai laissé le modèle voir un petit nombre des propres essais de ce sujet exclu aussi — ajoutés à l’ensemble d’entraînement, pas substitués — et retesté. J’ai utilisé des tailles de calibration de 0, 2, 5, 10 et 20 essais.

Pour garder la comparaison juste, j’ai fixé 20 essais de chaque sujet comme ensemble d’évaluation qui n’est jamais utilisé pour la calibration, peu importe combien d’essais de calibration ont été ajoutés. Les essais de calibration sont tirés du reste du lot. C’est la même discipline par sujet de l’article précédent, juste avec une fuite contrôlée de quelques essais réintroduite exprès — ce qui est tout le but de la calibration.

Le résultat

Courbe de calibration : précision équilibrée moyenne sur 10 sujets exclus
Essais de calibration	Précision équilibrée moyenne	Écart-type
0	0,559	±0,106
2	0,554	±0,121
5	0,577	±0,122
10	0,597	±0,127
20	0,634	±0,069

Deux essais de calibration n’ont rien fait — si quoi que ce soit, la moyenne a légèrement baissé, ce que je lis comme du bruit étant donné l’étalement de ±0,121, pas un effet réel. À partir de 5 essais, la tendance s’inverse vers le haut et continue de monter : à 20 essais, la précision équilibrée moyenne est de 0,634, environ 7,5 points au-dessus de la base sans calibration.

L’écart-type rétrécit aussi à mesure que les essais de calibration augmentent — de 0,106 sans calibration à 0,069 à 20. C’est un deuxième effet qui mérite d’être nommé séparément de la moyenne qui monte : la calibration n’augmente pas juste la moyenne, elle rend la performance du modèle plus cohérente d’une personne à l’autre. Une partie de ce qu’un modèle à sujet exclu se trompe est réellement spécifique à la personne, et une poignée des propres essais de cette personne corrige exactement la partie que l’entraînement regroupé ne pouvait pas.

Où ça laisse le fil

Deux articles, une vraie boucle : regroupez tout le monde et vous gonflez votre score avec de la reconnaissance de personne ; excluez une personne entièrement et le score chute vers quelque chose de plus proche de la vérité ; laissez le modèle voir un peu de cette personne et une partie, mais pas toute, de la chute récupère. C’est le cycle « sentir, interpréter, s’adapter, re-mesurer » auquel tout ce projet revient sans cesse, exécuté une fois, honnêtement, sur de vraies données EEG.

Sources & articles utilisés pour apprendre cela

Lotte et al.2018

A review of classification algorithms for EEG-based brain-computer interfaces: a 10-year update

La calibration par sujet est un sujet établi dans la littérature BCI, rien de nouveau ici — cette revue est où j'ai appris le vocabulaire et les compromis habituels.
Read paper
Schalk et al.2004

BCI2000: A General-Purpose Brain-Computer Interface (BCI) System

Le système d'acquisition derrière le jeu de données PhysioNet EEG Motor Movement/Imagery utilisé pour cette expérience.
Read paper
Jayaram & Barachant2018

MOABB: trustworthy algorithm benchmarking for BCIs

Montre le même pipeline se comportant très différemment selon les jeux de données d'imagerie motrice — un rappel de ne pas trop généraliser une courbe de calibration à partir d'un seul jeu de données.
Read paper