Reproduire une figure de mémoire de travail — et ce qui n'a pas correspondu

Chaque article de ce fil jusqu’ici a été ma propre expérience, selon mes propres termes. Celui-ci est différent exprès : prendre une affirmation spécifique et concrète d’un article publié, essayer de la reproduire sur les mêmes données publiques, et rapporter ce qui s’est réellement passé — y compris si ça ne correspond pas.

L’affirmation

Pavlov et al., 2022↗ a collecté de l’EEG de 86 personnes faisant une tâche de séquence de chiffres : écouter une séquence parlée de 5, 9, ou 13 chiffres, puis soit les rappeler à voix haute (condition mémoire) soit ne rien faire (contrôle d’écoute seule). Ils rapportent, dans leur Fig. 3d, que le thêta frontal médian — la puissance EEG autour de 6 Hz à l’électrode Fz — augmente dans la condition mémoire comparée à la condition contrôle. Aucun chiffre n’est donné dans le texte de l’article pour ça, seulement la figure et l’affirmation qualitative.

C’est la cible : une électrode spécifique, une bande de fréquence spécifique, une direction d’effet spécifique.

Ce que j’ai fait

J’ai téléchargé l’EEG de trois sujets du jeu de données (OpenNeuro ds003838, disponible publiquement) — les trois premiers sujets marqués comme ayant un EEG utilisable dans la propre table de participants du jeu de données. Pour chaque essai, j’ai trouvé le dernier chiffre présenté, pris la fenêtre de 3 secondes juste après (l’intervalle de rétention avant le rappel, selon la description du timing de la tâche elle-même), et calculé la puissance logarithmique dans la bande thêta 4–8 Hz au canal Fz.

Le résultat

Deux sujets sur trois sont allés dans la direction opposée à l’affirmation de l’article. Le troisième est allé dans la bonne direction, à peine. En moyenne sur les trois : une différence moyenne de −0,050 (mémoire plus bas que contrôle, pas plus haut), avec un test t apparié de t = −1,190, p = 0,356 — loin d’être significatif, ce qui avec n=3 n’allait de toute façon pas en dire beaucoup dans un sens ou l’autre.

Pourquoi je publie une non-réplication quand même

La version honnête de cet article est « ma version petite et rapide de cette analyse n’a pas montré l’effet que l’article rapporte », pas « j’ai réfuté un résultat publié » et pas « je ne publie pas discrètement ça parce que ça n’a pas marché ». La checklist de l’article précédent s’applique à mes propres résultats autant qu’à n’importe qui d’autre : petit échantillon, un seul jeu de données, un ensemble de choix méthodologiques que j’ai faits sans correspondre exactement au pipeline original de l’article. Un résultat qui ne se réplique pas dans ces conditions est informatif sur les limites d’une tentative de reproduction rapide — ce n’est pas une preuve solide ni pour ni contre l’affirmation originale.

Le code

Chaque script de ce fil — les expériences de fuite, la courbe de calibration, la comparaison poignet-vs-poitrine, et cette tentative de reproduction — est public : github.com/anonymnd/EEG. L’historique des commits suit le même ordre que les articles, y compris l’échec de regroupement CSP et le bug de métrique de déséquilibre de classe, laissés tels quels plutôt que nettoyés après coup.

Sources & articles utilisés pour apprendre cela

1. Pavlov et al. · 2022

   Pupillometry and electroencephalography in the digit span task

   Le jeu de données et l'affirmation que cet article essaie de reproduire : le thêta frontal médian augmentant dans la condition mémoire vs un contrôle d'écoute seule, rapporté dans leur Fig. 3d.

   Read paper ↗