نفس الـ Model، تقيّم جوج مرات — Random Split ضد Subject-Wise Split
البحث · العصبي الاصطناعي والأشخاصدرّبت نفس الـ classifier على نفس الداتا ديال EEG وقيمتو بجوج طرق مختلفين. score واحد كان كذوب. هاهي التجربة، الأرقام، وفين غلطت فـ أول version.
فهاد المقال
درّبت classifier على داتا ديال EEG، قيمتو، ولقيت 0.871 ديال balanced accuracy.
من بعد قيمت نفس الـ model المدرب بطريقة مختلفة، على نفس الداتا بالضبط، ولقيت 0.690.
والو ما تبدل فالـ model. والو ما تبدل فالداتا. غير حاجة وحدة تبدلات: شكون الـ essais لي خلاوهم يكونو مع بعضياتهم فـ training set.
جوج طرق باش تقطع نفس الكوطة
نكول عندي EEG ديال 36 شخص، ولكل شخص عندي بزاف segments قصار: شي واحدين مسجلين فـ rest، شي واحدين وهوما كيديرو arithmétique mentale. بغيت نـclassifie rest ضد arithmétique.
الطريقة العادية باش نقيمو classifier هي k-fold cross-validation: نخلطو كاع الـ segments مع بعضياتهم، نقسمو لـ 5 folds، ندربو على 4، نجربو على 1، ونعاودو. هادشي هو random split.
الطريقة الأخرى هي ماخليش حتى segments ديال شخص يفوتو من training لـ test. تختار شكون الناس لي غادين فـ test fold، ماشي شكون السيغمونات. هادشي هو subject-wise split — فـ scikit-learn، GroupKFold مع subject ID كـ groupe.
Figure · leakage
Two ways to split the same data — only one survives contact with reality
Random split
leakyEvery subject appears in both sets. The model can win by recognising who, not what state.
The score looks excellent — and it is measuring familiarity, not the condition.
Leave-subjects-out
honestSubjects 1–3 train, 4–5 test. The model has never seen a test brain before.
The score is lower — and it is the only one that would survive contact with a new person.
Each row is one participant, each tile one epoch. Segments from one person really are more alike than segments from different people, so a random split quietly hands the model that signature for free — and the score stops meaning what we think it means. Brookshire et al., 2024
الـ random split فيها leakage حيت segments ديال نفس الشخص كيشبهو بعضياتهم كثر من segments ديال ناس مختلفين — نفس شكل الجمجمة، نفس impédance ديال electrode هاد النهار، نفس rythme دماغي أساسي. model يقدر يحل جزء من « rest ضد arithmétique » بحل « شكون هاد الشخص »، و random split كتخليه يدير هادشي ببلاش، من الجوج جوانب ديال الـ split. Brookshire et al., 2024
تجربة 1: rest ضد arithmétique mentale (EEGMAT)
استعملت dataset ديال PhysioNet EEGMAT — 36 شخص، كل واحد عندو recording ديال rest و recording ديال arithmétique mentale، 21 channel فـ 500 Hz. قطعت كل recording لـ windows ديال 10 ثواني بلا تداخل، ولكل window حسبت log band power (delta/theta/alpha/beta/gamma) على كل channel — 100 feature لكل window، 850 window فالمجموع.
فوق هادشي: régression logistique، مع feature scaler مضبوط غير فـ كل training fold — عمرو ماضبط على الـ dataset الكامل أول. ضبط scaler قبل الـ split هي نفسها leakage صغيرة، وسهل بزاف تفوتك.
| Split | Moyenne | Écart-type | شنو كتعني |
|---|---|---|---|
| Random (fuite) | 0.871 | ±0.025 | segments مخلطين بين الناس |
| Subject-wise | 0.690 | ±0.048 | ناس كاملين مستبعدين |
| Null (labels مخلطين) | 0.496 | ±0.015 | labels عشوائيين، subject-wise split — خاصها تكون حدا chance |
الفرق هو 0.182 — تقريبا 18 نقطة ديال balanced accuracy، فالاتجاه لي قصة الـ leakage كتتوقع. الـ null model لي طاح قريب بالضبط على 0.5 هو لي كيقوليا بلي 0.690 ديال subject-wise هو signal حقيقي وماشي artefact ديال كيفاش بنيت الـ pipeline: إلا الـ null عطا score فوق chance بزاف، شي حاجة فـ code ديالي كانت غاتسرب معلومة الـ label بغض النظر على الـ split.
تجربة 2: قبضة يسرى ضد يمنى متخيلة (motor imagery)
نفس السؤال، signal أصعب. استعملت 10 sujets من dataset ديال PhysioNet EEG Motor Movement/Imagery، mouvement ديال قبضة يسرى ضد يمنى متخيل، 64 channel فـ 160 Hz، passe-bande 1–40 Hz زائد filtre coupe-bande 60 Hz (كاين line noise حقيقي فـ 60 Hz فهاد الـ matériel ديال recording — تأكدت بـ power spectrum مزوومي قبل ما نفترض والو).
أول محاولة ديالي استعملت CSP (Common Spatial Patterns)، الفيلتر spatial القياسي ديال decoding ديال motor-imagery، متبوع بـ LDA. مضبوط بشكل صحيح فـ كل fold ديال cross-validation، بلا leakage. النتيجة: كلشي عطا score ديال chance.
| Split | Moyenne | Écart-type |
|---|---|---|
| Random | 0.452 | ±0.022 |
| Subject-wise | 0.504 | ±0.023 |
| Null (مخلط) | 0.490 | ±0.025 |
الثلاثة أرقام كاينين فـ noise ديال بعضياتهم. ماكاين حتى écart ديال leakage باش نلقاوه هنا حيت ماكاين حتى signal من الأول — ماشي bug، décalage فـ modélisation. CSP كتضبط filtre spatial واحد لكل training set، وهاد الفيلتر مضبوط على géométrie ديال أي دمغان كاينين فيه. تجمع essais ديال عشرة ناس مختلفين قبل ما تضبط CSP، والفيلتر فالأخير كيدير compromis بين عشرة géométries مختلفين بلاصة ما يوصف واحدة منهم مزيان. هادشي هو، بشكل صغير، بالضبط المشكل ديال التعميم لي باقي هاد المشروع كيهضر عليه — بان من أول baseline.
تبديل CSP بنفس features ديال band-power المستعملين فـ تجربة 1 (log power عبر 4 bandes، 32 channel) صلحو:
| Split | Moyenne | Écart-type |
|---|---|---|
| Random (fuite) | 0.599 | ±0.041 |
| Subject-wise | 0.573 | ±0.043 |
| Null (مخلط) | 0.456 | ±0.044 |
دابا الـ null كاين واضح تحت الجوج scores الحقيقيين، إذن كاين signal متعلم. الفرق صغير — 0.027 — بزاف أصغر من 0.182 ديال EEGMAT. كنقرا هادشي بلي التاش صعيبة بالصح، ماشي مشكل فـ pipeline: baseline ديال sujet واحد لي دريتها قبل على نفس التاش ديال قبضة يسرى/يمنى، بـ 45 essai غير، عطات هي كيفكذلك score ضعيف 0.535 ± 0.145. Rest-ضد-arithmétique عندها signature كبيرة، بطيئة، على الدماغ كاملو. Motor imagery يسرى-ضد-يمنى عندها واحدة أدق، أكثر localisée، و10 sujets و450 essai ماشي بزاف باش تلقاها فيه.
شنو كناخد من هادشي
النتيجة الصادقة ماشي « subject-wise splitting كتنقص score ديالك، attention ». هي أضيق وأفيد من هادشي: كبر الفرق بين random split و subject-wise split كيقوليك شحال من المهارة الظاهرة ديال model ديالك كانت reconnaissance ديال شخص متلبسة، وهاد الرقم مختلف لكل تاش ولكل ensemble ديال features. لـ rest-ضد-arithmétique بـ band power، بزاف من score ديال random split كان هادشي. لـ motor imagery، ملي صلحت الـ pipeline، ماكانش بزاف — الفرق لي بقا قريب من شنو كنتوقعو من جوج échantillons ديال 5-fold مختلفين شوية وبنفس الحجم.
المصادر و المقالات لي استعملت باش نتعلم هادشي
-
Data leakage in deep learning studies of translational EEG
المصدر الرئيسي ديال هاد المقال. راجعو 63 دراسة منشورة ديال deep learning فـ EEG ولقاو غير 17 لي تجنبو بوضوح leakage على مستوى الـ sujet؛ فـ ré-exécution واحدة، accuracy على participant مستبعد هبطت من قريب كاملة لـ قريب chance.
Read paper -
Electroencephalograms during Mental Arithmetic Task Performance (EEGMAT dataset)
الـ dataset لي استعملت فأول تجربة — 36 sujet، EEG فـ rest ضد arithmétique mentale، 23 channel، segments قصار بلا artefacts.
Read paper -
BCI2000: A General-Purpose Brain-Computer Interface (BCI) System
كيشرح الـ acquisition system لي موراء dataset ديال PhysioNet EEG Motor Movement/Imagery لي استعملتو فالتجربة الثانية.
Read paper -
A review of classification algorithms for EEG-based brain-computer interfaces: a 10-year update
خلفية على CSP وعلاش هو filtre spatial مضبوط على مجموعة recordings معينة ماشي extracteur عام ديال features — مهم باش نفهمو علاش جمع الـ sujets قبل ضبط CSP خاب هنا.
Read paper