Evaluating ERP methodology and statistics in experiments using N400 after picture stimuli

Abstract

The knowledge about event-related potentials (ERP) methodology that has accumulated across decades provides useful guidance to researchers on how to make decisions they encounter in ERP experiments. However, while basic standards outline what is not acceptable, there are still many decisions to make when recording and analyzing ERP data, and for each of them, multiple options are acceptable, resulting in thousands of potential unique data pre-processing and analysis strategies. Having this in mind, the goal of the studies presented here was to explore the way ERP research is done and presented, to examine the consequences of these decisions, to highlight some common issues, and to contribute to advocating for more rigorous methodology and more comprehensive reporting. These issues were explored in two studies. In Study 1, methodology trends in ERP research were examined using a systematic review approach. In Study 2, data from an existing, published study was used to assess how the variability in basic processing and analysis decisions which is found in the existing literature could influence experimental effects. Due to the diversity of ERP methodology, we focused on a narrow category of ERP studies, those investigating a well-established component (the N400), in the most commonly assessed population (healthy neurotypical adults), in one of its common modalities (visual images). The studies demonstrate that improvements in reporting on ERP methods are necessary and show which points are most often overlooked. Furthermore, we identify the most common deviations from the guidelines for good practice, as well as methodological decisions which could have influence on ERP effects and statistical power to detect them. Finally, we provide basis for a priori analysis strategies for future studies.

Сазнања о методологији истраживања потенцијала у вези са догађајем (ERP) акумулирана током деценија пружају корисне смернице истраживачима при доношењу истраживачких одлука. Међутим, иако постоје основни стандарди о томе које праксе нису прихватљиве, истраживачима и даље остаје много одлука које се морају донети приликом снимања и анализе ERP сигнала, и за сваку од њих постоји више решења. Последично, у сваком експерименту постоје хиљаде могућих стратегија обраде и анализе података у сваком истраживању. Стога, циљ овде изложених истраживања био је да се истраже како начин на који се ERP истраживања спроводе и о њима извештава, тако и последице одлука које се доносе, да се истакну чести проблеми, и да се допринесе настојањима да се истраживања спроводе темељније и о њима извештава детаљније. Ови проблеми сагледани су кроз два истраживања. У првом су испитани методолошки трендови у области ERP сигнала путем систематског прегледа литературе. У другом су подаци из постојеће, публиковане студије искоришћени да се провери да ли постојећа варијабилност у основним одлукама о обради и анализи ERP сигнала може да утиче на исходе истраживања. Због разноврсности саме ERP технике, умерили смо се на једну, често проучавану меру (N400), добијену у најчешће испитиваној популацији (здрави неуротипични одрасли испитаници), у једном од честих модалитета у којима се она испитује (сликовни стимулуси). Истраживања су показала да је неопходно побољшати извештавање о методолошким одлукама и омогућила да се укаже на најчешће превиде. Такође, идентификовали смо најчешћа одступања од препорука за добру праксу и неке од методолошких одлука које могу утицати на величину ERP ефеката и статистичку снагу да се они детектују. Коначно, предложили смо основу за доношење а приори одлука о статистичкој анализи ERP сигнала у будућим истраживањима.