Por Andrew Baron. Profesor asociado en el Departamento de Psicología de la Universidad de Columbia Británica.

La mayor amenaza para el neuromarketing es el secreto de sus métodos – la caja negra dentro de la cual ocurre la «magia».

Durante la última década, el campo de la psicología se ha visto sacudido por una crisis de reproducibilidad: la incapacidad de reproducir algunos de los hallazgos más populares y conocidos de la literatura. Artículos recientes en revistas como Nature Neuroscience y Science han detallado numerosos intentos fallidos de reproducir los resultados publicados.

Tradicionalmente, el mundo académico ha premiado la cantidad de publicaciones, no necesariamente por su calidad de la ciencia. Estas presiones a veces han llevado a los investigadores a tergiversar las estadísticas, consciente o inconscientemente, para hacer que un resultado parezca significativo. De hecho, un estudio reciente que comparaba las disertaciones de doctorado con los documentos eventualmente publicados de esas disertaciones encontró que casi el 30 por ciento de los resultados originalmente reportados como no significativos, milagrosamente se volvieron significativos en los estudios publicados, aunque no se llevó a cabo ninguna investigación adicional.

Impulsados por la creación del Open Science Framework, los líderes en el campo de la psicología han trabajado incansablemente para cambiar los sistemas de recompensa y revisión por pares hacia prácticas de investigación más responsables. Ahora se anima a las revistas a aceptar trabajos antes de que se recopilen los datos, basándose simplemente en los méritos de la pregunta de investigación y el diseño metodológico. Además, las revistas de primer nivel requieren que los científicos hagan que los datos de sus experimentos, junto con la codificación utilizada para analizarlos, estén disponibles gratuitamente para que otros investigadores puedan verificar la reproducibilidad de los resultados.

Desde que estas prácticas han sido implementadas, este campo ha sido testigo de un notable incremento en los estudios publicados que reportan resultados nulos (resultados que no apoyan la hipótesis de los investigadores).  Aunque estos estudios a menudo contienen información valiosa, los investigadores y los editores de revistas los habrían etiquetado previamente como fracasos y los habrían relegado al cubo de la basura.

Aunque estas reformas esenciales han sido transformadoras para la psicología, debemos estar alarmados por la casi completa ausencia de salvaguardas similares en la práctica de la investigación de neuromarketing.

Es común que los proveedores de neuromarketing oculten sus métodos y estrategias analíticas, presentándolos a menudo como su propia «salsa secreta».  En otras áreas de negocios donde la confidencialidad es necesaria para mantener una ventaja competitiva (investigación farmacéutica, por ejemplo), hay organizaciones como la FDA americana encargadas de imponer una supervisión independiente de la calidad del diseño y los métodos de investigación y del análisis de datos, antes de que el resultado de esa investigación esté disponible para el consumo público. No existe tal protección para los clientes en el campo del neuromarketing.  

Los clientes también pueden ser su peor enemigo. Es comprensible que no les gusten los resultados desordenados, por lo que los vendedores del neuromarketing perciben un incentivo para enmarcar sus resultados como una historia limpia y sencilla. Además, cuando se contrata a un nuevo proveedor, existe la presión -a veces implícita, a veces explícita- para ofrecer ideas que son diferentes de las que el cliente ha visto antes. En efecto, esto desalienta la replicación y podría conducir a prácticas de investigación cuestionables.

En el neuromarketing, los procesos de los investigadores son aún más opacos que en los malos tiempos de la academia. Por lo tanto, es razonable inferir que la calidad de la investigación puede ser sustancialmente peor.

No podemos esperar que todos los compradores de investigación del lado del cliente sean expertos en neurociencia. Sin embargo, los clientes podrían beneficiarse de la creación de una posición de “defensor del pueblo” de neuromarketing. Este individuo debe ser alguien de fuera de la organización que esté formalmente entrenado en métodos de neurociencia cognitiva, que esté al día con la literatura y que, por lo tanto, esté posicionado para evaluar las mejores prácticas. El Defensor del Pueblo examinaría con antelación el diseño de un estudio de neuromarketing, evaluaría confidencialmente los datos brutos que un proveedor haya recopilado y se aseguraría de que el plan de análisis sea adecuado. Los proveedores podrían defender cualquier desafío a su enfoque, pero cuando sea apropiado deberían modificar el diseño según lo solicitado, para adaptarlo a las mejores prácticas actualmente aceptadas. En última instancia, los clientes no deberían utilizar investigaciones que no superaran este escrutinio.

Una alternativa es crear un panel de expertos en toda la industria para verificar que las prácticas de investigación de los proveedores se llevan a cabo con suficiente rigor. Estas metodologías podrían entonces recibir un sello de aprobación – similar a un Sello de Buenas Prácticas Ambientales o el sello de UL en equipos electrónicos. Esto aseguraría a los clientes que las metodologías de los proveedores han sido debidamente examinadas, y los proveedores podrían cobrar un recargo por las metodologías que hayan superado este riguroso examen por parte de terceros.

La transparencia y el cumplimiento de las normas no tienen por qué dar lugar a una homogeneidad. Pida a dos artistas que pinten un paisaje con los mismos pinceles y la misma paleta y los resultados variarán dramáticamente dependiendo del talento y la imaginación de los artistas. Los proveedores pueden diferenciar basándose en la creatividad de su diseño de investigación, su capacidad para integrar métodos y su habilidad para formular ideas. Elaborar una «salsa secreta» no es el único camino hacia el carácter distintivo y es contrario a la práctica de la ciencia.

En ausencia de transparencia, la investigación se juzga mejor con una buena dosis de escepticismo. No es prudente tomar decisiones estratégicas importantes basadas en lo que podría ser una ciencia basura. Los clientes deben exigir más y los proveedores deben hacerlo mejor.

Referencias

Kaplan RM, Irvin VL (2015). Likelihood of Null Effects of Large NHLBI Clinical Trials Has Increased over Time. PLoS ONE 10(8): e0132382
O’Boyle, E. H., Banks, G. C., & Gonzalez-Mulé, E. (2017). The Chrysalis Effect: How Ugly Initial Results Metamorphosize Into Beautiful Articles. Journal of Management, 43(2), 376–399.