Noah Smith para Bloomberg View
Por ahora, la mayoría de las personas que leen sobre economía han oído hablar de la revolución empírica en el campo. Un economista solía ser alguien que tejía teorías a partir de supuestos razonables para contar historias sobre por qué el mundo funciona de la forma en que lo hace.
Hoy en día, los economistas aún tienen que entender la teoría, pero su trabajo cotidiano implica analizar datos y estadísticas. La investigación basada en datos constituye una parte cada vez más importante de los estudios publicados.
La revolución empírica es positiva: hará que las personas tomen a los economistas más en serio como científicos, y resultará en menos sorpresas desagradables para los políticos que en el pasado pudieron haber confiado demasiado en la teoría especulativa.
Pero el crecimiento rápido generalmente viene con dolores, y la economía empírica no es diferente. A medida que la evidencia se vuelve cada vez más importante para la disciplina, era inevitable que los métodos usados por los investigadores empíricos cayeran bajo un creciente escrutinio. Y ese escrutinio tenía que encontrar errores sistemáticos y cuestiones metodológicas.
Un ejemplo proviene de Alwyn Young de la London School of Economics. En un artículo reciente, Young evalúa el uso de una técnica empírica común conocida como variables instrumentales. Estas se usan para separar la causalidad de la correlación. Supongamos que deseamos encontrar el efecto del matrimonio en los ingresos.
Si descubrimos que las personas con más ingresos tienen mayores probabilidades de estar casadas, eso podría significar que el matrimonio nos hace más acaudalados, o se traduce en que la gente rica intenta encontrar algo nuevo, por ejemplo, un cambio en las leyes de divorcio, que afecte al matrimonio pero no directamente a los ingresos. Esas son las variables instrumentales.
Los economistas en general pretenden que sus conjuntos de datos sean enormes, cuando en realidad tienden a ser muy pequeños
En el pasado, las críticas a este sistema se enfocaban en casos donde el instrumento es débil. Pero Young muestra que incluso en los casos en que el instrumento es fuerte, a menudo introduce mucho ruido en las mediciones. Ese ruido puede hacer que las estimaciones de los economistas sean poco confiables, lo que lleva a falsas afirmaciones de significación estadística.
Que los economistas ignoren este problema es sólo un caso de un problema mayor. Los economistas en general pretenden que sus conjuntos de datos sean enormes, cuando en realidad tienden a ser muy pequeños. Esto los lleva a ignorar los problemas y compensaciones que surgen de pequeñas muestras.
Otro investigador que se ha centrado en los conjuntos de datos de bajo costo de los economistas es John Ioannidis, profesor de la facultad de medicina de la Universidad de Stanford. El autor de un famoso artículo “Por qué la mayoría de los hallazgos de investigación publicados son falsos”, Ionnidis se forjó una reputación como un implacable perro guardián del descuido en las profesiones médicas y de la salud. Descubrió que cuando los investigadores sólo recopilaron una pequeña cantidad de datos, estaban más sujetos a falsos positivos.
Eso tiene sentido. Si conocemos a cinco personas holandas y todas son un poco bajas, es fácil llegar a la conclusión de que la altura holandesa está por debajo del promedio, cuando de hecho, tienden a ser altos. Si conocemos a 1.000 personas holandesas, no cometeremos ese mismo error. Como en el trabajo de Young, la clave es el error estadístico: los pequeños conjuntos de datos dejan más espacio para la incertidumbre, que los investigadores ignoran con frecuencia.
En nuevo documento titulado “El poder del sesgo en la investigación económica”, en coautoría con T.D. Stanley Hrisos Doucouliagos, Ioannidis aplica sus conocimientos básicos al campo económico examinando 6.700 estudios de economía. Young, en comparación, sólo examinó 32. Esto significa que una fracción considerable de los hallazgos reportados por los economistas son simplemente el resultado del sesgo de publicación: la tendencia de las revistas académicas a informar resultados accidentales que parecen estadísticamente significativos.
Los economistas más jóvenes buscarán muestras de datos más grandes y tendrán más cuidado con la forma en que informan la estadística
Así como en otros campos, la economía empírica probablemente está afectada por muchos resultados negativos. A la larga, eso no evita que se descubra la verdad, incluso si un estudio falla al establecer los hechos, pero representa un esfuerzo desperdiciado si los profesores trabajan arduamente sacando conclusiones que luego serán refutadas. Y conduce a una exageración excesiva de los medios acerca de los últimos hallazgos.
Estos documentos no son los únicos en criticar los métodos modernos de economía empírica. Un gran equipo de economistas experimentales, incluido Collin Camerer, de Cal Tech, descubrió recientemente que una minoría de los experimentos económicos no se replican.
Y un artículo del año 2010, escrito por el famoso economista escéptico Ed Leamer señaló que los estudios que se han vuelto populares en los últimos años podrían no tener amplia aplicabilidad. Por ejemplo, un estudio que analiza los efectos de elevar el salario de 4,25 dólares a 5,05 dólares en Nueva Jersey en 1992 podría no decir mucho sobre los efectos de subirlo de 7,70 a 10 dólares en St. Louis en 2015.
Así que personas inteligentes se alinean para tomar fotos de la revolución económica empírica. En el corto plazo, estas lecciones pueden ser invocadas por aquellos que quieren una disciplina de primera teoría. Pero los economistas no prestarán atención a las llamadas para abandonar la evidencia y volver a ser filósofos matemáticos.
En cambio, los economistas jóvenes verán estas críticas y las tomarán en serio. Buscarán muestras de datos más grandes y tendrán más cuidado con la forma en que informan la estadística. Serán más cuidadosos con sus experimentos y más circunspectos acerca de cómo se generalizan a partir de estudios individuales. Y la calidad de la evidencia aumentará.
El escepticismo es bueno, y la ciencia debería ser un proceso de mejora constante.
