.png)
Ответ на этот вопрос ищет в колонке для GURU выпускник РЭШ, лектор бизнес-школы Кардиффского университета Сергей Попов, который занимается экономикой академической деятельности. Он рассказывает о нескольких нашумевших историях возможной подтасовки данных и рассуждает о том, почему открытость науки хотя и помогает бороться с мошенничеством, но победить его не может.
В академической карьере, как и в любой другой, существуют критерии и сигналы, на основании которых начальство принимает решения о повышении или найме сотрудников. Можно собирать рекомендации коллег, опрашивать по итогам года студентов, смотреть на полученные гранты и премии, а можно – на публикации. В разных науках свои критерии, скажем, в биологии – гранты, без которых не будет оборудования и лабораторий; в истории – книги; в информационных технологиях – презентации на крупных конференциях; в экономике и ряде смежных дисциплин – публикации в журналах. В очень значительной степени от них зависит карьера ученого-экономиста – от занимаемой позиции до грантов на исследования. Случается, что в погоне за публикациями ученые идут на обман или как минимум небрежно относятся к используемым данным.
Безусловно, редактор и редакция журнала стараются исключить возможность таких статей и публиковать только качественные работы (о том, как устроена их проверка, читайте в колонке Сергея Попова). Но новое исследование – это не домашняя работа, нет быстрого способа гарантированно проверить, что оно проведено правильно. Поэтому большую роль при принятии решения о публикации играет доверие к автору и рецензенту. К сожалению, некоторые ученые, в том числе с репутацией, пытаются обмануть публикационный процесс – и порой успешно. О некоторых таких случаях становится известно широкой общественности, порой спустя много лет, благодаря усилиям академического сообщества, в том числе тех же журналов, где была опубликована оспоренная статья.
В июне 2023 г. блог Data Colada, который ведут трое ученых, опубликовал серию сообщений (здесь, здесь, здесь и здесь) анонимных исследователей о странных данных в статьях звездного профессора Гарвардской школы бизнеса Франчески Джино, занимающейся поведенческими исследованиями в области честности. Авторы сообщений пытались реплицировать статью, опубликованную в 2012 г. в журнале Proceedings of Natural Academy of Science (PNAS), среди соавторов которой был такой мэтр поведенческой экономики, как Дэн Ариели, а редактором статьи был ни много ни мало нобелевский лауреат и один из отцов поведенческой экономики Даниэль Канеман. В статье рассказывалось о том, что если люди подписывают заявление о честности (например, оно требуется в отношениях со страховой) в самом его начале, т. е. до того, как прочитают, то они чаще ведут себя честно, чем если ставят подпись в конце документа. Это был интуитивно понятный вывод, сделанный звездным составом исследователей, каждый из которых провел свой эксперимент.
Скандал разразился спустя много лет. Все началось с того, что в 2020 г. в том же PNAS вышла статья, среди авторов которой были все пять авторов первой статьи. Они признали, что их прежние результаты сложно реплицировать: в новых экспериментах им не удалось обнаружить, что место подписи в документе влияет на нечестность поведения.
Именно благодаря этой новой статье авторы постов на Data Colada получили доступ к оригинальным данным первой работы Джино, Ариели и соавторов. В 2021 г. они собрали признаки того, что с данными кто-то «баловался». Например, у записей в экселевском файле разный шрифт, что, скорее всего, означает, что кто-то копировал данные из одного файла и вставлял в другой; распределение данных в группах до и после разделения на случайные подвыборки сильно разнится, из-за чего сложно говорить, что контрольная группа отличается от экспериментальной исключительно из-за эксперимента. Статья была отозвана. Но репутация Джино не была затронута – все соавторы согласились, что данные были взяты из электронных сообщений Ариели (это не первый связанный с ним скандал) и кто их в таком виде создал – партнерская страховая компания The Hartford, сам Ариели или третьи лица, – не известно.
Однако на этом история не закончилась. В 2023 г. Data Colada обнаружил, что другое исследование в той же отозванной статье, проведенное уже профессором Джино, содержит подозрительные артефакты: например, некоторые наблюдения в данных, упорядоченных по номеру участника, не находятся в правильном порядке. Странностей было немного, но, если их убрать, все значимые эффекты пропадают.
Таким образом возникли подозрения, что два разных автора исследования о честности могли манипулировать с данными. История пока развивается. Джино больше не именной профессор семьи Тэндон и находится в административном отпуске. Она подала иск о защите чести и достоинства на $25 млн против Гарварда, декана Гарвардской школы бизнеса и трех исследователей Data Colada, утверждая, что не подтасовывала данные, а ответчики вступили в сговор с целью нанести ущерб ее репутации ложными обвинениями и что санкции против нее равносильны дискриминации по признаку пола.
В 2015 г. на рынок труда выходил Майкл ЛаКур, звезда политологии из Калифорнийского университета в Лос-Анджелесе, со статьей, написанной в соавторстве с успешным профессором из Колумбийского университета Дональдом Грином. В статье был сделан интересный вывод: если человек пообщается с человеком нетрадиционной ориентации, то будет больше поддерживать однополые браки. Иными словами, если разговаривать с людьми, их можно переубеждать! Этот вывод попытались реплицировать два студента из Беркли. Проведя такое же исследование, они обнаружили, что на их вопросы отвечает гораздо меньше людей, чем на вопросы ЛаКура. Они подумали: возможно, мы просто не умеем проводить опросы! И позвонили в фирму, которая провела опрос ЛаКура, судя по его статье. Однако в фирме им ответили, что никакого опроса для ЛаКура не проводили. Студенты с примкнувшим профессором Йеля написали отчет, в котором они утверждают, что данные ЛаКура просто выдуманы. Сам ЛаКур все отрицал, но его соавтор отозвал статью. Майкл ЛаКур поменял имя и теперь занимается консалтингом по вопросам анализа данных. Студенты из Беркли теперь профессора в Стэнфорде и Йеле.
Экономические журналы тратят существенно больше времени на рецензирование, чем PNAS или Science, но и у них случаются сбои. В 2022 г. в одном из самых авторитетных изданий – American Economic Review (AER) вышла статья «Налоги на дивиденды и распределение капитала» профессора Эдриена Матрэйя из Принстонского университета и Чарльза Бойсселя, который к тому времени работал в бизнесе. Они проверили, как отреагировали французские фирмы на трехкратное увеличение налогов на дивиденды. Оказалось, что фирмы начинают платить меньше дивидендов и больше инвестировать, а вот эффекта удорожания капитала, которое бы привело к уменьшению инвестиций, в данных не видно.
Уже в 2023 г. AER опубликовал критику статьи, а также отзыв статьи авторами. Профессор Матрэй признал, что есть ошибка в коде, но на своем сайте он сообщает, что достигает результатов и с исправленным кодом. Желающие могут убедиться сами: у статьи есть код, где можно посмотреть, что за ошибка была признана профессором Матрэйем (см. выделенный полужирным фрагмент во врезе). В нем видно, что, если один коэффициент не был слишком негативным, он уменьшался (делился на 1,8). Зачем это делать, непонятно, но если это была манипуляция, то она раскрылась исключительно потому, что AER требует от авторов раскрывать код и (по возможности) данные. Профессор Матрэй продолжает работать в Принстоне, в 2023/24 учебном году посещает Стэнфорд.
С высокой степенью уверенности можно утверждать, что далеко не все подобные истории в экономике и других науках доходят до широкой публики. И не все принципиальные успешные профессора готовы принять критику и отозвать свою статью. Разоблачению манипуляций или признанию ошибок способствуют открытость науки, свободный доступ к данным и текстам исследований, свободное обсуждение в среде ученых. Поэтому так важно повышать цитируемость критики в адрес исследований, которая пока намного ниже, чем самих статей (об этом читайте в материале GURU).
Но открытость не панацея, она может помочь лишь отчасти. Мне кажется, для того чтобы обман перестал быть выгоден, недостаточно устраивать судилища над нарушителями академической этики. Ровно так же угроза наказания не остановит коррупционера, потому что, если выгода слишком велика, она перевешивает риск. В этом смысле мошенничество в науке принципиально не отличается от другого мошенничества.
Нужно убрать атмосферу высоких ставок из академии. Публикации не должны быть просто «пачкой денег», это перенаправляет усилия из «интересных» областей в «выгодные», а также стимулирует людей обманывать редакторов и рецензентов. Остается вопрос: что делать? Бакалаврский курс экономики подсказывает, что для распределения общественных благ рыночные механизмы не обязательно хорошо работают.
В идеальном мире, конечно, хотелось бы, чтобы начальство разбиралось в компетенциях сотрудников без помощи рецензентов и журналов. Но что делать в реальном, а не идеальном мире? «Напишу-ка я про это ряд статей!» – решил я лет 10 назад и продолжаю работать в этой области и сейчас.
Позиция авторов статей, публикуемых в рубрике «Мнения», может не совпадать с точкой зрения редакции GURU.
