.png)
Экономисты уже давно приобрели славу универсальных ученых – они изучают все на свете: от языков до счастья. Самих себя они, конечно, тоже изучают. Выпускник РЭШ, лектор бизнес-школы Кардиффского университета Сергей Попов занимается экономикой академической деятельности, анализируя процесс публикации научных статей, из которых и складывается карьера экономиста-ученого. В колонке для GURU он рассказывает:
- как устроена тирания в академии;
- что находится в черном ящике редакций «большой пятерки»;
- как изменились публикации за 60 лет;
- и как назначение нового редактора влияет на политику журналов.
В этом году к редакторской коллегии журнала American Economic Review присоединяется профессор Парижской школы экономики и выпускница РЭШ Екатерина Журавская. Публиковаться в этом журнале, который издается Американской экономической ассоциацией, большая честь. Журнал входит в так называемый топ-5 изданий экономической профессии, публикации в которых нужны для получения позиции постоянного профессора в ведущих университетах. В одной из статей в шутку говорилось о тирании «большой пятерки».
American Economic Review выделяется среди ведущих изданий. Другие журналы имеют некоторые перекосы. Например, Quarterly Journal of Economics издается Гарвардским университетом, и люди из гарвардского сообщества пользуются преимуществами при публикации; такие же преференции Journal of Political Economy дает Университету Чикаго. Review of Economic Studies имеет некоторое смещение в сторону европейских авторов и редакторов, а Econometrica – в сторону математических методов.
American Economic Review имеет большую и разнообразную команду редакторов и одним из первых отказался от концепции одного редактора – еще в 1980-х (здесь можно познакомиться с именами редакторов прошлых лет); редактор и соредактор (Editor и Co-Editor) равноправны в решениях, что публиковать, а что нет; заместитель редактора (Associate Editor) рекомендует или не рекомендует статью к публикации, но не принимает окончательного решения. Полушуточная статья сравнивает ценность публикации в American Economic Review с половиной пальца. Суммируя: именно American Economic Review является общепризнанным лидером в академической литературе по экономике, и это достижение Екатерины показывает ее значение для академического сообщества.
Процесс публикации статей в экономическом журнале довольно стандартизован. Авторский коллектив выбирает журнал и посылает статью на рассмотрение. Редакторы просматривают ее и, если она выглядит разумно, посылают рецензентам на рассмотрение, если нет, то возвращают авторам. Иногда за рассмотрение статьи редакции берут деньги, но для многих академиков это не проблема, потому что эти поборы часто покрываются работодателем. Рецензенты пишут отзыв на статью, в котором на 1–10 страницах описывают статью, ее плюсы и минусы и который обычно отправляется авторам. Помимо этого рецензенты пишут письмо редактору, в котором могут сообщить что-то в тайне от автора (например, я однажды в отзыве написал, как сделать статью лучше, а в письме редактору сообщил о подозрениях в плагиате; редактор отказал автору). Если рецензенты видят смысл в публикации статьи и редакция думает, что недочеты исправимы, авторам дается шанс исправить их. Таких циклов может быть несколько, на моем опыте их было максимум шесть, но один успешный профессор сообщил, что у него был опыт семи циклов. Обычно первый цикл является решающим, статьи редко принимаются без исправлений, хотя у меня такая была («В погоне за безупречной правдивостью»), мне очень понравилось.
Если бы у поваров пиццерий были рецензенты (Источник: соцсети)
Как и любое распределение ограниченных ресурсов, процесс публикации научных статей привлекает внимание экономистов, мое в том числе.
Если сравнить публикацию статьи с аукционом, то это будет аукцион с полной оплатой (all-pay auction), участники которого платят независимо от того, победили или нет. Это состязание Таллока (Tullock contest) – в контексте литературы о соревнованиях (задача аукционов – продать подороже, цели состязаний могут быть шире). В эмпирической литературе изучаются разные вопросы, например о гендерной дискриминации и непотизме. Можно отслеживать тренды: за последние 60 лет статьи стали длиннее, соавторов стало больше, процесс публикаций растянулся, доля эмпирических статей увеличилась. Исследуются приложенные авторами усилия (например, количество страниц в статье или время, потраченное на публикацию), решения редакторов о публикации или непубликации и даже решения рецензентов о том, брать ли статью на рецензирование.
С какими-то данными, например количество страниц в статье или цитат в Web of Science (платформа, объединяющая базы данных рецензируемой научной литературы), довольно легко ознакомиться. Какие-то (например, была ли конкретная статья рассмотрена конкретным редактором) содержатся только в некоторых журналах: очень мало кто рассказывает, какие журналы отказались публиковать статью. Самые секретные данные – о том, что конкретный рецензент написал про статью. Даже редактор American Economic Review не смог получить достаточно подробных исторических данных, чтобы проверить, насколько требователен конкретный рецензент к наиболее уважаемым профессорам. Авторы публикации «Что максимизируют редакторы?» (лауреат Нобелевской премии Дэвид Кард и его коллега по Калифорнийскому университету в Беркли Стефано Делла Винья) смогли лишь ограничиться утверждением, что рецензенты в среднем более требовательны к успешным профессорам. Если редакторы назначают более требовательных рецензентов более успешным профессорам, эффект будет тем же, но повышенную требовательность проявляет уже редакция, а не рецензенты.
Авторы статьи «Роль конференций на пути к академическому влиянию: данные естественного эксперимента» использовали ураган «Исаак», помешавший в 2012 г. проведению конференции American Political Science Association, чтобы оценить влияние конференции на цитируемость. Из-за случайной отмены конференции цитируемость снизилась, что позволяет сделать вывод о причинно-следственной связи.
В 2016 г. я ознакомился с методами текстового анализа и осознал, что их можно использовать в моей работе: тексты статей сравнительно легко доступны (база данных научных журналов JStor дает доступ к текстам) и можно задаться вопросом, как меняется экономическая литература, например ее темы. Как проводится такой анализ? Любой текст можно представить как набор корней, а некоторые словосочетания, например United States of America, имеет смысл рассматривать как одно «слово». При таком подходе мы получим набор из сотен тысяч корней, что, конечно, осложняет исследование. Текстовый анализ позволяет сократить объем данных. Это похоже на метод главных компонент: вместо большого количества факторов математический аппарат подсказывает «важные» группы факторов, которые содержат бОльшую часть необходимой для анализа информации. Для текстового анализа такими факторами являются так называемые топики, которые определяются по корням слов. В контексте академических статей такие топики оказываются очень похожи на темы исследований.
Как менялись топики со временем
Иллюстрация из статьи снизу: мы попросили компьютер разложить на 200 топиков тексты статей из топ-5 экономических журналов примерно за 30 лет. Топик 43 содержит эмпирические термины (effect estim year result column us tabl control specif data sampl regress includ panel level coeffici fix-effect differ measur report), и, судя по статьям, содержащим этот топик, он посвящен анализу панельных данных. Его содержание в литературе растет во времени, что совпадает с интуитивной оценкой важности панельных данных в экономической литературе. В то же время топик 63 содержит термины типа ion re ing ment con ex vol de behavior com di iti paper exampl creas econom chang analysi eco-nomic robert и, судя по наиболее репрезентативным статьям, ассоциируется с анализом благосостояния (welfare analysis).
В статье «Лидерство в науке: назначения редакторов и нарративы в профессии» мы с соавторами используем текстовый анализ не только для того, чтобы посмотреть на изменение тем исследований (что делали и другие до нас), но и для того, чтобы узнать, влияют ли редакторы на содержание статей. Например, если назначить меня редактором American Economic Review, будет ли он публиковать больше статей о публикациях?
В поиске ответа мы используем новости о новом редакторе – поскольку статья пишется долго, назначение редактора не изменит пул существующих статей. Мы смотрим на топики статей, опубликованных до назначения редактора и после, и проверяем, как разница между ними скоррелирована с топиками статей редакторов. И находим небольшое смещение в сторону публикаций редактора. Однако это смещение пропадает, если мы пытаемся сначала предсказать, какие именно топики ожидаются от назначаемого редактора, например используя топики других журналов в топ-5. Оказалось, что непредсказуемые редакторские предпочтения не коррелируют с изменениями в топиках в American Economic Review.
Таким образом, подводя черту: редакторы меняют содержание журнала, но в пользу тем, которые в American Economic Review освещались недостаточно по сравнению с другими журналами из топ-5. Мы считаем, что этот нулевой эффект – хорошая новость: редакторы служат профессии, а не проталкивают свои темы во вред профессии. Надеемся, в других журналах происходит то же самое.
