.png)
Как научиться анализировать данные и какие ошибки мы наиболее часто допускаем при их сборе и интерпретации? Почему информация, до которой проще всего дотянуться, вроде историй друга, родственника, соседа и коллеги может оказаться самой прямой дорогой к ошибке? Как нами манипулируют и как противостоять этому манипулированию? Об этом был недавний выпуск «Экономики на слух» с профессором РЭШ Евгением Яковлевым. Он ведет по цепочке анализа, показывая, какие ошибки нам грозят на каждом шагу и как их избегать, чтобы в итоге сделать верный вывод. И все это иллюстрирует примерами госпрограмм и экономических исследований. GURU публикует основные тезисы этого выпуска.
Филипп Стеркин
С чего мы обычно начинаем анализ, допустим, влияния каких-то событий? С тех данных, что есть у нас под рукой. Мы смотрим на окружающих нас людей и на основе одного только их поведения делаем глобальные выводы. Например, большинство людей даже не заметили эффекта тихой антиалкогольной кампании, которую в 2000-е гг. начали правительство и Минздрав (повышение минимальных цен и акцизов на алкоголь, ограничение мест и времени его продажи, борьба с нелегальным производством и т. д.). А между тем она привела к снижению потребления алкоголя на 30%, к снижению смертности от потребления алкоголя, ее эффективность признала Всемирная организация здравоохранения. Однако большинство людей скажут: я, мой сосед, друг или коллега пьем столько же, сколько и пили. Ошибка, которую мы допускаем, делая общие выводы на основе ограниченного круга данных, преувеличивая значимость повседневных наблюдений, называется законом малых чисел.
Допустим, мы вырвались за пределы закона малых чисел – поняли, что данных у нас мало, и решили собрать много данных, чтобы на их основе разобраться, как же обстоит дело с потреблением алкоголя в России. Что мы можем сделать? Мы можем провести телефонный опрос в две волны: спросить людей, сколько они пили в момент начала реформы и через пять лет. Мы можем обзвонить 1 млн человек. Приблизит ли это нас к пониманию, каким было влияние антиалкогольной кампании? Довольно слабо, потому что мы попадем в другую ловушку – нерепрезентативности выборки.
Обычно люди отказываются отвечать на такие деликатные вопросы или склонны говорить неправду – сознательно или неосознанно. Поэтому такой опрос не приблизит нас к ответу. А те люди, которые будут более откровенны, сильно отличаются от молчаливого большинства, и на основе их ответов нельзя судить о поведении среднестатистического жителя страны. Особенно нерепрезентативными становятся результаты опросов в моменты серьезных потрясений, кризисов, поскольку люди банально боятся говорить правду или им сложно разобраться в своем отношении к происходящему.
Яркий пример ошибки отбора данных (selection bias) – ошибка выжившего, когда у нас много данных по одной группе исследуемых («выживших») и почти нет по другой («погибших»). Так, люди любят рассказывать истории о том, как их спасли в море дельфины, и это рождает образ дельфина-спасателя. Но мы не услышим истории погибших, чьи рассказы могли бы превратить дельфина из друга людей в их убийцу (примерно так и родилась формулировка этой ошибки в античной Греции 2500 лет назад – см. врез).
Наглядной иллюстрацией ошибки выжившего служит история эпохи Второй мировой войны. Пытаясь понять, какие части самолета нужно укрепить, американские инженеры изучали, где у вернувшихся из боя машин больше всего пробоин. Математик Абрахам Вальд предложил противоположный подход: если самолет долетел, значит, повреждения некритические и укреплять нужно те места, где пробоин нет.
Двигаемся дальше: вы собрали отличные данные – их много, они репрезентативные, т. е. представляют среднестатистического человека. Теперь предстоит на их основе сделать главное – вывод: допустим, оценить эффективность госпрограммы или влияние каких-то событий на нашу жизнь. Иными словами, наша задача – построить причинно-следственную связь.
Вернемся к антиалкогольной кампании. Вы видите корреляцию: алкоголь подорожал – люди стали меньше пить. Но можете ли вы на основе только этих фактов сказать, что они стали меньше пить из-за повышения цен? На самом деле нет – этого недостаточно, чтобы сделать такой (пусть и верный) вывод. Если сравнить потребление алкоголя в Москве и других городах, мы увидим на первый взгляд удивительный факт: там, где цены на алкоголь выше, люди пьют больше. На основании этого можно сделать обратный вывод: чем дороже алкоголь, тем больше пьют, значит, повышение цен на алкоголь должно приводить к росту его потребления. Парадокс!
На самом деле ничего удивительного нет. Между этими двумя фактами – ростом цен и потребления алкоголя – вообще нет причинно-следственной связи. Это просто корреляция, за которой стоит то, что экономисты называют пропущенным фактором, влияющим на оба показателя – и на цены, и на потребление. В данном случае этот фактор – доходы населения: более состоятельные люди и пьют больше, если не считать маргинальные группы населения. Поэтому чем выше достаток горожан, тем больше пьют в этом городе. А чем больше пьют, чем выше спрос, тем выше цены. К росту потребления приводит не рост цен, а рост доходов.
В данном случае мы наблюдаем не закон спроса (чем выше цены, тем ниже спрос), а закон предложения (чем выше цена, тем выше предложение). Есть знаменитый пример, которому уже больше 100 лет, показывающий, как можно перепутать эти два закона. Более 100 лет назад Генри Мур, один из отцов эконометрики, взялся проанализировать данные о потреблении биржевых товаров, об их продажах и ценах за полвека, чтобы оценить, как работает закон спроса. Он обнаружил, что, действительно, если цена на кукурузу росла, скажем, на 10%, то ее продажи падали на те же 10%. Но с железом связь оказалась обратной: увеличение цены на 10% приводило к увеличению его потребления на 10%. Мур описал это как новый закон спроса. Но на самом деле то, что он увидел, было законом предложения: во время экономических подъемоврос спрос фирм на железо и они были готовы покупать его по большим ценам. И, соответственно, при более высоких ценах производители железа готовы были производить его больше. А в кризис, напротив, потребление падало, а с ним и цены.
Это показывает, что на основе одних и тех же данных можно сделать два совершенно разных вывода. Мы видим, что две переменные меняются вместе, и приходим к выводу, что это хвлияет на у, хотя, быть может, наоборот, у влияет на х, а возможно, они вообще не влияют друг на друга, а меняются под воздействием третьей переменной.
Приведу пример из области, которой я занимаюсь: если посмотреть на данные по многодетным матерям, то мы увидим странную корреляцию: чем больше детей, тем выше их доход. Значит ли это, что увеличение количества детей ведет к росту дохода матери? Безусловно, нет. Ведь чем больше у женщины детей, тем больше у нее обязанностей по дому. Поэтому с ростом количества детей женщина будет согласна выйти на работу, только если у нее сильно растет доход, если она много зарабатывает. И это может создать ложное впечатление, что рост количества детей увеличивает доход матери.
Таких примеров обратной причинно-следственной связи очень много. Так, в городах, где больше полицейских, совершается больше преступлений. Можно построить и такую логическую цепочку: чем больше полицейских, тем больше преступлений, потому что полицейские коррумпированы; поэтому нужно сократить их число, чтобы снизить преступность. Конечно, это противоречит здравому смыслу, и причинно-следственная связь обратная: чем выше преступность, тем больше полицейских.
Как же правильно оценить эффект экономической или социальной политики? Вернемся к примеру с тихой антиалкогольной кампанией. Что в идеале мы должны сделать? Нужно сравнить два региона, которые похожи по своим социально-экономическим, географическим, демографическим и прочим показателям и отличаются лишь ростом цен на алкоголь. Тогда мы сможем оценить эффект повышения цен.
Другой пример – программа материнского капитала, которая была запущена с 2007 г. Мы видим, что спустя какое-то время начался рост рождаемости и продолжался по крайней мере в течение 10 лет. Но почему это произошло? Благодаря материнскому капиталу или программа никакой роли не играла, а рождаемость росла из-за роста доходов, качества жизни, обеспеченности жильем, строительства детских садов? Как бы я проводил исследование? Самый простой способ определить причинно-следственную связь – сравнить две группы семей: с детьми и без. На первых запуск программы мог бы повлиять, так как эти семьи могут рассчитывать на выплату материнского капитала, на вторых – нет (в остальном семьи должны быть похожи друг на друга). И мы увидим, что в семьях с детьми рождаемость выросла примерно в 1,5 раза, так как они могли получить материнский капитал.
Другой известный пример, о котором шло много споров, – приводит ли высшее образование к росту зарплаты. Ведь дело может быть не в дипломе и знаниях, а в том, что изначально высшее образование получают люди из обеспеченных и образованных семей, их воспитали определенным образом, у них выше IQ, в их сообществе больше людей с полезными связями. Поэтому в регрессионном анализе мы должны учесть все эти факторы. В данном случае исследования показали, что и с учетом всех этих факторов эффект от образования есть, но он меньше, чем считалось прежде.
Регрессионный анализ позволяет отделить влияние третьих факторов. Чтобы проверить связь между двумя переменными (скажем, цены и потребления), экономисты включают в модель разные факторы, которые потенциально могут влиять на обе переменные. И потом мы проверяем, как они откликаются на эти дополнительные факторы. Допустим, если потребление алкоголя снизилось бы так же сильно и без повышения цен (например, потому что люди стали больше заниматься спортом), значит, не оно привело к тому, что люди стали меньше пить.
Существует множество способов манипулировать общественным мнением с помощью данных. Например, можно использовать лишь те показатели, которые подтверждают определенную точку зрения (прием называется cherrypicking, или снятие сливок, подробнее – в статье GURU), – ВВП, промышленный выпуск, безработицу и т. д. Можно также взять только определенный период времени. Чтобы не поддаваться на такое манипулирование, нужно смотреть данные в динамике, сравнивать с прогнозами, проверять, насколько реальность оказалась хуже или лучше ожиданий, сравнивать с данными по другим странам, с другими внутренними показателями, учитывать влияние разовых факторов.
Не всегда манипулирование происходит умышленно. Человек – скажем, автор статьи – может неосознанно подбирать обосновывающие его гипотезу данные. Мы все подвержены предвзятости подтверждения и ищем факты, доказывающие нашу правоту. Избегать этого помогает диалог с коллегами, их критика, а еще – внутренний оппонент: нужно учиться спорить с самим собой и чем привлекательнее вам кажется идея, тем активнее должен быть этот внутренний оппонент. Обывателю могут помочь альтернативные его позиции масс-медиа, поэтому так важно читать разные источники информации, а не только отражающие вашу точку зрения.
Но наш мозг не любит трудиться и тратить энергию, он ленив. Поэтому мы склонны принимать быстрые решения (о них смотрите дискуссию на Просветительских днях РЭШ, а еще можете послушать подкаст с ректором РЭШ Антоном Суворовым и проверить свои знания в области поведенческой экономики с помощью теста).
За последние десятилетия в экономике произошло то, что называется революцией достоверности. Доля научных статей, в которых использованы данные, выросла невероятно, и сегодня почти не найти серьезных работ, построенных исключительно на теории, не подкрепленной данными.
Этот опыт использовала и госполитика. Решения политиков и органов власти все больше основаны на данных, которые позволяют проверить гипотезы и оценить эффект предлагаемых мер, чтобы не пришлось действовать вслепую. В США, например, существует большое число правительственных и неправительственных исследовательских центров (в одном из них я работал – Acumen LLC), которые анализируют возможное влияние различных мер, например новой вакцины, субсидирования лекарств, финансирования больниц, изменения цен на лекарства и пр. В России так действует, например, Центробанк; Счетная палата тоже проводила много исследований. Так работают и крупные компании.
Казалось бы, правительства должны быть заинтересованы в повышении экономической грамотности населения, так как это упрощает реализацию эффективной политики (например, повышение финансовой грамотности помогает заякорить инфляционные ожидания и тем самым упрощает проведение денежно-кредитной политики). Но в то же время экономическая грамотность населения может повышать и спрос с власти: люди могут требовать объяснения проводимой политики и слабых показателей, труднее хвалиться перед грамотным населением сомнительными успехами и манипулировать его мнением.
Читайте также на эту тему колонку профессора РЭШ Герхарда Тевса.
