Лабораторный эксперимент гарантирует хороший результат на ограниченных данных, полевой — дает возможность работы с их большим объемом, но не всегда позволяет контролировать качество исследования. Как сочетать положительные факторы разных типов исследований? Очередной семинар Института образования ВШЭ был посвящен вкладу нобелевских лауреатов 2021 года по экономике Джошуа Ангриста, Дэвида Карда и Гвидо Имбенса в развитие доказательного подхода при разработке решений в сфере образования.

Работы нобелевских лауреатов подтвердили важность экспериментальных методов в общественных науках и значение квазиэкспериментов в тех условиях, когда проведение полноценного эксперимента затруднено. Таково мнение старшего научного сотрудника Международной лаборатории экспериментальной и поведенческой экономики ВШЭ, научного руководителя специализации образовательной программы «Экономика и экономическая политика» Алексея Белянина.

По его убеждению, в удачном эксперименте сочетаются научный подход в построении гипотезы и искусство настройки исследования. «Как физик собирает прибор, так и социальный исследователь размышляет, как ему скомпоновать исследование, чтобы показать причинно-следственные связи», — приводит образное сравнение Алексей Белянин.

Выявив корреляционную зависимость разных факторов, важно понять связь между ними и первопричину возникновения явления, в противном случае есть вероятность прийти к неверному выводу. Например, долгое изучение причин рака привело к выявлению «гена курильщика», отвечающего за взаимосвязь пристрастия к табаку и рака. И одновременно показало связь курения с потреблением кофе. В результате родилась гипотеза, что этот напиток также может быть причиной тяжелой болезни.

Показать случайность сочетания причин возможно, по мнению Алексея Белянина, методом исключения конфаундинговых, или вмешивающихся, факторов. Примером научного эксперимента он назвал работу американского исследователя Дэвида Янагизава-Дротта, который связал геноцид в Руанде в 1994 году с распространением на территории страны вещания радиостанции «1000 холмов». Прямой связи между числом жертв и радиопропагандой на первый взгляд нет — она действовала по всей стране. Однако с помощью метода экзогенной вариации автор установил, что из-за сложного рельефа местности качество сигнала существенно различалось, и показал взаимосвязь количества жертв с доступностью радиопередач.

Другим распространенным инструментом стал метод «разности в разностях», когда различие результатов между контрольной группой, не подвергшейся влиянию определенного фактора, и экспериментальной группой, испытавшей его влияние, отражает уровень воздействия фактора. В качестве примера Алексей Белянин привел исследование о влиянии повышения минимальной зарплаты на рынок труда. Ученым помог естественный эксперимент, когда в начале 1990-х годов в штате Нью-Джерси повысили минимальную зарплату, а в соседней Пенсильвании она осталась прежней. Исследование методом разрывной регрессии показало, что повышение минимальной зарплаты не оказало негативного эффекта на занятость в Нью-Джерси, но послужило причиной перераспределения рабочих мест.

Работа нобелиатов по экономике Джошуа Ангриста, Дэвида Карда и Гвидо Имбенса продемонстрировала, что сокращение учащихся в классах на пять учеников увеличило отдачу от образования на 0,4 п.п., а повышение зарплаты учителей на 10% — на 0,1 п.п. Проведенные ими полевые эксперименты в образовании показали, что увеличение затрат на дошкольное образование снижает вовлечение детей в криминальные действия и положительно влияет на их будущие доходы по достижении совершеннолетия.

Алексей Белянин отметил, что лабораторный эксперимент гарантирует хороший результат на ограниченных данных, тогда как полевой эксперимент дает возможность работы с большим объемом данных, но не всегда позволяет контролировать качество исследования и результат. Важно управлять экспериментом так, чтобы сочетать положительные факторы разных типов исследований.

«Подводя итоги, можно утверждать: эти работы нобелиатов дают точные знания о том, влияет ли качество образования на успешность детей», — подытожил Алексей Белянин.

Прогресс в работе с большими данными очень важен: невозможно ставить эксперименты в макроэкономике и экономике развития, поскольку для их проведения в реальности необходимо искусственно разделить субъекты экономики и даже страны на разные части. Такое мнение высказал дискуссант, научный руководитель факультета экономических наук ВШЭ, профессор ВШЭ и Чикагского университета Константин Сонин. Важно искать возможности провести эксперимент в естественных условиях, а затем увеличивать их количество и расширять объем данных. Чем больше выборка, тем ниже вероятность получить случайный результат.

Константин Сонин рассказал об использовании полевых экспериментов в работе нобелевских лауреатов Эстер Дюфло и Абхиджита Банерджи, показавших, что уровень вакцинации и качество питания в бедных странах влияют на успехи учеников в образовании. При помощи разрывных регрессий, разности в разностях и других статистических методов ученые стремятся превратить искусственные эксперименты в естественные. Однако, отметил профессор, большое количество регрессий, применяемых в исследовании, делает связи между факторами неустойчивыми.

Алексей Белянин также указал, что естественным экспериментом принято считать ситуацию, создавшуюся без вмешательства экспериментатора. Однако при исследованиях в слаборазвитых странах исследователь может вмешиваться, когда разъясняет местным жителям через переводчика или учителя детали и цели своей работы.

Для изучения реальных проблем и воздействия разных факторов сначала проводятся интервью и массовые опросы, затем лабораторные тесты. Встречаются и иные варианты, когда для проверки методологии сначала проводятся лабораторные исследования, чтобы избежать существенных потерь из-за неправильного инструментария при более масштабном исследовании.

«В зависимости от проблемы нужно применять разные методы, руководствуясь принципом “не навреди”», — считает Алексей Белянин.

Отвечая на вопрос о машинном обучении и применении искусственного интеллекта в исследованиях, он отметил, что анализ больших данных позволяет изучить разные сценарии и нащупать взаимодействия, которые не были очевидны. Однако применение ИИ не гарантирует правильного выяснения причинно-следственных связей, понимания взаимодействия между факторами и его механизмов, осознания причин событий.

По мнению Константина Сонина, машинное обучение может помешать установлению причинно-следственных связей. Большой объем вычислений данных через алгоритмы не всегда позволяет объяснить обнаруженные связи.

В обсуждении также приняла участие старший научный сотрудник Лаборатории инноваций в образовании ИО ВШЭ Анастасия Капуза.