Больше часов на предмет — выше результаты ЕГЭ?
Открывая семинар, научный руководитель ИРО ВШЭ Исак Фрумин заметил, что нужно различать суждения здравого смысла и научные суждения. «Ахиллесовой пятой российской педагогической науки является невнимание к методологической строгости и к эмпирическим данным. И когда мы встаем перед выбором, во что вкладывать, чтобы школа становилась лучше, — в учителей, в компьютеры, в учебные пособия, нам нужно полагаться на научные данные и аргументированные суждения».
Разные методики — разные результаты
Основной вопрос, на который пытались ответить авторы исследования вклада учителей в результаты ЕГЭ, — как их профессиональный опыт и используемые практики обучения связаны с приростом учебных достижений 11-классников.
Исследование проводилось на большой репрезентативной выборке учащихся и учителей в Ярославской, Псковской и Томской областях.
Как отметил Андрей Захаров, в зависимости от того, какую методику использует исследователь, результаты его работы будут разниться. При использовании обычных моделей анализа из арсенала социологов и экономистов при работе с результатами тестирования учащихся нужно ожидать смещения полученных оценок. И это большая проблема применительно к исследованиям в сфере образования. То, что практикам, будь то директора школ или управленцы, кажется очевидным, на уровне научного исследования не всегда получается доказать.
Например, те же международные исследования TIMSS или PISA не выявляют значимой связи между характеристиками и учебными практиками учителя и результатами детей в тестах, но показывают, что основной вклад в достижения учащихся делает семья. То есть с одной стороны, все мы привыкли думать, что учитель многое значит в жизни детей. С другой стороны, международные исследования этого не доказывают. Как, впрочем, и тот инструментарий, техники анализа, которые в основном применяются в России.
По результатам данного исследования можно увидеть, что во многом отсутствие связи между воздействием учителя и успехами в достижениях детей объясняется именно проблемами инструментария.
К примеру, социологический опрос учащихся проводят по классам. Значит, конкретно взятый школьный класс будет испытывать на себе влияние одного учителя, влияние ресурсной базы одного класса. Соответственно, данный класс будет отличаться от других классов в этой школе, а школы будут различаться между собой. И обычная регрессионная модель, чаще всего используемая исследователями, обнаружит какие-то связи в ответах школьников в данном конкретном классе, но в других классах таких связей может и не быть.
Второй тип проблем, с которыми сталкиваются исследователи, — это неучтенное влияние многочисленных «пропущенных переменных». «Дело в том, что к концу, например, 11-го класса ученик испытывает на себе влияние большого числа агентов образовательного поля. В обычных моделях это также не учитывается». Для фиксации этой проблемы авторы исследования использовали «Value added models» — «модели добавочной стоимости».
Национальные особенности
Но и при всех этих предосторожностях исследователь все равно не застрахован от смещенных результатов, потому что в нашей стране имеет место неслучайное распределение учителей и учеников по школам и классам. У нас, как правило, учителя более высокой квалификационной категории работают в классах, в которых учатся дети из семей с более высоким социально-экономическим уровнем. А так как учителя и ученики распределены по школам неравномерно, не всегда понятно, например, чему в большей степени обязана лучшая гимназия города своими достижениями — хорошим учителям или тому, что в ней учатся дети элиты этого города…
Чтобы решить эту проблему авторы применили модель «First difference» («Первая разница»), которая позволяет проконтролировать характеристики учащихся при оценке вклада учителя.
Докладчик отметил ряд особенностей, которые отличают данное исследование от его зарубежных аналогов, — «у нас не срабатывает такая переменная, как демографические характеристики учителей. В нашей выборке учителей было крайне мало мужчин: только 1,1% (2 человека) среди учителей русского языка и 4,3% (8 человек) среди учителей математики».
По результатам исследования с применением обычных регрессионных моделей видно, что в среднем учащиеся имеют по математике средний балл 39, но дети, хотя бы один из родителей которых имеет высшее образование, сдают экзамен в среднем на 4 балла выше.
Что касается учительского вклада, то у детей, с которыми занимается учитель второй категории, результат ЕГЭ по математике примерно на 5 баллов ниже, чем в классах, где учитель имеет первую или высшую категорию. Как заметил по этому поводу профессор Стэндфордского университета Мартин Карной, в США ситуация несколько иная: «У нас категория учителя ничего не значит в плане качества преподавания — это лишь вопрос зарплаты».
При использовании «модели добавочной стоимости» воздействие семьи на достижения школьников гораздо менее заметно. Но и связь между категорией учителя и баллом ЕГЭ выражена несколько слабее.
Исследователи также выявили, как воздействует на учеников разница в количестве учебных часов, затраченных на изучение предмета. В обычной модели, если учителя занимаются математикой с 11 классом 7-8 часов, а не 4 часа, то ребята получают оценку по ЕГЭ на 9 баллов выше. А модель «добавочной стоимости» дает «прирост» в 7,5 баллов. Но хотя результаты, полученные при использовании модели «добавочной стоимости», несколько менее впечатляющи, они более точные, чем результаты обычных моделей.
«Первая разница» между русским и математикой
Известно, что учащиеся сдают ЕГЭ по русскому языку с более высоким баллом, чем по математике. Исследователи попытались оценить вклад учителей в сокращение разницы баллов между русским языком и математикой, применив еще более точную модель «First difference».
Если на математику в учебном плане отводится 7-8 часов, а не 4 часа, то разница между баллами по русскому и математике будет сокращаться примерно на 5 баллов.
Чем больше заданий части «В» в домашней работе школьников по математике, тем больше становится разница баллов между русским языком и математикой. То есть математика «проваливается», если учащимся на дом задавать более легкие задания. И соответственно, увеличение в домашних работах доли сложных заданий по математике — заданий из блока «С» приведет к сокращению на 4 балла разницы достижений учеников по русскому языку и математике.
Основные выводы, которые сделаны исследователями, доказывают то, что нам, в общем-то, известно на уровне здравого смысла. Так, для прироста учебных достижений в 11 классе имеют значение профессиональный опыт учителя, используемые учителем практики преподавания, например, его «тайм-менеджмент» при работе в классе — увеличение доли времени, отводимого на более сложные задания, а также просто увеличение часов на математику. Использование сложных зданий на уроках математики и большее количество таких уроков ведут к сокращению разрыва в баллах между русским языком и математикой. Несколько более неожиданным представляется вывод о том, что для сокращения разницы в баллах большее значение имеет профессиональный опыт учителя не русского языка, а математики.
Очевидное и нетривиальное
Дискуссант Татьяна Хавенсон, заместитель заведующего кафедрой методов сбора и анализа социологической информации ВШЭ, отметила, что представленная докладчиком работа является первым такого рода исследованием в России, и интерес к нему будет только возрастать. «Исследование дает повод задуматься о путях развития ЕГЭ. Возможно, данная работа натолкнет других исследователей на какие-то идеи об особенностях связи баллов ЕГЭ и успеваемости в вузах через призму учительских характеристик».
«Когда речь заходит о результатах в образовании, встает вопрос о его измерении — что и как нужно мерить. Докладчик предлагает элегантное решение этой проблемы», — сказала директор ИРО ВШЭ Ирина Абанкина. По ее мнению, представленный подход позволяет уйти от подробностей личных биографий учителей и получить статистически достоверный результат, который можно положить в основу некоторых управленческих решений. «Если у нас есть некоторое «математическое» ожидание, что ученики учителя первой категории получат 39 баллов на ЕГЭ, то я как директор школы понимаю, какие кадры мне нужны. Андрей Захаров показывает, что если я возьму учителей более низкой категории, то и результаты получу соответствующие».
Главный редактор журнала «Директор школы» Константин Ушаков предположил, что исследование дает нетривиальные выводы, но их нужно обозначать более четко. По его словам, представленных результатов недостаточно, чтобы на их основе принимать управленческие решения. «Все учителя-«предметники» говорят: «Дайте нам больше часов, и все будет хорошо». Стоило ли для этого строить такую изящную исследовательскую модель — вопрос спорный. А если школа, руководствуясь высказанными соображениями, захочет привлекать только учителей первой и высшей категории — где она их возьмет? Переманит из соседней школы…»
Заместитель председателя Комиссии по развитию образования Общественной палаты РФ Любовь Духанина была солидарна с коллегами в том, что некоторые, казалось бы, очевидные выводы исследования воспринимаются неоднозначно. Известно, что учитель более высокой категории дает более высокий результат. Но исследователи считают, что это утверждение нужно еще «прокоррелировать» со стажем, и тогда картина будет иной. «Тем не менее авторам необходимо рассмотреть более широкий набор педагогических практик. Педагогическому сообществу нужны сигналы: какие обучающие приемы использовать, чтобы добиться лучших результатов».
Подводя итоги семинара, Исаак Фрумин отметил ценность и остроту представленной работы. Исследование выявило, что при использовании примитивных статистических моделей, которые в основном используется в нашей стране, оценки связи баллов ЕГЭ с характеристиками школы дают ошибочные ориентиры. «В некотором смысле, выводы специалистов крайне разочаровывают, показывая, что в наших школах нет интенсивных практик, позволяющих добиться результативности обучения. Мы можем улучшить баллы ЕГЭ только «экстенсивным путем», увеличивая количество часов. Мы ведь вкладываем колоссальные деньги в учебные пособия, компьютерные классы. А может быть, стоит просто поставить в учебный план дополнительный час математики?»
Алина Иванова, специально для новостной службы портала ВШЭ