что такое pirls timss pisa это
Что такое pirls timss pisa это
Методический отдел комитета
Марксовского муниципального района
Международные сопоставительные исследования качества образования ( PISA, TIMSS, PIRLS )
Россия накопила уже достаточно большой опыт участия в международных сопоставительных исследованиях качества образования, проводимых Организацией экономического сотрудничества и развития (ОЭСР) и Международной ассоциацией по оценке учебных достижений IEA ( International Association for the Evaluation of Educational Achievement).
Эти исследования позволяют выявить и сравнить изменения, происходящие в системе образования в разных странах, оценить эффективность стратегических решений в этой области. Наша страна участвует в них с 1995 года. Это позволяет нам понять, насколько конкурентоспособной является российская школа сегодня.
Основные международные сопоставительные исследования качества образования, в которых участвует Россия:
PISA – международная программ по оценке образовательных достижений учащихся 15-летнего возраста в области математической и естественнонаучной грамотности, а также грамотности чтения.
PIRLS – международное исследование качества чтения и понимания текста для учащихся 4 классов.
TIMSS – международное мониторинговое исследование качества математического и естественнонаучного образования для учащихся 4, 8 и 11 классов.
ICCS – международное исследование качества граждановедческого образования 14-летних школьников.
TALIS – международное сравнительное исследование педагогического корпуса.
PIAAC – международное исследование компетенций взрослого населения.
ICILS – международное исследование компьютерной и информационной грамотности для учащихся 14-летнего возраста.
PIRLS, TIMSS, PISA: что это за исследования, в которых участвуют школьники из России
Вы наверняка что-то слышали из этих хитрых англоязычных аббревиатур, когда читали о школьниках. Но не всегда понимали, что вообще всё это значит, какие такие исследования и что они оценивают. Рассказываем, в каких международных исследованиях участвуют российские школьники и даже учителя. И как они проводятся.
Российские школьники участвуют во многих международных исследованиях качества образования и успехов школьников по отдельным дисциплинам. Зачем это нужно? Во-первых, участие в международных исследованиях помогает достаточно объективно оценить уровень образования и сравнить его с другими странами. Во-вторых, если исследование проводится на международном уровне, это значит, что для оценки уровня образования используются самые современные мониторинговые технологии. И Россия может использовать этот опыт в проведении собственных исследований на федеральном и региональном уровнях.
1. PIRLS — как школьники читают и понимают тексты
Что проверяют. Как школьники умеют читать и понимать тексты.
Кто участвует. В исследовании участвуют дети, которые оканчивают начальную школу. В России это четвероклассники. Считается, что именно к этому моменту ученики настолько развивают свои навыки чтения и работы с текстом, что они становятся базой для учёбы в средней и старшей школе.
Когда проходит. PIRLS проходит циклично — раз в пять лет. С 2001 года его проводили уже четыре раза. Последний раз в 2016 году. В PIRLS в разное время участвовали от 35 до 50 стран.
В PIRLS (Progress in International Reading Literacy Study) оценивают два вида чтения:
Для проверки школьникам дают два текста: научно-популярный (информационный) и художественный. Почле чтения дети должны ответить на несколько вопросов к каждому. Вопросы к текстам оценивают четыре навыка:
Понятно, что система обучения и школьная программа могут довольно сильно разниться от страны к стране. Поэтому главная задача организаторов таких исследований — сделать так, чтобы результаты в разных странах были сравнимы между собой. Например, в большинстве стран дети начинают учиться в шесть лет, но в Англии и Новой Зеландии обучение начинается в пять лет, поэтому участие в проекте принимают школьники из пятого класса, а не из четвёртого.
Как в PIRLS показывают себя школьники из России. В самом первом исследовании PIRLS-2001 Россия заняла только 16-е место из 35 стран. В конце 2017 года появились результаты последнего исследования PIRLS-2016, в котором российские школьники заняли первое место. Причём это не в первый раз: в 2006 году Россия тоже была лидером. Несмотря на то, что PIRLS проверяет только читательскую грамотность, глава Рособрнадзора Сергей Кравцов утверждает, что такие высокие результаты у наших четвероклассников означают, что в российская начальная школа — в принципе лучшая в мире.
Комментарий эксперта к заданию: «Поиск ответа облегчен тем, что в вопросе и в ответе использованы одни и те же слова: „запасные носки“, „ноги могут промокнуть“. Читателю даже не приходится делать синонимические замены. Российских четвероклассников практически не затрудняет поиск в тексте ответа на вопрос в том случае, когда формулировки вопроса и ответа практически совпадают. Однако неопытных читателей может затруднить необходимость делать самые элементарные синонимические замены при сравнении словесной ткани вопроса и ответа. Найти в тексте ответ на вопрос гораздо легче, если не требуется переформулировать вопрос. В приведённом выше примере такие трудности испытывает около 10% десятилетних читателей во всех странах мира, в том числе и в России».
2. PISA — какой уровень знаний у учеников в средней школе
Что проверяют. Математическую, естественнонаучную и читательскую грамотность школьников.
Кто участвует. В отличие от PIRLS, в этом исследовании участвуют 15-летние школьники.
Когда проходит. Впервые PISA провели в 2000 году, с тех пор оно проводится каждые три года. Россия принимает участие в исследовании с самого начала. А всего с 2000 по 2015 год в PISA участвовали от 32 до 74 стран мира.
Исследование PISA позволяет оценить эффективность изменений и образовательных решений за три года. По результатам теста становится понятно, в каком направлении нужно развивать российское образование, чтобы повысить конкурентоспособность выпускников российских школ.
Тест PISA адаптируется под изменения в сфере образования. Так, в 2012 году участники решали задачи «интерактивного типа», в которых нужно было виртуально обследовать какой-то предмет (например, кондиционер или MP3-плеер) и после этого ответить на вопросы о принципах его работы. А в 2015 году впервые проверяли финансовую грамотность школьников.
Как в PISA показывают себя школьники из России. К сожалению, результаты российских школьников в этом исследовании далеки от первых мест — за всё время Россия ни разу не вошла даже в двадцатку стран по трём показателям. А в последнем тестировании PISA-2015 в общем рейтинге стран Россия заняла 32-е место из 72.
Пример задания на математическую грамотность:
Комментарий эксперта к заданию: «В задании требуется воспринять новую информацию — описание представленной реальной ситуации — и интерпретировать её геометрическую модель, чтобы вычислить длину дуги. Опираясь на пространственное воображение и интуицию при работе с моделью, можно догадаться, что эта дуга составляет ⅙ часть длины окружности двери. Для решения нужно вспомнить (или посмотреть в списке формул) известную учащимся формулу длины окружности. Ответ в пределах от 103 до 105. […]. Подобных задач нет в российских учебниках. Слово „окружность“ не упоминается в тексте задания, и учащимя самим надо сообразить, что именно окружность, разделённая тремя радиусами на три равные части, является моделью вращающейся двери».
Пример задания на читательскую грамотность:
Комментарий эксперта к заданию: «В этом задании школьнику нужно осмыслить и оценить информацию из текста».
3. TIMSS — как в начальной и средней школе знают математику и естественные науки
Что проверяют. Основная цель исследования — сравнить между собой качество математического и естественнонаучного образования в начальной и средней школе.
Кто участвует. Ученики 4-х и 8-х классов.
Когда проходит. Каждые четыре года. Такая схема позволяет отслеживать, какие изменения происходят в образовании при переходе из начальной в основную школу и как они влияют на качество образования.
В 2015 году тестирование TIMSS проводилось и среди 11-классников — тогда у старшеклассников, углубленно изучающих точные предметы, проверяли понимание математики и физики.
Бонусом в странах-участницах (кстати, их в разные годы было от 25 до 50) исследуют особенности учёбы. Для этого разработаны специальные анкеты, которые заполняют не только школьники, а ещё учителя и администрация школ. Информация, которую учёные получают из этих анкет, помогает лучше понять результаты основного тестирования и объяснить, что не так с математическим или естественнонаучным образованием в стране.
Как в TIMSS показывают себя школьники из России. Результаты у российских школьников достаточно высокие. В последнем исследовании 2015 года ученики 4-х классов заняли 7-е место по математике и 4-е по естествознанию. Восьмиклассники оказались на 6-м месте по математике и на 7-м в естественных науках. Но при этом рейтинг выявил три большие проблемы российского школьного образования: большой объём домашних заданий, резкое падение успеваемости в средних классах и недовольство учителей своей работой.
Задание для 4-х классов по математике:
Комментарий эксперта к заданию: «Проверяется умение вписать равносторонний треугольник в окружность, разделённую на равные части. Требовалось не только увидеть, что окружность разделена на равные части, но и сообразить, что надо соединять отрезками каждую четвёртую точку, чтобы построить равносторонний треугольник, и описать способ соединения точек. Подобных заданий нет в учебниках. Практически все российские четвероклассники пытались решить это задание. Большинство справились с ним (верно выполнили его полностью 68%, верно построили, но не описали — 7%)».
Задание для 4-го класса по естествознанию:
Комментарий эксперта к заданию: «В задании требуется применить знание о взаимосвязи в природе на примере простых пищевых цепей: указать одну из причин, иллюстрирующих важную роль пауков в саду. Результат выполнения задания российскими школьниками самый высокий среди всех стран. Умение устанавливать взаимосвязи в природе является одним из требований ФГОС по предмету „Окружающий мир“ и достаточно эффективно формируется в процессе изучения естественнонаучной части этого предмета».
Задание для 8-х классов по математике:
Комментарий эксперта к заданию: «Проверяется умение выразить проценты в виде обыкновенной дроби или обратный перевод. Нетипичное задание, в котором надо сравнить стоимость одного и того же предмета при наличии скидки, выраженной в различных единицах — в процентах или дробью. Основное затруднение умногих учащихся объясняется тем, что первоначальная стоимость предмета не приводится. Второе затруднение — это перевод этих данных в проценты или в дроби (¾ — это 75%, значит, скидка — 25%). Неудивительно, что 14% российских учащихся не дали никакого ответа. Только учащиеся двух стран показали более высокие результаты: Республики Корея (62%) и Сингапура (76%)».
Задание для 8-го класса по естествознанию:
Комментарий эксперта к заданию: «Задание проверяет умение применять знание об избыточном давлении воды в водоносных слоях в простой практической ситуации. Высокие результаты выполнения этого задания российскими школьниками объясняются тем, что представление о давлении воды в водоносных слоях традиционно формируется в рамках изучения географии».
4. TALIS — как преподают учителя
Что и кого проверяют. Здесь проверяют уже не школьников, а учителей и директоров школ.
Когда проходит. Исследование проводится каждые пять лет — уже было в 2008 и 2013 годах, следующее планируется провести в 2018 году.
В TALIS нет никаких рейтингов преподавателей по странам. Исследователи делают выводы на основе опроса. Какие данные получают с помощью опроса? Особенности преподавания, убеждения и установки учителей, методы преподавания, удовлетворенность работой, уверенность в своих профессиональных способностях, контекст, в котором работают учителя и директора.
К примеру, в TALIS-2013 приняли участие 4000 учителей и 198 директоров из 14 регионов России. Кроме России, в в 2013 году в исследовании принимало участие ещё 37 стран, а в 2008 году — 24.
В отчёте о результатах TALIS-2013, который опубликован на сайте общероссийской системы оценки качества образования, так описывают российских преподавателей:
Разбираемся в концепции основных международных сравнительных исследований качества школьного образования
В материале использованы данные, подготовленные под руководством Г. С. Ковалевой в Центре оценки качества образования ФГБНУ «Институт стратегии развития образования РАО».
Новый виток интереса к международным исследованиям связан с поручением президента правительству РФ обеспечить глобальную конкурентоспособность российского образования и вхождение России в число 10 ведущих стран мира по качеству общего образования.
«Топовая позиция в мировом рейтинге международных исследований — не самоцель. Прежде всего, всех волнует качество полученных знаний и конкурентоспособность российской образовательной системы. Это зафиксировано и в государственной программе «Развитие образования»».
Почему страны участвуют в международных сравнительных исследованиях?
Особенности международных сравнительных исследований
1. Наличие четких концептуальных положений. Формируются за несколько лет до начала цикла исследования. Сначала создается концептуальная рамка, а потом — создание конкретного инструментария для решения целей.
2. Очень строгие подходы к выборке и математической обработке результатов.
3. Регулярность проведения.
4. Уровневый подход в описании результатов.
5. Сбор контекстной информации (анкеты учащихся, родителей, учителей, администрации).
«Несмотря на неоспоримые отличия, в каждом цикле есть то, что объединяет все исследования — грамотность. Приоритетной целью в системе общего образования становится формирование функциональной грамотности: математической, естественно-научной, читательской и т. д.»
В каждом цикле один из компонентов является доминирующим. И на его оценивание направлено больше заданий, чем на остальные из трех компонентов. Хотя все они обязательны. В 2018 году факультативным компонентом был навык решения проблем, а в 2021 году таким компонентом будет оценка креативного мышления, свойственного 15-летним школьникам.
Так происходит и в жизни: мы анализируем информацию, учимся понимать, что нам нужно, а что нет.
«Жизнь ставит перед нами задачи, не предупреждая о том, какие навыки она будет проверять. Нужно быть готовым действовать по обстоятельствам, принимать верные решения в непростой момент».
Выборка регионов, обработка результатов
Для того чтобы сделать объективное заключение о том, нравится вам суп или нет, нужно попробовать его не чайной ложкой, и даже не столовой, а съесть хотя бы тарелку, при этом не обязательно съедать всю кастрюлю, — это аналогия к выборке регионов страны при проведении исследования. Всю страну исследовать не обязательно, одного города и даже региона мало, а вот нескольких субъектов будет вполне достаточно для сбора актуальных данных об уровне грамотности учеников по всей стране.
На обработку результатов исследования уходит год-полтора. Тест PISA, например, был проведен в июне 2018 года, но результаты будут опубликованы лишь в конце 2019-го.
Согласно данным исследования PIRLS, результаты девочек из года в год стабильно лучше, чем результаты мальчиков:
И это кажется логичным: речевое развитие мальчиков, приходящих в школу, отличается от речевого развития девочек. Кстати, исследование направлено в том числе на то, чтобы мы увидели эту разницу воочию, хотя многие и так знают о ней на интуитивном уровне, ведь не секрет, что в младшем школьном возрасте развитие девочек происходит действительно немного быстрее.
Исследуя причины разного уровня читательской грамотности, эксперты выявили, что тематика текстов из заданий может демотивировать именно мальчиков.
Регулярность проведения исследований
Международная Ассоциация по оценке образовательных достижений – IEA – проводит сравнительные исследования.
Организация экономического сотрудничества и развития – OECD – изучает, насколько качество образования соответствует требованиям современности.
Всем международным исследованиям свойственна цикличность. Засчет этого мы можем наблюдать динамику. Например, исследование TIMSS проверяет естественно-научную грамотность школьников на 4-м и 8-м годах обучения. Так легко можно проследить, какие результаты показывает одно поколение в разные годы.
Уровневый подход в описании результатов
Очень важный аспект в подсчете результатов исследований — деление на уровни. Это не сухое отметочное представление результатов, а более глубокое и более четкое понимание способностей и недостатков ученика.
Отметочный подход не позволяет разбираться в сути: что уже получается у ребенка и куда стоит двигаться дальше.
«Стандартных ситуаций становится все меньше, чаще жизнь проверяет, как мы можем мыслить в неординарных обстоятельствах. Задача международных исследований заключается в том, чтобы раскрыть способности каждого, оценив его возможности».
Сбор контекстной информации
После тестирования ребята заполняют анкеты. Все руководство школы, учителя и даже родители учеников тоже обязаны это сделать. Информацию из анкет анализируют эксперты и сопоставляют с результатами учеников. Важно иметь представление о том, в каких обстоятельствах живет и развивается школьник: семья, окружение, ситуации в школе и дома. Один из примеров – PIRLS. Читательская грамотность школьников имеет прямую зависимость от отношения к чтению в семье. Дети, чьи родители не проявляют интерес к книгам, дали низкие результаты. И наоборот: у детей, родители которых любят читать, показатели заметно выше.
Это не ЕГЭ. Что измеряют знаменитые тесты PISA и в чём пока не так сильны наши школьники
С начала двухтысячных наша страна принимает участие в международных программах исследования качества образования. Повышение места России в подобных рейтингах стало одной из целей национального проекта «Образование». В 2022 году в России пройдет очередное крупное исследование — PISA. Разбираемся, в чем особенность этого раунда и как его будут проводить.
Что такое международные исследования качества образования
С конца ХХ века — времени развития международных организаций и институций и появления мировых сопоставительных исследований — Россия участвует в измерениях качества образования. Эти исследования используют для оценки эффективности образовательных систем в разных странах и для изменения и улучшения на основе полученных результатов самого образования. Проводят их более чем в ста странах разные международные организации, в России их локализует Центр национальных и международных исследований качества образования Федерального института оценки качества образования.
В каких международных исследованиях участвует Россия
Разные программы исследований посвящены разным предметам и проверяют различные навыки у учеников разных возрастов, учителей и взрослых. TIMSS («Тренды в математике»), например, исследует уровень знаний детей 4-х и 8-х классов по математике и естественно-научным предметам, а еще одиннадцатиклассников — по углубленным курсам математики и физики. Проводят его раз в четыре года — следующий этап будет в 2023-м.
А в 2022 году в России пройдет очередной этап самого масштабного из международных исследований — PISA (Programme for International Student Assessment).
Каждые три года оно тестирует у школьников и студентов колледжей старше 15 лет (но не старше 16 лет и 2 месяцев) уровень знаний и умение практически их применять. PISA, разработанную в 1997 году, проводят с 2000 года, а трехлетний цикл сбился лишь однажды: исследование 2021 года из-за ковида сдвинулось на год.
Качество образования PISA изучает по четырём основным направлениям: читательская, математическая, естественно-научная и компьютерная грамотности.
Что такое все эти грамотности, почему так звучат названия изучаемых направлений? PISA не проверяет знание теоремы Пифагора и не ждет от учеников определения закона Авогадро. Напротив, школьникам предлагают интересные практические задания, которые могут показать знание сразу нескольких дисциплин, умение мыслить и применять знания на практике.
Скажем, в тесте на естественно-научную грамотность студентам предлагалось показать, что они знают о беге в жаркую погоду. Надо было проложить пеший маршрут через Сахару, рассчитать необходимое количество воды на день, если известны температура воздуха, даны показатели потери воды при различных температурах и темпе движения и так далее. Для решения нужны знания анатомии человека, климатических особенностей пустыни, навыки применять географические сведения, умение пользоваться картой и вести простейшие расчеты.
В других тестах нужно было оценивать выгоду различных типов ипотечного кредитования, рассчитывать сложные проценты и принимать стратегические решения, оперируя знаниями сразу в нескольких областях.
Неудивительно, что задания PISA нетривиальны: в их составлении принимают участие многие научные центры и передовые институты педагогики и образования всего мира.
Конечно, исследования исследованиями, но результаты PISA принимают во внимание во всем мире, они служат данными для рейтингования стран.
Например, по суммарным данным за 2000–2015 годы, лучшее среднее образование дают в Восточной Азии: Китае, Корее, Сингапуре, Японии. В Европе же в десятке лидеров Финляндия, Эстония, Швейцария, Польша и Нидерланды.
А что же Россия
Мы привыкли считать российское образование одним из лучших в мире, поэтому первое участие России в исследованиях PISA многих не впечатлило: мы оказались в третьей десятке стран по умению применять теоретические знания на практике.
С 2000-го в рейтингах PISA Россия занимает места около 30-го: выше — по математике, чуть ниже — по чтению, и еще ниже — по естественно-научной грамотности. Правда, в исследовании PISA в 2015 году по финансовой грамотности Россия стала 4-й в мире. По количеству же баллов, набираемому школьниками в каждом цикле, показатели России растут, но все еще остаются в третьем и четвертом десятке.
PISA демонстрирует и то, как географически зависимо наше образование: традиционно исследование проводится широко — в столицах, городах-миллионниках, в сельской школе. Результаты Москвы значительно опережают провинцию — по всем компетенциям школьники столицы попали в десятку лучших результатов мира.
На конференции в апреле 2021 года министр просвещения Сергей Кравцов указывал, что по показателям исследований читательской и математической грамотности PIRLS и TIMSS Россия регулярно занимает место среди стран с лучшими показателями качества образования, а результат России в PISA хоть и выше среднего показателя и растет от года к году, но его нельзя назвать лидирующим. Очевидно, что российским школьникам надо учиться применять знания на практике, и это вызов для всей образовательной системы страны.
«PISA — самое сложное исследование для наших школьников, где имеющиеся результаты пока находятся не на том уровне, который нам бы хотелось видеть. Улучшение результатов наших школьников в этом международном исследовании способно серьезно повысить позиции России по качеству общего образования по сравнению с другими странами», — отмечал руководитель Рособрнадзора Анзор Музаев в ходе пресс-конференции в ноябре 2020 года.
PISA-2022
Объектом особенного внимания ближайшего цикла исследования станет математическая грамотность, и впервые исследование будет изучать креативное мышление. Хотя — как и обычно — будут проверены все грамотности: математическая, естественно-научная, читательская и финансовая. Еще в этом раунде впервые будут изучать оценку личного благополучия учащихся и учителей.
Математическая грамотность — способность человека применять и интерпретировать математику для решения задач в разнообразных практических условиях.
Она предусматривает знание понятий, фактов и предполагает свободное применение математических инструментов и процедур. Особое внимание уделяется использованию математики для решения практических задач в различных контекстах.
В концепции по математике исследования PISA-2021 обещают, что исследование сосредоточится на математическом рассуждении — способности рассуждать логически и формулировать аргументы. Это навык, который все больше ценится в современном мире.
Обещают проверить умение школьников делать д едуктивные и индуктивные умозаключения, оценивать ситуации, выбирать стратегии, делать логические выводы, описывать решения и их применение на практике.
Анонсировано, что м атематические знания будут проверять по четырем категориям (см. стр. 10) : количество, неопределенность и данные, изменение и зависимости, пространство и форма.
Каков формат? Школьникам предложат компьютерное тестирование и заполнение анкеты. На тесты дают два часа, на анкеты — чуть меньше часа. Предложат анкетирование и учителям.
Если вы заинтересовались, мы с вами! Правда, итогов придется подождать: результаты PISA-2022 будут официально объявлены в декабре 2023 года.
Когда будем исследоваться
Основной этап международного исследования намечен на апрель 2022 года — ровно через полгода. Исследование пройдет во всей России, затронет учащихся старше 15 лет и трех месяцев и 16 лет и двух месяцев, в прошлом исследовании ребята представляли 42 региона РФ, видимо, и в 2022-м будет так же.
В апреле 2021-го в России прошел подготовительный (региональный) этап исследования PISA-2022. В нем участвовали три тысячи школьников из 58 образовательных организаций пяти регионов страны — Москвы, Вологодской, Рязанской, Московской и Орловской областей. В рамках «PISA для школ» инструментарий PISA используется вне цикла международного исследования для получения данных о состоянии системы образования России.
В 2021 году исследование «PISA для школ» пройдет масштабно — на общероссийском уровне — и затронет Амурскую, Кировскую, Мурманскую, Новосибирскую, Свердловскую, Калужскую, Орловскую области, Пермский и Красноярский край, Республики Марий Эл, Дагестан, Алтай, Адыгею и Удмуртию.
Читать результаты региональной оценки предыдущего исследования очень любопытно — к примеру, такое исследование опубликовано для Московской области. Оно продолжает демонстрировать образовательное неравенство в России — показатели Московской области в нем высоки, как и показатели Москвы в международном исследовании.
В общем, есть о чем подумать — о том, как у нас преподают физику, химию, биологию и географию, какие результаты покажут наши школьники по креативности и по уровню критического мышления, какими будут результаты по математике и что именно укажут школьники в графе «Удовлетворенность образовательным процессом».