Порядок проведения национальных исследований качества образования в Российской Федерации

Термины и сокращения

 

НИКО - Национальные исследования качества образования.

Федеральный организатор НИКО – Московский центр непрерывного математического образования, осуществляющий организацию и общую координацию исследования.

ОО - образовательные организации.

ОИВ субъекта РФ или ОИВ - орган исполнительной власти субъекта Российской Федерации, осуществляющий государственное управление в сфере образования.

Региональный координатор ОИВ - специалист, назначенный ОИВ для координации процедур исследований на региональном уровне.

Центр сканирования – РЦОИ или иной пункт, установленный ОИВ, удовлетворяющий техническим требованиям к центру сканирования.

ППИ - пункт проведения исследования на базе ОО, которая участвует в НИКО.

Ответственный организатор ППИ - директор ОО или назначенный им ответственный за взаимодействие с ОИВ и общую координацию проведения исследования в ППИ.

Организатор - сотрудник ОО, назначенный организатором в аудитории.

Независимый наблюдатель - специалист, наблюдающий за ходом проведения исследования в ППИ. В качестве наблюдателя не может выступать учитель ОО, в помещениях которого проводится исследование. Наблюдателем может быть сотрудник другого ОО, специалист ОИВ или общественный наблюдатель, направленный ОИВ.

КИМ - контрольные измерительные материалы для проведения диагностической работы в рамках НИКО.

Сейф-пакет - специальный номерной пакет, защищенный от несанкционированного вскрытия.

Доставочный пакет - конверт для отправки материалов на сканирование из ППИ в ОИВ после проведения мониторингового исследования.

СтатГрад-Эксперт (или СГ-Эксперт) – система удаленной проверки заданий с развернутым ответом.

 

Общие положения

Национальные исследования качества образования (НИКО) проводятся в целях развития единого образовательного пространства в Российской Федерации, совершенствования общероссийской системы оценки качества образования.

В рамках НИКО предусмотрено проведение в 2014-2015 гг. мониторинговых исследований:

  • качества математического образования в 5-7 классах (28 октября 2014 г.);

  • качества начального образования (апрель 2015 г.);

  • качества образования в области информационных технологий в 8-9 классах (октябрь 2015 г.).

Мероприятия НИКО проводятся на выборке образовательных организаций. Формирование выборки ОО осуществляет организация-координатор проведения исследований (Московский центр непрерывного математического образования (МЦНМО)) на основании специально разработанной методики.

Мониторинговые исследования проводятся в бланковой форме с использованием диагностических работ и анкетирования.

Исследования проводятся анонимно, данные об участниках в рамках исследований собираются без привязки к ФИО. ОО может принять решение о фиксации и хранении у себя результатов участников в привязке к ФИО для предоставления результатов родителям и выставления положительных отметок участникам, успешно справившимся с диагностической работой.

Результаты исследований могут быть использованы ОО, муниципальными и региональными органами исполнительной власти, осуществляющими государственное управление в сфере образования, для анализа текущего состояния системы образования и формирования программ её развития.

Не предусмотрено использование результатов указанных исследований для оценки деятельности учителей, ОО, муниципальных и региональных органов исполнительной власти, осуществляющих государственное управление в сфере образования.

Обсуждение результатов и перспективных направлений развития системы оценки качества образования проводится ежегодно в рамках межрегиональных конференций по оценке качества образования.

 

 

Организация процедур исследований качества математического образования в 5-7 классах

Для координации мероприятий в рамках НИКО орган исполнительной власти субъекта Российской Федерации, осуществляющий государственное управление в сфере образования (далее – ОИВ субъекта РФ или ОИВ) назначает специалиста, обеспечивающего координацию работ по проведению мониторингового исследования на территории субъекта Российской Федерации (регионального координатора ОИВ).

Для проведения мониторинговых процедур в каждом из ППИ, в котором проводится НИКО, должен быть назначен ответственный организатор НИКО (списки ответственных организаторов утверждаются ОИВ).

Региональным координаторам НИКО и ответственным организаторам НИКО в ППИ предоставляется доступ в персональный кабинет для обмена информацией с федеральным организатором НИКО. Учётная запись для входа в систему предоставляется на условиях сохранения конфиденциальности.

Во время проведения мониторинговых процедур в каждой аудитории, в которой находятся участники исследования, должны присутствовать организатор и независимый наблюдатель. Желательно присутствие общественных наблюдателей, а также использование видеонаблюдения.

Типовое размещение участников мониторинговых процедур по аудиториям – по 15 человек (предпочтительно) или по 30 человек. Если в аудитории размещено 15 человек, то для сопровождения мониторинговых процедур в этой аудитории должно быть не менее одного организатора и не менее одного наблюдателя. Если в аудитории сидит 30 участников, то в ней должно быть не менее двух организаторов и не менее одного наблюдателя.

Если в рамках мероприятий НИКО проводятся диагностические работы, предполагающие выполнение участниками заданий с развернутыми ответами, то к проверке развернутых ответов привлекаются специалисты по соответствующему учебному предмету, прошедшие необходимый инструктаж и соответствующую аттестацию. По согласованию с ОИВ субъекта Российской Федерации к экспертному оцениванию развернутых ответов участников мониторингового исследования могут быть привлечены специалисты из данного субъекта Российской Федерации.

Результаты исследований направляются ОИВ субъектов Российской Федерации для использования в работе, ОО, участвовавшим в исследовании, а также обсуждаются на конференции по оценке качества образования.

 

 

Технология проведения исследования качества математического образования в 5-7 классах

Общее описание технологии

Технология проведения исследования качества математического образования в 5-7 классах основана на использовании машиночитаемых бланков ответов.

Подготовленные с помощью специального программного обеспечения контрольные измерительные материалы (далее КИМ) распечатываются в типографии и доставляются до ППИ в специальных защищённых от вскрытия номерных сейф-пакетах. В каждом сейф-пакете содержатся контрольные измерительные материалы, бланки для ответов участников, анкеты и сопутствующие материалы, включая инструкции, рассчитанные на одну аудиторию:

  • комплекты КИМ с бланками для ответов на 15 участников;

  • запасные комплекты КИМ (1 на аудиторию),

  • анкеты участников,

  • инструкции для участников.

Каждому участнику исследования предназначено два пакета с двумя частями КИМ соответственно и дополнительными материалами. Каждый пакет обозначен уникальным идентификатором. Пакет №1 следует выдать участникам перед началом исследования, пакет №2– после перерыва.

Кроме того, в ППИ поступают пустые доставочные пакеты для отправки материалов после проведения мониторингового исследования в ОИВ.

Все перечисленные выше материалы доставляются централизованно (федеральными координаторами) по адресу, указанному региональным координатором, а затем с этого адреса доставляются во все региональные ППИ, участвующие в исследовании.

Каждая ОО, являющаяся ППИ, получает (через систему СтатГрад) электронную таблицу в формате MS Excel для сбора информации об ОО и обучающихся-участниках исследования (исключая персональные данные).

В рамках исследования его участники выполняют диагностическую работу, а также отвечают на вопросы анкеты, вписывая ответы и решения в установленные поля машиночитаемых бланков.

Заполненные бланки из каждой аудитории складываются организатором в аудитории в доставочный пакет. Заполненные доставочные пакеты из всех аудиторий ППИ отправляются в центр сканирования материалов. Отправку обеспечивает ответственный организатор ППИ. Материалы, не подлежащие дальнейшей централизованной обработке (инструкции, протоколы, КИМ, черновики и др.) помещаются организатором в аудитории в ранее вскрытый сейф-пакет, собираются по всем аудиториям и доставляются в центр сканирования материалов, доставку обеспечивает ответственный организатор ППИ.

Сканирование материалов может осуществляться в нескольких центрах сканирования в одном субъекте Российской Федерации, но при соблюдении порядка сканирования и при выполнении технических требований к сканированию.

После сканирования сканы материалов исследования передаются Федеральным организаторам НИКО, которые осуществляют обработку результатов, организуют проверку развернутых ответов участников. Передача происходит путем отправки файлов через интернет на установленный Федеральными организаторами сервер. Отправка должна происходить по аудиториям. После отправки изображений для одной аудитории специалист, осуществляющий сканирование, должен убедиться в том, что материалы распознаны. Для контроля этого события предусмотрен соответствующий интерфейс. Детали изложены в инструкции по сканированию.

Проверка развернутых ответов участников исследования проводится дистанционно. Для организации проверки используется специализированная информационная система СГ-Эксперт.

В случае, если по согласованию с ОИВ к проверке развернутых ответов участников привлекаются специалисты из субъекта РФ, организаторы исследования обеспечивают возможность подключения специалистов к системе проверки, прохождения инструктажа и аттестации для допуска к выполнению проверки.

На заключительном этапе все заинтересованные стороны обеспечиваются итоговыми статистическими отчетами по результатам исследования. Такими сторонами являются участники исследования, ОО, в котором проводились процедуры исследования, ОИВ, Федеральный координатор.

План-график проведения исследования

 

Порядок подготовки исследования

1.1.1. Основные этапы подготовки исследования

  • Согласование выборки образовательных организаций, участвующих в исследовании;

  • назначение ответственных за проведение мониторинговых процедур на уровне ОИВ и на уровне ППИ;

  • обучение ответственных за проведение мониторинговых процедур на уровне ОИВ и на уровне ППИ;

  • доставка материалов в ОИВ;

  • доставка материалов из ОИВ в ППИ.

1.1.2. Назначение ответственных за проведение мониторинговых процедур

ОИВ субъекта Российской Федерации назначает для организации мониторингового исследования на территории данного субъекта РФ ответственного организатора на уровне ОИВ (регионального координатора НИКО).

Кроме того, ОИВ должен обеспечить назначение в каждом ППИ, участвующем в исследовании, ответственного организатора на уровне ППИ, организаторов в аудиториях и независимых наблюдателей, которые будут отправлены в другие ППИ.

ОИВ также рекомендует федеральным организаторам экспертов по проверке развернутых ответов из числа учителей математики, работающих в ОО субъекта РФ, но не обязательно в ОО, участвующих в исследованиях. Для участия в проверке развернутых ответов эксперты проходят инструктаж и аттестацию по результатам инструктажа, успешное прохождение которой является допуском к проверке работ участников исследования.

1.1.3. Согласование выборки образовательных организаций

Согласование выборки проводится региональным координатором в следующей последовательности:

  • получение от федеральных организаторов НИКО предварительного списка ОО;

  • согласование региональным координатором с руководителями ОО возможности участия ОО в исследовании;

  • предоставление организаторам НИКО сведений о количестве обучающихся в ОО, согласившихся принять участие в исследовании в каждой из параллелей – 5, 6 и 7 классах);

  • окончательное формирование федеральными организаторами НИКО списка ОО из числа согласованных и направление списка .

1.1.4. Обучение ответственных за проведение процедуры исследования на уровне ОИВ и на уровне ППИ

Обучение ответственных за проведение процедуры исследования проводится дистанционно. Для записи специалистов на курсы региональному координатору ОИВ и ответственному организатору ППИ необходимо в срок до 13 октября получить, заполнить и сдать через телекоммуникационную систему СтатГрад форму записи участников (электронную таблицу), в которой указать ФИО участников, их роль в проведении исследования (региональный координатор, специалист центра сканирования, ответственный организатор, организатор в аудитории, независимый наблюдатель, технический специалист ППИ или эксперт по проверке работ) и адрес электронной почты каждого участника.

От каждого региона должно быть заявлено:

  • региональный координатор – не менее 1 человека;

  • специалист центра сканирования – не менее 1 человека;

  • ответственный организатор – по количеству ППИ, участвующих в проекте;

  • организатор в аудитории – по суммарному количеству аудиторий во всех ППИ, задействованных в проекте;

  • независимый наблюдатель – по суммарному количеству аудиторий во всех ППИ, задействованных в проекте;

  • технический специалист ППИ – по количеству ППИ, участвующих в проекте;

  • эксперт – 2-3 человека от региона.

Все специалисты ППИ, на которых была подана заявка, получат доступ в систему дистанционного обучения EDX.

1.1.5. Обучение экспертов по проверке развернутых ответов

Для выполнения проверки развернутых ответов участников процедуры исследования набирается группа экспертов. Региональный координатор рекомендует ряд экспертов для включения в указанную группу путем предоставления данных на экспертов в регистрационной форме.

Обучение экспертов проверке развернутых ответов также будет происходить через систему дистанционного обучения EDX. Обучение экспертов начнется 20 октября и продлится до 20 ноября 2014 года. В ходе обучения эксперты будут обучены работе с системой СтатГрад-Эксперт, а также получат разъяснения по проверке конкретных заданий мониторинга.

1.1.6. Доставка материалов в ОИВ

Материалы доставляются централизованно по адресу, указанному региональным координатором. Адрес указывается по электронной почте monitoring@mccme.ru. Дата доставки согласовывается дополнительно, но не должна быть позже 23.10.2014 года.

Подготовленные с помощью специального программного обеспечения КИМ распечатываются в типографии и доставляются до ОИВ в специальных защищённых от вскрытия номерных сейф-пакетах. В каждом сейф-пакете содержатся бланки ответов, КИМ, анкеты и сопутствующие материалы, включая инструкции, рассчитанные на одну аудиторию: комплекты бланков и КИМ на 15 участников, запасной комплект КИМ, анкеты участников процедуры исследования, инструкции для участников процедуры исследования. Каждому участнику предназначено два бумажных пакета с двумя частями КИМ, бланками и дополнительными материалами, обозначенные уникальным идентификатором. Первый пакет выдается участникам перед началом экзамена, второй – после перерыва.

1.1.7. Доставка материалов из ОИВ в ППИ

Материалы, предназначенные для проведения мониторинговых процедур в конкретном ППИ, должны быть доставлены в этот ППИ не позднее 27 октября 2014 года. Доставку осуществляет ответственное лицо, уполномоченное региональным координатором. Передача материалов ответственному организатору ППИ сопровождается подписанием акта приемки-передачи (форма акта предоставляется). При доставке не допускается вскрытие сейф-пакетов. Ответственный организатор ППИ должен обеспечить надежное хранение полученных материалов в сейфе или помещении, не используемом в ежедневном режиме сотрудниками соответствующего ОО или обучающимися, которое может быть закрыто, и доступ в которое имеет только ответственный организатор ППИ

Порядок проведения мониторинговых процедур

1.1.8. Этапы проведения мониторинговых процедур

  • Выполнение диагностических работ и анкетирования участников;

  • заполнение форм с контекстными данными об участниках в ППИ;

  • сбор материалов для отправки в центр сканирования.

1.1.9. Выполнение диагностических работ и анкетирования участников

Ответственный организатор получает материалы, доставленные уполномоченным региональным координатором специалистом не позднее 27 октября 2014 года.

Не позднее 27 октября 2014 года должно быть составлено расписание проведения мониторинговых процедур в ППИ, выделены аудитории для проведения процедур, составлено распределение участвующих в проведении мониторинга обучающихся по аудиториям.

Дата проведения мониторинговых процедур: 28 октября 2014 года.

За 30 минут до начала тестирования в ППИ прибывают направленные ОИВ независимые наблюдатели. Также за 30 минут до начала мониторинговых процедур организаторам в аудиториях выдаются сейф-пакеты с КИМ и другими материалами. За 10 минут до начала мониторинговых процедур, после рассадки участников по аудиториям, организаторами вскрываются сейф-пакеты.

Мониторинговые процедуры проводятся на 2-3 или 3-4 уроках.

Распорядок во время проведения мониторинга:

  • инструктаж, выдача материалов – 10 минут;

  • написание 1-й части диагностической работы – 35 минут;

  • перерыв – не менее 10 минут;

  • написание 2-й части диагностической работы – 35 минут;

  • анкетирование обучающихся – 10 минут.

По окончании мониторинговых процедур организатор в аудитории упаковывает все бланки с работами и анкеты психологического тестирования участников в доставочные пакеты для отправки материалов в центр сканирования. Доставочные пакеты передаются ответственному организатору ППИ. Также ответственному организатору передаются все остальные материалы (КИМ, инструкции и черновики участников, убранные в сейф-пакеты, в которых были получены материалы) для доставки на хранение в центр сканирования.

Во время проведения мониторинговых процедур в каждой аудитории должен быть заполнен Протокол проведения, который входит в комплект поставки для аудитории и в котором в процессе работы организаторами должно быть установлено соответствие между ФИО обучающихся и номерами выданных им комплектов. Данный протокол используется для заполнения формы на участников мониторинговых процедур (исключая персональные данные) и впоследствии может быть использован ОО для выставления положительных отметок обучающимся по результатам выполнения диагностической работы.

Доставочные пакеты отсылаются в региональный центр сканирования.

Остальные материалы в сейф-пакетах передаются региональному координатору для хранения в течение полугода с момента проведения мониторинговых процедур.

1.1.10. Заполнение форм с контекстными данными

Форма для заполнения контекстных данных по ППИ передается в ППИ через систему СтатГрад. В форму заранее вставлены идентификаторы участников мониторинговых процедур. Рядом с каждым идентификатором участника должны быть указаны:

  • пол;

  • отметка по русскому языку за предыдущий год;

  • отметка по математике за предыдущий год;

  • класс (номер и буква).

    Кроме того, отдельно заполняется информация по классам и по учителям. Инструкция по заполнению формы с контекстными данными имеется в самой форме.

1.1.11. Направление материалов в центр сканирования

Заполненные бланки ответов и анкеты психологического тестирования упаковываются в доставочные пакеты. Все предназначенные для сканирования материалы из одной аудитории должны находиться в одном пакете. Недопустимо упаковывать в один пакет материалы для сканирования из разных аудиторий. Недопустимо упаковывать материалы для сканирования из одной аудитории в два и более пакетов. Нарушение порядка упаковки приведёт к проблемам при сканировании и верификации бланков. Желательно, чтобы из одного ППИ конверты были доставлены в центр сканирования в один день.

1.1.12. Обработка материалов в центре сканирования

В центре сканирования должны быть отсканированы все материалы, помещённые в конверты. Отсканированные изображения материалов из каждого конверта следует упаковать в zip-архив. Названия файлов изображений и архива должны быть записаны латиницей.

Zip-архив надо передать в систему «СтатГрад-Эксперт» через веб-интерфейс. Учётная запись для входа в систему предоставляется региональному координатору или специалисту по сканированию на условиях сохранения конфиденциальности. После загрузки каждый архив должен пройти процедуру первичной верификации, только после этого появится возможность загрузить следующий архив. Для загрузки необходим стабильный канал Интернет.

Сразу после загрузки архива с файлами система СГ-Эксперт распаковывает архив, распознаёт штрих-коды, раскладывает изображения по комплектам участников экзамена и предоставляет пользователю интерфейс первичной верификации. С его помощью можно «привязать» к определённому комплекту «непривязанный» бланк, промаркировать пустые или некорректно заполненные листы, проконтролировать повторное сканирование в случае необходимости. Верификацию проводят специалисты центра сканирования, ознакомленные с инструкцией по сканированию и верификации.

Верифицированные комплекты участников экзамена автоматически поступают на обработку и проверку.

1.1.13. Проверка развернутых ответов экспертами

Проверка развернутых ответов происходит удаленно через систему СГ-Эксперт c 29-30 октября в течение не более 7 дней. При проверке работ эксперты пользуются стандартизированными критериями оценивания заданий.

Прошедшие обучение эксперты получают логины и пароли для доступа в систему СГ-Эксперт у регионального координатора. После входа в систему, каждый эксперт проходит процедуру аттестации. Для чего эксперт проверяет несколько работ, аналогичных работам участников мониторинговых исследований, оценки за которые выставлены заранее (эталонные работы). Аттестация считается пройденной успешно, если оценки, выставленные экспертом за эталонные работы, отличаются от эталонных оценок за эти работы не более чем на 10%. Процедура проверки в системе СтатГрад-Эксперт подробно описана в инструкции эксперта.

Порядок подведения итогов исследования

По окончании процедур исследования проводится анализ результатов. Полученные статистические отчеты и аналитические материалы публикуются на сайте www.eduniko.ru

Результаты исследования также обсуждаются на конференции по математическому образованию 27-28 ноября 2014 года.

Всероссийская конференция Национальные исследования качества образования:

итоги и перспективы

Edited Image 2016-02-26 15-49-09