Порядок проведения Национальных                  исследований качества образования в          Российской Федерации

 

Термины и сокращения

 

НИКО - Национальные исследования качества образования.

Федеральный организатор НИКО – Московский центр непрерывного математического образования, осуществляющий организацию и общую координацию исследования.

ОО - образовательные организации.

ОИВ субъекта РФ или ОИВ - орган исполнительной власти субъекта Российской Федерации, осуществляющий государственное управление в сфере образования.

Региональный координатор ОИВ - специалист, назначенный ОИВ для координации процедур исследований на региональном уровне.

Центр сканирования – РЦОИ или иной пункт сканирования региона, удовлетворяющий техническим требованиям к центру сканирования.

ППИ - пункт проведения исследования на базе ОО, которая участвует в НИКО.

Ответственный организатор ППИ - директор ОО или назначенный им ответственный за взаимодействие с ОИВ и общую координацию проведения исследования в ППИ.

Организатор - сотрудник ОО, назначенный организатором в аудитории.

Независимый наблюдатель - сотрудник ОО, ОИВ или общественный наблюдатель, направленный ОИВ наблюдателем на ППИ.

Технический специалист ППИ – сотрудник ОО, отвечающий за работоспособность компьютерной техники и сетей в ОО (системный администратор, инженер-техник, учитель информатики и т.д.).

КИМ - контрольные измерительные материалы для проведения диагностической работы в рамках НИКО.

СКТ – система компьютерного тестирования, используется для проведения НИКО по информатике.

Информационная система СтатГрад – информационная система, предназначенная для обмена данными между ОО, участниками НИКО и Федеральным организатором НИКО. Состоит из нескольких модулей: Система СтатГрад www.statgrad.org – модуль регистрации ОО, получения  и обработки электронных отчетов от ОО, передачи информации в ОО от Федеральных организаторов; Система СГ-Коллектор – модуль приема и обработки  ответов участников НИКО для объединения в комплекты и организации дальнейшей проверки; Система Эксперт (или СГ-Эксперт expert.statgrad.org) – система удаленной проверки заданий.

Система дистанционного обучения Курситет  https://kursitet.ru/project/niko/2015inf/ - информационная система на базе проекта с открытым исходным кодом EDX, предназначенная для дистанционного обучения и содержащая курсы по подготовке и проведению НИКО.

 

Общие положения

 

Национальные исследования качества образования (НИКО) проводятся в целях развития единого образовательного пространства в Российской Федерации, совершенствования общероссийской системы оценки качества образования.

В рамках НИКО предусмотрено проведение в 2014-2015 гг. исследований:

  • качества математического образования в 5-7 классах (28 октября 2014 г.);

  • качества начального образования (14 апреля 2015 г.);

  • качества образования в области информационных технологий в 8-9 классах(6 и 8 октября 2015 г.).

Мероприятия НИКО проводятся на выборке образовательных организаций. Формирование выборки ОО осуществляет организация-координатор проведения исследований (Московский центр непрерывного математического образования (МЦНМО)) на основании специально разработанной методики.

Исследования проводятся анонимно, данные об участниках в рамках исследований собираются без привязки к ФИО. ОО может принять решение о фиксации и хранении у себя результатов участников в привязке к ФИО для предоставления результатов родителям и выставления положительных отметок участникам, успешно справившимся с работой.

Результаты исследований могут быть использованы ОО, муниципальными и региональными органами исполнительной власти, осуществляющими государственное управление в сфере образования, для анализа текущего состояния системы образования и формирования программ её развития.

Не предусмотрено использование результатов указанных исследований для оценки деятельности учителей, ОО, муниципальных и региональных органов исполнительной власти, осуществляющих государственное управление в сфере образования.

Обсуждение результатов и перспективных направлений развития системы оценки качества образования проводится ежегодно в рамках межрегиональных конференций по оценке качества образования.

 

Организация процедур исследований

 

Для координации мероприятий в рамках НИКО орган исполнительной власти субъекта Российской Федерации, осуществляющий государственное управление в сфере образования (далее – ОИВ субъекта РФ или ОИВ) назначает специалиста, обеспечивающего координацию работ по проведению исследования на территории субъекта Российской Федерации (регионального координатора ОИВ).

Для проведения процедур исследования в каждом из ППИ, в котором проводится НИКО, должен быть назначен ответственный организатор ППИ (списки ответственных организаторов утверждаются ОИВ).

Региональным координаторам НИКО и ответственным организаторам ППИ предоставляется доступ в персональный кабинет для обмена информацией с федеральным организатором НИКО. Учётная запись для входа в систему предоставляется на условиях сохранения конфиденциальности.

Во время проведения процедур исследования в каждой аудитории, в которой находятся участники исследования, должны присутствовать организатор и независимый наблюдатель. Желательно присутствие общественных наблюдателей, а также использование видеонаблюдения.

Если в рамках мероприятий НИКО проводятся диагностические работы, предполагающие выполнение участниками заданий с развернутыми ответами, то к проверке развернутых ответов привлекаются специалисты по соответствующему учебному предмету, прошедшие необходимый инструктаж и соответствующую аттестацию. По согласованию с ОИВ субъекта Российской Федерации к экспертному оцениванию развернутых ответов участников мониторингового исследования могут быть привлечены специалисты из данного субъекта Российской Федерации.

Результаты исследований направляются ОИВ субъектов Российской Федерации для использования в работе, ОО, участвовавшим в исследовании, а также обсуждаются на конференции по оценке качества образования.

Технология проведения процедур, порядок и план-график организации каждого исследования в рамках НИКО определяется отдельным разделом настоящего Порядка. В рамках НИКО могут применяться технологии, основанные на использовании машиночитаемых бланков ответов, а также технологии компьютерного тестирования.

 

Технология проведения исследования качества образования в сфере информационных технологий

 

Технология проведения исследования качества образования в сфере информационных технологий основана на использовании компьютерной техники. Задания диагностической работы и вопросы анкеты демонстрируются участнику исследования на экране компьютера в системе компьютерного тестирования (СКТ). Ввод ответов также осуществляется на компьютере. В некоторых заданиях в качестве ответа должен быть приложен файл. Ответы на задания с развернутым ответом проверяются экспертами.

Задания КИМ ОО получают в своем личном кабинете в системе СтатГрад заранее в зашифрованном виде. Ключ для расшифровки получается в день проведения процедуры.

Кроме того, каждая ОО, участвующая в исследовании, предоставляет организаторам сведения о самой организации и обучающихся-участниках исследования (исключая персональные данные) путем заполнения и отправки электронных форм через информационную Систему СтатГрад. Шаблон таблиц предоставляется организаторами исследования через ИС СтатГрад.

В рамках исследования его участники выполняют диагностическую работу, а также отвечают на вопросы анкеты.

Ответы участников на задания и вопросы анкеты зашифровываются в системе проведения тестирования и через систему СГ-Коллектор передаются Федеральным организаторам НИКО, которые осуществляют обработку результатов, организуют проверку развернутых ответов участников.

Проверка развернутых ответов участников исследования проводится дистанционно. В случае, если по согласованию с ОИВ к проверке развернутых ответов участников привлекаются специалисты из субъекта РФ, организаторы исследования обеспечивают возможность подключения специалистов к системе проверки, прохождения инструктажа и аттестации для допуска к выполнению проверки.

На заключительном этапе все заинтересованные стороны обеспечиваются итоговыми статистическими отчетами по результатам исследования.

 

 

План-график проведения исследования

качества образования в сфере информационных технологий

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Порядок подготовки исследования

 

Основные этапы подготовки исследования

 

  • Согласование выборки образовательных организаций, участвующих в исследовании;

  • назначение ответственных за проведение процедур исследования на уровне ОИВ и на уровне ППИ;

  • обучение ответственных за проведение процедур исследования на уровне ОИВ и на уровне ППИ;

  • техническая подготовка диагностической работы и анкетирования.

 

Назначение ответственных за проведение процедур исследования

 

ОИВ субъекта Российской Федерации назначает для организации процедур исследования на территории данного субъекта РФ ответственного организатора на уровне ОИВ (регионального координатора НИКО).

Кроме того, ОИВ должен обеспечить назначение в каждом ППИ, участвующем в исследовании, ответственного организатора на уровне ППИ, организаторов в аудиториях и независимых наблюдателей, которые будут отправлены в другие ППИ. Организатором в аудитории назначается учитель данной ОО, не являющийся учителем информатики в этом классе. В ППИ направляются наблюдатели, не работающие в данной ОО.

ОИВ также рекомендует федеральным организаторам экспертов по проверке развернутых ответов из числа учителей с опытом проверки работ ЕГЭ или ОГЭ по информатике и ИКТ, работающих в ОО субъекта РФ, но не обязательно в ОО, участвующих в исследованиях. Для участия в проверке развернутых ответов эксперты проходят инструктаж и аттестацию по результатам инструктажа, успешное прохождение которой является допуском к проверке работ участников исследования.

 

Согласование выборки образовательных организаций

 

Согласование выборки проводится региональным координатором в следующей последовательности:

  • получение от федеральных организаторов НИКО предварительного списка ОО;

  • согласование региональным координатором с руководителями ОО возможности участия ОО в исследовании;

  • предоставление организаторам НИКО сведений о количестве обучающихся в 8 и 9 классах и количестве компьютеров, связанных в локальную сеть, в ОО, согласившихся принять участие в исследовании;

  • окончательное формирование федеральными организаторами НИКО списка ОО из числа согласованных и направление списка региональному координатору ОИВ.

 

Обучение ответственных за проведение процедуры исследования на уровне ОИВ и на уровне ППИ

 

Обучение ответственных за проведение процедуры исследования проводится дистанционно. Для записи специалистов на обучение региональному координатору ОИВ и ответственному организатору ППИ необходимо получить, заполнить и сдать через информационную систему СтатГрад форму сбора данных о специалистах для регистрации на курсах по подготовке к проведению Национальных исследований качества образования (НИКО ИТ-2015) (электронную таблицу). В форме сбора данных указать ФИО участников, их роль в проведении исследования (региональный координатор, ответственный организатор ППИ, организатор в аудитории, независимый наблюдатель, технический специалист ППИ или эксперт по проверке заданий) и адрес электронной почты (для региональных координаторов и экспертов по проверке заданий). После внесения в форму необходимой информации на листе «для печати» появляется список данных всех сотрудников вместе с реквизитами входа в дистанционную систему обучения (логин, пароль, адрес страницы входа).

 

От каждого региона должно быть заявлено:

  • региональный координатор – не менее 1 человека;

  • ответственный организатор ППИ – по количеству ППИ, участвующих в проекте;

  • организатор в аудитории – по суммарному количеству аудиторий во всех ППИ, задействованных в проекте;

  • независимый наблюдатель – по суммарному количеству аудиторий во всех ППИ, задействованных в проекте;

  • технический специалист ППИ – по количеству ППИ, участвующих в проекте;

  • эксперт – 3-4 человека от региона.

Рекомендуется формировать заявку с учетом необходимого резерва.

Все специалисты ППИ, на которых была подана заявка, получат доступ в систему дистанционного обучения Курситет https://kursitet.ru/project/niko/2015inf/

 

Обучение экспертов по проверке заданий

 

Для выполнения проверки развернутых ответов участников процедуры исследования набирается группа экспертов. Региональный координатор рекомендует ряд экспертов для включения в указанную группу путем предоставления данных на экспертов в регистрационной форме.

Обучение экспертов проверке развернутых ответов также будет происходить через систему дистанционного обучения Курситет https://kursitet.ru/project/niko/2015inf/.

Курс включает модуль обучения работе с системой дистанционной проверки СтатГрад-Эксперт, а также рекомендации по проверке заданий диагностических работ.

 

Техническая подготовка диагностической работы и анкетирования

 

Не позднее 21 сентября 2015 выбирается вариант организации работы в локальной сети (необходимо выбрать компьютер, выполняющий роль сервера, и компьютер организатора, см. «Технические требования»). На компьютере, выполняющем роль сервера, устанавливается и настраивается ПО (файлы копируются в рабочий каталог, программа запускается и устанавливается несколько настроек в появившемся диалоговом окне). Рабочие места организатора и участников тестирования подключаются к серверу (в веб-браузере на каждом рабочем месте создается закладка, в которой указывается соответствующий адрес). Осуществляется пробный запуск (на компьютере, выполняющем роль сервера, запустить программу, указать путь к полученному демонстрационному комплекту ким; на компьютере организатора, выбрав созданную в веб-браузере закладку, ввести пароль к ким и нажать кнопку «Начать тестирование»; на каждом компьютере участника тестирования выбрать созданную в веб-браузере закладку,  ввести номер варианта и убедиться, что он запустился).

КИМ для проведения исследования ОО получают в личном кабинете информационной системы СтатГрад не позднее 2 и 5 октября 2015 года (для 8 и 9 класса соответственно). Материалы передаются техническому специалисту ППИ для установки на сервер тестирования ППИ. В день проведения процедуры ответственный организатор ППИ получает код для расшифровки КИМ.

 

 

Порядок проведения процедур исследования

 

Этапы проведения процедур исследования

 

  • запуск диагностической работы и анкетирования;

  • проведение диагностической работы и анкетирования участников;

  • заполнение форм с контекстными данными об участниках в ППИ;

  • сбор и отправка результатов федеральному организатору НИКО;

  • обработка развернутых ответов участников исследования.

 

Запуск диагностических работ и анкетирования участников

 

Не позднее, чем за 12 часов до проведения процедур исследования, ответственный организатор ППИ должен составить распределение участвующих в проведении исследования обучающихся по аудиториям: участники распределяются по аудиториям в соответствии с количеством компьютеров – рабочих мест участника. Если участников в параллели больше, чем рабочих мест, то они делятся на группы, которые проходят процедуру последовательно (на 1-2, 3-4 и 5-6 уроках, соответственно). Также ответственный организатор получает в системе СтатГрад таблицу номеров вариантов участников и Протокол проведения исследования.

В день проведения процедуры не позднее, чем за час до начала процедуры исследования, технический специалист ППИ запускает СКТ на компьютере, выполняющем роль сервера, в окне программы вводит логин школы в системе Статград, выбирает полученный архив с КИМ и запускает сервер.

Не позднее, чем за 20 минут до начала исследования, организатор в аудитории входит в СКТ и вводит код (несколько цифр) для расшифровки материалов, полученный у ответственного организатора ППИ (на компьютере организатора выбрать созданную в веб-браузере закладку, ввести код, затем нажать «Начать тестирование»). Также у ответственного организатора ППИ необходимо получить таблицу со списком номеров вариантов участников на аудиторию.

Организатор разрезает таблицу на отдельные номера вариантов и раскладывает эти номера по рабочим местам, соблюдая условие: соседние номера должны быть разложены по соседним рабочим местам.

Также организатор в аудитории получает у ответственного организатора ППИ Протокол проведения, в котором по итогам процедуры должны быть указаны ФИО участников исследования в привязке к номерам вариантов диагностической работы.

Участники рассаживаются за рабочие места произвольным образом и входят в СКТ (каждому участнику необходимо открыть заранее созданную закладку в веб-браузере и в появившемся поле ввести номер варианта, находящийся на его рабочем месте, затем нажать «Начать тестирование»).

 

Проведение диагностической работы и анкетирования

 

Дата проведения процедур исследования: 6 октября для 8 класса и 8 октября для 9 класса.

За 30 минут до начала исследования в ППИ прибывают направленные ОИВ независимые наблюдатели. За 20 минут до начала исследования организаторы в аудиториях должны занять свои места в аудиториях и разложить номера вариантов участников на рабочие места. Участники занимают свои места в аудиториях за 5 минут до начала процедуры.

Работа выполняется непрерывно в течение 85 мин с 2-мя остановками для  проведения гимнастики для глаз через 25 и 50 минут после начала работы.

Примерное распределение времени:

  • инструктаж, вход участников в систему – 5 минут;

  • выполнение 1-й части диагностической работы – 40 минут;

  • анкетирование участников – 10 минут;

  • выполнение 2-й части диагностической работы – 35минут.

Каждый участник работает за своим компьютером, каждое следующее задание появляется после ввода ответа на предыдущее. Если участник не может выполнить задание, необходимо нажать «Пропустить задание». Возможности вернуться к пропущенному заданию у участника не будет. После заданий первой части появляются вопросы анкеты. Затем появляются задания второй части. Из представленных 4-х заданий участник должен выбрать и выполнить ровно одно задание. Выполнив выбранное задание второй части, участник должен загрузить в систему получившийся файл и подтвердить окончание работы.

  • Организатор в аудитории наблюдает изображение хода процесса на своём компьютере. По каждому участнику отображается прогресс выполнения заданий и заполнения анкеты.

     

Сбор и отправка результатов

 

В процессе выполнения участниками диагностических работ организатор в аудитории заполняет Протокол проведения (вносит ФИО каждого участника в таблицу напротив номера выполняемого им варианта).

По окончании процедуры исследования, ответственный организатор ППИ заполняет электронный протокол проведения, внося информацию из протокола проведения без ФИО участников. Также ответственный организатор  ППИ напротив каждого номера варианта вносит в электронный протокол проведения сведения о выполнявшем этот вариант участнике: пол, номер и букву класса, отметки по русскому языку, математике, информатике и ИКТ (если имеется) за предыдущий учебный год.

Технический специалист ППИ создает архив с результатами выполнения диагностических работ (на компьютере организатора в аудитории нажать соответствующую кнопку на странице наблюдения за ходом выполнения заданий). Результаты загружаются в систему СГ-Коллектор, электронный протокол проведения передается через личный кабинет в системе СтатГрад.

Распечатанные варианты протоколов из каждой аудитории с вписанными ФИО участников хранятся в ППИ до окончания всей процедуры исследования (до получения результатов ОО).

 

Проверка заданий экспертами

 

Проверка заданий осуществляется удаленно через систему СтатГрад-Эксперт в период с 9 октября 2015 года и не должна занять более 20 дней. Назначенные региональным координатором эксперты по проверке заданий направляются на дистанционное обучение работе с системой СГ-Эксперт (в системе Курситет). По окончании проведения процедур исследования происходит разбор всех заданий диагностических работ.

Прошедшие обучение эксперты получают доступ в систему СГ-Эксперт, где каждый эксперт проходит дополнительное тестирование, которое заключается в том, что эксперт оценивает некоторое количество образцов ответов, заранее оцененных организаторами исследования (то есть получившими эталонные оценки). Если расхождение оценок эксперта с эталонными оценками находится в допустимых пределах (менее 10%), то эксперт получает доступ к проверке всех работ.

 

Порядок подведения итогов исследования

 

По окончании процедур исследования проводится анализ результатов. Полученные статистические отчеты и аналитические материалы публикуются на сайте www.eduniko.ru.

 

Технические требования

 

СКТ функционирует в режиме «клиент-сервер». Таким образом, для работы системы необходимо выделить:

  • Один компьютер, на котором будет установлено и запущено серверное ПО. Установка осуществляется путём копирования файлов и не занимает много времени. Устанавливать дополнительно какое-либо ПО не требуется. Поддерживаются ОС Windows (Vista и выше), Linux (требуется графическая оболочка),  Mac OS X. Требуется 400 МБ свободного дискового пространства.

  • Один компьютер (может совпадать с серверным компьютером) или мобильное устройство организатора. Установка ПО на данное устройство не требуется, однако рекомендуется убедиться, что установлен современный веб-браузер (см. ниже), а также добавить в него закладку со ссылкой на страницу рабочего места организатора.

  • Компьютеры по числу участников процедуры исследования. Установка ПО на данные устройства не требуется, однако рекомендуется убедиться, что установлен современный веб-браузер (см. ниже), а также добавить в него закладку со ссылкой на страницу рабочего места участника тестирования.

 

Поддерживаются следующие веб-браузеры:

  • Internet Explorer (версия 10 и выше);

  • Google Chrome / Chromium (версия 31 и выше);

  • Mozilla Firefox (версия 25 и выше);

  • Apple Safari (версия 5.1 и выше);

  • мобильные версии вышеперечисленных браузеров.

Компьютеры участников процедуры исследования, а также компьютер или мобильное устройство организатора (в случае, если оно не совпадает с серверным компьютером), должны быть подключены к серверному компьютеру по локальной сети с поддержкой протокола TCP/IP. Если на компьютере, выполняющем роль сервера, используется firewall (межсетевой экран), требуется наличие одного открытого порта (например, 80). Возможные схемы подключения представлены на рисунке:

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

                                  Рис. 1 Варианты организации работы в локальной сети

Вторая часть диагностической работы предполагает выполнение практических заданий. Для их выполнения может потребоваться стандартное офисное ПО: текстовый и графические редакторы, редактор электронных таблиц, редактор презентаций. Предполагается, что участники исследования выполняют практические задания с помощью того ПО, которое уже установлено и используется в школе.

Порядок проведения Национальных исследований 

Всероссийская конференция Национальные исследования качества образования:

итоги и перспективы

Edited Image 2016-02-26 15-49-09