что значит асинхронный прокторинг
Онлайн-прокторинг:
для кого, зачем и как он работает
Спрос на онлайн-образование постепенно растет, а онлайн-экзамены и сертификаты давно стали нормой. Однако большинство университетов, школ и других учреждений столкнулось с тем, что в удаленном режиме практически невозможно отследить, насколько ученики вовлечены в процесс обучения. Кроме того, при сдаче экзаменов в онлайн-формате у студентов появляется множество возможностей для списывания и других способов облегчения тестирования.
Коронакризис и вынужденный перевод всех студентов на удаленку поставил перед образовательными учреждениями задачу решить проблемы контроля как можно быстрее. На помощь пришли системы онлайн-прокторинга на основе ИИ-технологий (AI online proctoring).
Что такое онлайн-прокторинг
Типы прокторинга
1. Синхронный прокторинг с прокторами
Обычно используется на письменных экзаменах (тестировании). За ходом экзамена в режиме реального времени наблюдает сторонний проктор. Его задача – контролировать прозрачность проведения экзамена. Проктор проводит идентификацию личности студента, контролирует соблюдение всех процедур и может комментировать действия студента в специальном чате. Ведется видеозапись с двух потоков: с веб-камеры студента и рабочего стола его компьютера. Проктор может прервать экзамен, пометив его как недостоверный, в случае возникновения перечисленных в инструкции нарушений: например, студент списывает и не реагирует на замечания проктора в чате. Один проктор может одновременно сопровождать экзамен для 6 студентов. Это самый точный, но и самый затратный вид прокторинга.
2. Асинхронный прокторинг с постпроверкой
Идентификация личности, а также весь ход экзамена обеспечивается программно, система в автоматическом режиме отслеживает некоторые запрещенные действия:
1. отсутствие в кадре студента;
2. второй человек в кадре;
3. разговор во время экзамена;
4. подключение второго монитора.
3. Автоматический мониторинг
Мониторинг полностью проходит без участия человека. Его главное преимущество – низкая стоимость. Однако во многих ситуациях человеческое участие незаменимо, ведь даже самый совершенный ИИ может ошибаться.
Как работает прокторинг
Для студента процесс онлайн-прокторинга довольно прост и не вызывает стресса. К примеру, у нас в “Экзамус” (Examus) процесс устроен следующим образом:
Перед началом экзамена
Шаг 1. Система прокторинга запрашивает доступ к камере и микрофону.
Шаг 2. Решение удаленного прокторинга проверяет стабильность интернет-соединения.
Шаг 3. Система прокторинга проверяет наличие второго экрана и все попытки симулировать или имитировать экран.
Шаг 4. Процесс идентификации студента (если все вышеперечисленные требования выполнены), то есть тестируемый должен будет сфотографировать себя и представить его в систему вместе с документом, удостоверяющим личность (это могут быть водительские права, студенческий билет или кредитная карта).
Шаг 5. Начните экзамен и покажите свои знания!
Во время экзамена система онлайн-прокторинга анализирует поведение испытуемого. Если учащимся разрешено пользоваться калькуляторами или бумагой и ручкой в определенных ситуациях – правила системы могут быть соответствующим образом скорректированы. Как правило, системы онлайн-прокторинга отслеживают следующие параметры:
• аномалии в направлении взгляда;
• закрытие части лица;
• наличие других лиц в кадре;
• обнаружение человеческого голоса;
• обнаружение переключения монитора;
• обнаружение вторичных гаджетов;
• обнаружение книг и заметок;
• обнаружение калькулятора (если это не разрешено);
• обнаружение широковещательного ПО;
• обнаружение переключения вкладок в браузере;
• обнаружение сторонних алгоритмов;
• обнаружение невербальной коммуникации.
Решение автоматически помечает все подозрительные действия и добавляет их в отчет. Каждая запись в нем включает разбивку по типу нарушения и соответствующую метку времени.
После экзамена
Система прокторинга собирает и объединяет информацию из всех источников в единую комбинированную запись. После этого программа рассчитывает общую вероятность нарушений во время экзамена: зеленая зона означает низкую вероятность, желтая — среднюю, а красная – высокую. Основываясь на полученных результатах, система Examus способна:
• Показать записи с камеры, микрофона и рабочего стола;
• Показать все возможные нарушения в хронологическом порядке;
• Показать подробную информацию по каждому нарушению (с указанием типа и метки времени).
Прокторинг: что нужно знать hr-у
Что такое прокторинг?
Четкого и единого определения в русскоговорящей среде еще не сложилось, сам термин для многих является новым, хотя подобные технологии развиваются уже не один год. Тем не менее, общее определение может звучать так: прокторинг (от англ. «proctor» — надзиратель) — это автоматизированная процедура наблюдения и контроля за дистанционным испытанием.
Зародился прокторинг в электронном обучении: нужно было технологично присматривать за студентами на онлайн экзаменах, чтобы те не списывали. Теперь же он развивается не только в образовании, но и в HR — результаты онлайн-тестов для персонала также должны быть защищены от возможных фальсификаций.
То, как организуется сеанс прокторинга, зависит от провайдера, но суть остается неизменной. Система собирает данные с камеры, микрофона и экрана компьютера респондента, анализирует процесс тестирования, подтверждает личность, фиксирует возможные нарушения. И в итоге предоставляет организатору тестирования видеозапись процесса и оценку достоверности полученных результатов.
Как работает система прокторинга
Сервис призван автоматически отслеживать и пресекать следующие распространенные нарушения:
Что произойдет, если будет зафиксировано нарушение? Организатор самостоятельно определяет, как поведет себя программа:
Какие технологии используются в системе онлайн прокторинга?
Программа анализирует большой объем поступающих данных. Это и видео, и аудио, и события в браузере респондента. Для этого используется машинное обучение — класс методов искусственного интеллекта — специальные алгоритмы, обученные модели, которые в режиме реального времени способны определить нарушения.
Помимо технических возможностей системы, стоит отметить еще и ее психологический эффект. Осознание того, что за тобой наблюдают, заставляет отказаться от попыток обмана. И сам факт наблюдения становится большим подспорьем в обеспечении достоверности результатов тестирования.
Этапы работы с системой: что делает организатор
Правила проведения: что делает респондент
Порядок проведения сеанса прокторинга зависит от требований организатора и конкретного испытания. Но правила стандартной процедуры таковы:
Прокторинг в подборе и оценке персонала
Проблема фальсификации результатов оценочных процедур стара как мир. Всем знаком образ школьника, списывающего на контрольной, студента, который сдает экзамен со шпаргалками… И с возрастом это не проходит, напротив, чем дальше — тем выше ставки, и тем сильнее желание попробовать во что бы то ни стало «пройти тест». Тестирование при приеме на работу или формировании кадрового резерва, прохождение аттестации: проблема «списываний» становится головной болью уже не работников сферы образования, а HR-ов. Причем сильной.
HR-ы до недавнего времени боролись с этой проблемой примерно так же, как и экзаменаторы в учебной аудитории: вживую наблюдали за респондентами, своими силами администрировали процесс. Но все это работает лишь в индивидуальной оценке, максимум — в малых группах. А развитие дистанционных оценочных процедур накладывает свои требования. Российский Стандарт тестирования персонала прямо указывает на то, что при применении открытого дистанционного онлайн тестирования в ситуации экспертизы гарантия достоверности результатов отсутствует и полученные таким образом данные диагностики не могут влиять на окончательные управленческие решения.
Эти две причины — сильное стремление респондентов показать наилучший результат и развитие массового дистанционного онлайн тестирования — создают столь высокую потребность в применении технологий прокторинга именно в HR-практике.
Конечно, такое дистанционное наблюдение в подборе и оценке персонала прежде всего актуально при тестировании знаний и интеллекта. Что же делать с личностными опросниками? При их применении могут проявиться более тонкие факторы, снижающие достоверность результатов. Например, мотивационные искажения: стремление соответствовать пожеланиям работодателя, выглядеть в лучшем свете («Просто надо быть правдивым, благородным, справедливым, умным, честным, сильным, добрым — только и всего!»). Только лишь наблюдать за респондентом в этой ситуации уже недостаточно. В психометрике есть ответы и на эти вопросы. Всесторонне эта тема раскрыта в статье Алёны Мезенцевой, Руководителя отдела исследований и разработок Лаборатории «Сам Абрам дался в обман, или фальсификация результатов тестирования и как с ней бороться».
Возвращаясь к прокторингу подчеркнем, что он точечно решает конкретную проблему, для которой предназначен, не больше и не меньше. Но делает это хорошо: легко и технологично, занимая заслуженное место в ряду современных, автоматизированных и удобных HR-решений.
Интеграция системы тестирования Maintest и прокторинга
Лаборатория «Гуманитарные Технологии» не является непосредственным поставщиком программного обеспечения для прокторинга. На этом специфическом рынке есть свои профессионалы. У каждого провайдера есть свои возможности и особенности, свой тарифный план. Вы можете выбрать того, кто больше других подходит под требования и условия конкретной процедуры тестирования. А мы предлагаем вам интеграцию систем.
Интеграция — это процесс объединения частей в целое. В данном случае это объединение сеанса тестирования, который осуществляется в нашей оболочке Maintest, с сеансом прокторинга (платформа предоставляется выбранным провайдером). Две системы незаметно для пользователя взаимодействуют между собой, а управлять всеми процессами можно из единого личного кабинета в Maintest.
На что мы обращаем особое внимание при осуществлении интеграции
Рис. 2 – Предупреждение респондента о нарушении процесса тестирования.
В личном кабинете Maintest пользователь может управлять настройками прокторинга:
Варианты подключения услуги
Авторы: Григорий Красночуб, программист Human Technologies;
Татьяна Преснова, редактор информационных ресурсов Human Technologies.
В вашей почте раз в неделю. А еще: новости, акции и мероприятия для HR.
Что такое система прокторинга и как её обойти
Пандемия показала, что система отечественного образования срочно нуждается в модернизации, а также готовности перейти на онлайн-формат. При этом одни вузы более готовы к ней, другие – менее.
О новостях из жизни разных вузах вы можете читать на нашем телеграм-канале, который постоянно пополняется новостями. А в группе время от времени раздают бонусы и скидки студентам.
Одним из новейших решений стала система прокторинга. О том, что это такое, как оно работает и когда применяется – расскажем далее.
Что такое прокторинг и почему с ним лучше
Личный контакт с преподавателем (особенно на экзамене) многих пугает, как и ожидание перед дверью, тишина и зоркое внимание экзаменатора за каждым движением. Стоило преподавателю просто заподозрить обман. Он мог выставить студента для пересдачи. Это вносило оттенок субъективности.
С онлайн-прокторингом все стало объективнее и проще.
Прокторинг – система контроля на онлайн-экзамене/тестировании. Контроль осуществляет проктор – администратор, который наблюдает за процессом через веб-камеру.
Онлайн-прокторинг позволяет подтвердить личность учащегося, исключить использование шпаргалок и помочь преподавателю объективно оценить знания.
Система появилась в Америке еще в 2008 году
Сегодня технологии прокторинга сильно развиты. Есть 3 вида отслеживания онлайн-тестирования:
Вуз может использовать синхронный прокторинг с помощью программы «Экзамус» (или другой, синхронный с участием проктора) и асинхронный прокторинг (система ведет запись всего процесса с фиксацией нарушений без прерывания экзамена, а запись потом проверяют специальные люди).
Как проходит экзамен во время прокторинга
Экзамен в системе прокторинга можно пройти в любом месте, где есть надежный интернет и веб-камера.
Учащемуся нужно заранее установить на свой компьютер специализированное ПО, которая будет записывать экран.
Процедура выглядит следующим образом:
Что запрещено делать во время прокторинга
Есть четкий порядок действий, которые можно совершать во время экзамена в системе прокторинга. Например, можно пользоваться рукописным конспектом, звонить проктору, если возникли технические проблемы (пропал интернет, отключили свет и т.д.).
А вот чего делать нельзя:
Если проктор обнаружит хотя бы одно нарушение, он зафиксирует все и передаст замечания преподавателю. Если студент совершает сразу несколько грубых нарушений или не реагирует на замечания проктора, экзамен можно прервать или даже аннулировать.
Где можно использовать прокторинг
Эта система, ставшая популярной в сфере образования из-за пандемии, может быть полезной и в следующих сферах:
Советы по подготовке к экзамену в системе прокторинга
Если вы раньше никогда не проходили экзамен с прокторингом, вот несколько советов, которые помогут пройти испытание без лишней нервотрепки и проблем:
Как обойти прокторинг на экзамене
Лучше не искать способы, как обмануть прокторинг. Если у проктора возникнут подозрения, он может досрочно завершить экзамен.
Но некоторых это не пугает. Студенты умудряются подключаться по микронаушнику задолго до начала экзамена. Таким образом можно надиктовать своему помощнику на том конце провода вопрос и прослушать ответ.
Особенно продвинутые качают программы демонстрации экрана. И к моменту начала экзамена помощник студента уже видит по экрану все то же, что видит сам студент. И по тому же микронаушнику получает правильный ответ.
Разработчики не рассказывают о том, какие технологии используют в системе онлайн-прокторинга. Это не только коммерческая тайна, но и способ не дать студентам разобраться в них, чтобы потом искать методы обхода.
С первого взгляда может показаться, что система прокторинга в электронном обучении слишком строга. На самом деле сдать в ней экзамен гораздо проще, чем у преподавателя. Здесь напрочь отсутствует субъективное отношение, человеческий фактор в виде плохого настроения/самочувствия преподавателя. Можно надеяться только на свои знания.
Впрочем, в любом случае у вас всегда будет надежная поддержка в виде сервиса студенческой помощи.
Наталья – контент-маркетолог и блогер, но все это не мешает ей оставаться адекватным человеком. Верит во все цвета радуги и не верит в теорию всемирного заговора. Увлекается «нейрохиромантией» и тайно мечтает воссоздать дома Александрийскую библиотеку.
Опыт разработки автоматизированной системы прокторинга для подтверждения результатов онлайн-экзаменов
В современной системе образования все большее значение приобретает дистанционное обучение. Во многих странах мира этот формат используется широко и представляет собой ведущую тенденцию. В Россию онлайн-обучение пришло недавно и до сих пор вызывает множество вопросов. Удобство онлайн-обучения сложно переоценить – оно позволяет получить знания в удобное время, в удобной форме и с минимальными затратами. Однако, когда речь идет об аттестации учащихся, выдаче сертификатов, свидетельств и дипломов по результатам обучения и доверии к этим результатам, то дистанционная форма, на первый взгляд, сильно уступает очному обучению. Возникают проблемы верификации личности и распознавания нечестного поведения испытуемого (студента) в ходе тестирования. Важным шагом к решению этой проблемы являются системы прокторинга.
В России до сих пор слово прокторинг мало кому знакомо. Нет четкого представления о функциях этого формата и о способах его организации. В классическом понимании прокторинг — это процедура дистанционного сопровождения онлайн-экзаменов и верификации личности испытуемого с целью повысить уровень доверия к результатам, когда за ходом сдачи экзамена следит удаленный наблюдатель (проктор).
Безусловно, наличие квалифицированного наблюдателя заметно улучшает ситуацию. Проктор может проверить личность студента, следить через веб-камеру за процедурой онлайн-тестирования. Однако, как я покажу далее, формат классического прокторинга имеет ряд ограничений. Последним словом в сфере онлайн-экзаменов является разработка систем частичной или полной автоматизации функций проктора. Автоматизация позволяет не только помочь живому наблюдателю и повысить эффективность его работы, но даже в некоторых случаях заменить проктора.
Я занимаюсь разработкой и внедрением автоматизированной системы дистанционного сопровождения онлайн-экзаменов в компании ProctorEdu. Система позволяет частично или полностью автоматизировать функции прокторинга и может быть интегрирована с другими системами, такими как платформы онлайн-обучения. За последний год удалось значительно продвинуться в этой сфере и накопить кое-какой опыт, которым и хочется поделиться.
Сперва рассмотрим подробнее классическую схему, когда за процедурой удаленной сдачи экзамена в режиме онлайн наблюдает проктор. Обычно проктор может одновременно сопровождать до девяти студентов. В обязанности проктора входит:
Оба этих варианта вполне рабочие, позволяют повысить уровень доверия к результатам экзаменов и защититься от подмены личности. Но у них есть и ряд недостатков:
Система прокторинга технически сложна в реализации, поэтому она не является частью большинства платформ онлайн-обучения. Разрабатываемые отдельно системы прокторинга интегрируется с такими платформами, добавляя в них недостающий функционал.
Чего же удалось добиться? Был разработан сценарий прохождения экзамена на платформах онлайн-обучения, который не требует непосредственного участия проктора, однако не исключает пассивного наблюдения и даже вмешательства в процесс (в текстовом, аудио- и видеоформате). Сначала этот сценарий был длинным и содержал не менее девяти этапов взаимодействия студента (слушателя курсов) с платформой онлайн-обучения и системой прокторинга. Только чтобы начать экзамен надо было выполнить вручную не менее четырех этапов в системе прокторинга: проверка связи, фотография лица, фотография документа, верификация личности проктором. Помимо этого, требовалось поочередно взаимодействовать как с системой онлайн-обучения, так и с системой прокторинга. Все это напоминало квест, который нужно проходить каждому студенту, и вызывало немало вопросов к организаторам.
Постепенно этот путь сокращался за счет автоматизации отдельных этапов и изменения способа интеграции с платформами онлайн-обучения. Сейчас сценарий прохождения экзамена для студента выглядит следующим образом: студент заходит на сайт системы онлайн-обучения, начинает экзамен, проходит экзамен в любой форме (тест, задание, виртуальная лаборатория и пр.), завершает экзамен и получает результат. Иначе говоря, для студента сценарий прохождения экзамена в системе онлайн-обучения не изменяется, а система прокторинга автоматически подключается в момент начала экзамена, наблюдает за студентом на протяжении всего экзамена и заканчивает свою работу в момент завершения экзамена. Это выглядит просто, вся сложность скрыта от студента.
Встраивание функций прокторинга в сценарий прохождения экзамена системы онлайн-обучения (LMS)
Более подробно про каждый этап:
Теперь хочется более подробно рассказать, как работает подсистема обнаружения нечестного поведения во время экзамена.
Структура подсистемы автоматического обнаружения нечестного поведения
На протяжении всего экзамена автоматически собираются данные по динамическим показателям, включая отслеживание действий на компьютере, детекцию лиц и голоса, биометрию. Собранные данные анализируются и обрабатываются, после чего формируется автоматическая оценка качества прохождения экзамена от 0 до 100%. На основании сформированной оценки может быть автоматически выставлено заключение по сеансу с учетом заранее заданных критериев.
Основной акцент делается на том, что для прохождения экзамена не требуется какое-то специальное оборудование, помимо того, что и так обычно есть: веб-камера, микрофон, клавиатура, экран. Собираются данные по следующим событиям:
,
где N — число минут в экзамене, x1, x2, … xk — данные оцениваемых параметров в процентах, E — оценка качества прохождения экзамена в процентах. Функция f(x) описывает метод выбора наиболее значимых событий. Примеры функций f(x):
А вот видео, демонстрирующее работу подсистемы отслеживания событий:
Каждый пройденный экзамен по процедуре прокторинга включает в себя автоматическую оценку от 0 до 100%, фотографию лица студента и интерактивный протокол, который содержит видеозапись с веб-камеры и экрана (опционально), поминутную детализацию зафиксированных событий и другие данные экзамена.
Сохраняемая информация не содержит персональных данных, во время экзамена не требуется показывать в камеру документы, а сохраняемые фотографии лиц не соответствуют ГОСТ Р ИСО/МЭК 19794-5-2006, поэтому не могут считаться биометрическими данными.
При выдаче сертификатов, свидетельств, дипломов осуществляется верификация личности только тех студентов, которые успешно дошли до конца программы обучения, тем самым сокращается общий объем работы. Для подтверждения личности студента учебное заведение может запросить необходимые данные у своего студента, а затем для каждого экзамена сравнить сохраненные системой прокторинга фотографии лица с фотографией в удостоверяющем личность документе. Процедуру сравнения фотографии лица на документах еще предстоит автоматизировать.
Резюмируя, хочется добавить, что вслед за дистанционным обучением развиваются технологии дистанционной сдачи экзаменов с подтверждением личности и подтверждением результатов таких экзаменов. Хочется, чтобы наша страна развивала образовательные технологии и могла составить конкуренцию зарубежным мировым лидерам. Работы предстоит еще много.
Прокторинг в онлайн-экзаменах: как это работает?
Stepik — на данный момент единственная русскоязычная образовательная онлайн-платформа, на который любой желающий может создать экзамен с прокторингом (онлайн-сопровождением и контролем учащегося). Притом такой экзамен может иметь заданную продолжительность, ограниченное время на прохождение, точную дату начала.
В данной статье мы расскажем про то, зачем нужен прокторинг, и в подробностях опишем интеграцию системы онлайн-прокторинга ProctorEdu с платформой Stepik.
Если вы знаете, что такое онлайн-прокторинг и какие он дает преимущества для реализации процесса проведения онлайн-экзаменов, то пропускайте следующую описательную часть и сразу переходите к вопросам реализации в главе Что такое экзамен на Stepik?
Вступление
Для перевода обучающих материалов и тестовых заданий в онлайн-формат подходят практически любые области знания — от IT до HR. Например, онлайн можно можно проводить обучение новых сотрудников в компании, или осуществлять автоматическую проверку кода, или обучать работе с базами данных — и всё это непосредственно на образовательной платформе без необходимости для преподавателей или учащихся разворачивать инфраструктуру на локальных компьютерах. При этом решается проблема проверки полученных знаний, т.к. можно провести финальный экзамен по курсу в том же онлайн-формате, в котором учащийся проходил онлайн-курс. Не надо заставлять человека, желающего получить сертификат, ехать в рабочее время в Центр тестирования, нервничать из-за новой незнакомой обстановки, когда можно предоставить возможность пройти онлайн-экзамен в том же знакомом интерфейсе в удобное время, при этом сидя в комфортном кресле.
Рассмотрим IT-индустрию: например, центр сертификации Microsoft позволяет проходить сертификационные экзамены удаленно, компания Hortonworks организует получение сертификатов по администрированию собственной платформы, предоставляя доступ к удаленной виртуальной машине и список заданий, которые нужно сделать.
И, всё-таки, несмотря на неудобство для экзаменуемых, стоимость сертификатов в IT-индустрии достаточно высока, и оборудование физических помещений под цели проведения экзаменов, для которых необходимо проверять личность сдающего и осуществлять строгий контроль за процессом сдачи, может быть рентабельно. Но если посмотреть на ситуацию, когда быстрорастущей компании, которая работает в нескольких регионах, нужно массово обучать и проверять знания сотрудников, а затем на основе этой информации принимать финансовые и HR-решения, процесс организации физического присутствия сотрудников на экзаменах может стать очень дорогим и организационно сложным для масштабирования.
Как же прокторинг всех спасёт?
Давайте представим, что появился новый конкурент Uber компания Taxibus, которая называет своим ключевым преимуществом вежливость и высокий профессионализм своих водителей. Для этого водитель, сотрудничающий с компанией Taxibus, должен ежеквартально сдавать теорию по ПДД и экзамен по правилам эффективного общения. В случае успешной сдачи экзаменов водитель получает льготный тариф, который позволяет ему отдавать транспортной компании не 7, а 5% комиссии от стоимости каждой поездки. К работе с компанией Taxibus подключилось уже около 7 тысяч водителей в 15 городах страны, и чтобы не тратить деньги на аренду помещений и оплату зарплаты сотрудникам-прокторам, осуществляющим контроль процесса сдачи экзамена, компания разработала онлайн-экзамены, доступные водителям в любое время с их личных компьютеров или мобильных устройств. Однако, некоторые водители не хотят готовиться к экзаменам, но их привлекает возможность получить дополнительный бонус от компании. Поэтому они просят своих друзей, уже успешно сдавших экзамен, пройти экзамен вместо них.
Чтобы однозначно подтвердить личность сдающего и получить уверенность, что экзамен был сдан честно, без использования посторонней помощи, организаторы обучения могут подключить к экзаменам в своей обучающей платформе систему онлайн-прокторинга. Основная задача таких систем — через доступ к веб-камере, микрофону и рабочему столу пользователя подтверждать соблюдение регламента экзамена в автоматическом или полуавтоматическом режимах (о чем мы еще скажем ниже), как делал бы это реальный проктор при физическом присутствии сдающего на экзамене. Подробнее о том, как работают такие системы можно прочитать здесь.
В случае сдачи онлайн-экзаменов по IT-дисциплинам может использоваться такая же система. Системы прокторинга довольно сложны сами по себе, т.к. они требуют работы с несколькими видео-потоками, организации систем хранения видео и аудио информации, технологий распознавания лиц и речи, разработку интерфейсов проктора для управления процессом сдачи экзамена и экзаменуемого. Поэтому Stepik не стал разрабатывать свою технологию онлайн-прокторинга, а использует уже имеющиеся решения. В этом посте мы хотим рассказать некоторые технические подробности, о том, как мы интегрировали систему онлайн-прокторинга ProctorEdu для работы с нашей платформой, и как наши преподаватели курсов могут настроить прокторинг в экзаменах в своих курсах на Stepik для более надежной верификации экзаменационных сессий.
В Stepik уроки объединяются в модули или учебные недели. Любой модуль можно превратить в экзамен, выбрав в настройках тип модуля «Экзамен» и задав продолжительность экзамена. Учащиеся смогут приступить к прохождению экзамена в промежуток времени, который задает преподаватель курса, нажав кнопку «Начать экзамен». Пока длится экзамен, учащийся видит таймер с обратным отсчетом. После окончания экзамена учащийся больше не сможет набирать баллы в экзамене.
Когда пользователь приступает к экзамену, для него в базе создается запись exam-session, в которую записывается дата начала экзамена пользователем. Зная дату начала и продолжительность экзамена exam_duration_minutes, мы в интерфейсе отображаем оставшееся время пользователю. Пользователь получит только те баллы за правильные решения, которые он успел получить до окончания экзамена.
Как технически устроена интеграция с провайдером прокторинга?
Реализация возможности проходить экзамены с онлайн-прокторингом наложила дополнительные ограничения на возможность создания записи exam-session — пользователь должен иметь возможность записаться на доступный сеанс прокторинга и приступать к экзамену только, когда получил на это разрешение проктора. При этом проктор должен иметь возможность досрочно закрыть доступ к экзамену в случае нарушений, а также оценить наличие и отсутствие нарушений во время экзамена, которые могут повлиять на итоговую оценку. Для этого в Stepik мы добавили еще одну модель proctor-session, которая связана с экзаменационным модулем и позволяет создать exam-session только при наличии запущенной proctor-session (с установленной start_date).
Как мы уже упомянули выше, для учащегося отличие экзамена с прокторингом от обычного экзамена состоит в том, что на прокторинг нужно записываться заранее, когда у проктора, контролирующего экзамен, есть свободные слоты времени. В интерфейсе Stepik это решается на странице экзамена — пользователю предлагается записаться на сеанс прокторинга, для записи пользователь переходит по ссылке на ProctorEdu (в этом момент создается proctor-session для данного пользователя), регистрируется там со своим Stepik-аккаунтом через протокол OAuth2 и выбирает время, доступное для прохождения экзамена.
Учащийся сможет начать экзамен (т.е. создать exam-session) только при наличии запущенной proctor-session (для которой proctor выполнил команду start). Когда учащемуся экзамен становится доступным для прохождения, он видит активную кнопку «Начать экзамен» и может приступить к прохождению экзамена.
Для управления proctor-sessions пользователей провайдер прокторинга (которому мы назначаем специальную роль «proctor») регистрирует у нас серверное приложение по протоколу OAuth2. Данное приложение сможет управлять сессиями прокторинга учащихся на платформе Stepik, с помощью команд которые мы описали выше.
Как создать экзамен с прокторингом на Stepik?
Интеграция ProctorEdu и Stepik: взгляд со стороны системы прокторинга
Автоматизированная система прокторинга ProctorEdu — облачное решение SaaS (программное обеспечение как сервис), которое позволяет организовать и провести экзамены по процедуре прокторинга. Сеансы записываются и анализируются на предмет нарушений, после чего формируются отчеты.
ProctorEdu предоставляет интерфейсы для организации рабочего пространства прокторов со стороны образовательной организации, но также может и предоставлять своих прокторов.
Как происходит интеграция ProctorEdu и LMS в общем случае?
Интеграция ProctorEdu и Stepik
Схема подключения Stepik к системе ProctorEdu
Для интеграции с платформой Stepik на данный момент используется первый вариант из описанных выше: был разработан специальный API, который построен таким образом, чтобы можно было гибко настраивать протокол обмена данными между LMS и системой ProctorEdu в формате JSON.
Экзамен не будет начат пока эти требования не будут соблюдены. Во время самого экзамена осуществляется трансляция и запись веб-камеры, рабочего стола и дополнительной камеры студента, выполняется автоматическое отслеживание нарушений. В начале каждого сеанса автоматически делается фотография лица студента, эта фотография проходит процедуру идентификации личности и определяется процент схожести лица в сеансе с фотографией из профиля.
На протяжении всего экзамена осуществляется непрерывная верификация личности человека за компьютером, которая основана на методах автоматического обнаружения и распознавания лиц и методе анализа клавиатурного почерка. Проктор может наблюдать за назначенными ему студентами, видеть их трансляции, видеть уведомления о зафиксированных нарушениях. При необходимости проктор может связаться со студентом по видеосвязи или через чат. Также проктор может прервать экзамен в любой момент и указать причину в комментарии к сеансу.
После завершения экзамена формируется оценка степени доверия к результатам экзамена в процентах, формируется интерактивный протокол с видеозаписью всех трансляций, историей переписки и поминутной детализацией зафиксированных нарушений.
Интерфейс студента при прохождении экзамена на Stepik, проводящийся через систему ProctorEdu
Взаимодействие со Stepik осуществляется студентом из интерфейса системы ProctorEdu, в этом случае страница экзамена загружается через IFRAME по указанному в сеансе адресу. Экзамены импортируются из Stepik при входе студента в систему ProctorEdu.
Заключение
В окончании статьи хотим привести плюсы и минусы экзаменов с онлайн-прокторингом.
Если вам интересно сделать свой экзамен с прокторингом на Stepik или полноценный онлайн-курс, напишите нам письмо.
Как вы считаете, достаточно ли надёжны результаты прокторинга? Если бы перед вами стояла задача проведения онлайн-экзамена, воспользовались бы вы функцией прокторинга?