ИСПОЛЬЗОВАНИЕ ПРОГРАММНЫХ СРЕДСТВАВТОМАТИЗАЦИИ ХОДА ВЫПОЛНЕНИЯИ ОБРАБОТКИ РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ
У Перспективы компьютерного тестирования
У Компьютерные технологии в тестировании:
автоматизированный комплекс тестового контроля учебных достижений Автоматизированный комплекс для подготовки экспертов региональных предметных комиссий для ЕГЭ
По самому способу своего построения тестовая форма оценки качества образования подразумевает стандартизацию и регламентацию процедуры испытаний, минимизацию субъективного влияния тестирующего на результаты прохождения теста.
Различные попытки автоматизации процесса тестирования предпринимались достаточно давно. Основной их целью было сделать проведение тестирования максимально быстрым, уменьшить накладные расходы, увеличить количество тестируемых за единицу времени. До появления общедоступных ЭВМ автоматизация тестирования выполнялась с помощью электрических или механических устройств.
В форме компьютерных программ тесты впервые стали применяться в рамках первых систем автоматизированного обучения, разрабатываемых в соответствии с концепцией программируемого обучения. Тестовая форма оценки знаний учащихся позволяла автоматизировать обратную связь и значительно сократить затраты времени педагога на проведение теста и на первичный анализ его результатов.
Несмотря на то, что комплексы такого рода так и не получили широкого распространения, с появлением компьютеров в учебных заведениях тесты стали одним из первых компьютерных учебных средств, вошедших в практику работы учителя- предметника.
Первые тестирующие системы представляли собой довольно примитивные программы, подразумевающие вывод вариантов ответов, ввод номеров ответов по выбору пользователя и накопление баллов. Чаще всего каждый тест был реализован как отдельная программа.
Ограниченность средств ввода в таких программах вынуждала ограничивать и возможные формы ответов, упрощать тесты. Делать программу тестирования сложной, предусматривающей много учебных ситуаций, в этом случае затруднительно и нецелесообразно.
Все эти недостатки привели к тому, что появились более универсальные системы создания и использования тестов (как средств компьютеризированного контроля), подразумевающие хранение тестов, вопросов и вариантов ответов в отдельных файлах данных. Также комплексы предусматривали в себе средства для пополнения и коррекции и тестов, и вопросов. Таким образом, появилось первое разделение: на программы для создания тестов и программы для прохождения тестов. Совершенствуясь, эти системы позволили создавать прообраз банков заданий, формировать структурно сложные тесты.
Важной особенностью таких систем, по сравнению с примитивными тестирующими программами, является наличие более сложных и профессиональных интерфейсов и средств анализа ответов пользователей. Это позволяет значительно расширить спектр используемых видов тестовых заданий, проводить отложенное тестирование, автоматически создавать эквивалентные варианты тестов и пр.
Современные системы такого рода используются для хранения тестовых заданиий, вариантов тестов и результатов учащихся. Инструментальные средства баз данных позволяют использовать в заданиях различные виды невербального материала (не только текст) и, как правило, имеют в своем составе два основных модуля: «модуль ученика» и «модуль учителя».
Несмотря на все свои достоинства, системы такого рода достаточно сложны в развертывании. Для работы с ними требуется, как минимум, предварительная установка и настройка рабочих мест. Кроме того, разработка достаточно универсальной программы тестирования, предусматривающей сбор данных с большого количества рабочих мест, — тоже не самое простое дело. Создание сетевой версии систем тестирования — это барьер, который перешли лишь немногие разработчики.
Популярное сегодня направление в создании тестирующих систем — разработка их в форме серверных web-приложений.
В этом случае развернуть собственно программную часть системы требуется только на одном компьютере (web-сервере), а на рабочих местах потребуется только стандартный браузер (например, Internet Explorer из комплекта Windows). «Ученическая» и «учительская» части системы в этом случае выполняются как замкнутые наборы web-страниц. С точки зрения разработки такая система позволяет значительно проще и быстрее организовать работу большого количества рабочих мест, но налагает некоторые ограничения на скорость работы и на способ показа вопросов (ограничения формы). Существенным же ее плюсом является значительное упрощение разработки за счет использования специализированных языков создания приложений.В любом случае система такого рода подразумевает ряд технических мер, предупреждающих намеренное искажение результатов тестирования. В частности, это большие банки заданий, ротация вопросов в тестах, исключение утечки информации о правильных ответах и пр.
К сожалению, приходится отметить, что даже достаточно сложные и развитые системы тестирования не имеют в своем составе модулей статистической обработки результатов, за исключением примитивных суммирующих шкал. Поэтому такой анализ выполняется внешними средствами.
В настоящее время математические и статистические расчеты не производятся вручную. Для этого существуют специально созданные прикладные пакеты — универсальные, либо предназначенные для определенного типа расчетов.
С 1980 г. в нашей стране известна программа ConQvest, позволяющая рассчитывать и анализировать характеристики теста в рамках классической теории. Она имеет некоторые ограничения в использовании; сюда же, к недостаткам, можно отнести отсутствие русифицированной версии, что ограничивает ее использование в России.
Для обработки статистических характеристик теста существуют и более современные программные продукты. Поскольку при этом решаются достаточно специфические задачи, таких программных продуктов не так уж много. Универсальный профессиональный статистический пакет SPSS 13 (11) объединяет в себе функции ввода и управления данными, работу с графиками, таблицами, вывод информации в форме web-страниц и позволяет работать с данными, представленными в различных форматах, с метками значений, производить преобразование данных, расщепление и сортировку.
В статистический аппарат включено несколько сотен процедур и удобные инструменты вывода результатов — трехмерные гистограммы и точечные диаграммы (плотности точек или «облака»). В тринадцатую версию пакета добавлен дополнительный модуль, позволяющий строить деревья классификаций, идентифицировать группы, а также модули для дисперсионного анализа и исследования регрессионной модели.В России уже второе десятилетие работает Центр тестирования. Он занимается проведением централизованного тестирования на базе вузов, результаты которого могут засчитываться как вступительные экзамены в вуз, а также организационнотехнологическим обеспечением и обработкой результатов проведения Единого государственного экзамена. Во многих вузах созданы собственные лаборатории оценки качества или центры лицензирования, аттестации и мониторинга. В Российской академии образования (РАО) действует Центр оценки качества; в целом по нашей стране создаются региональные центры по обработке результатов тестирования любого уровня (сюда относятся ЕГЭ, централизованное тестирование, региональный мониторинг качества подготовки по предметам, международные сравнительные исследования), предусматривающие автоматизированную обработку бланков тестируемых. Центры оценки качества обладают современным оборудованием; правда, ощущается недостаток специалистов-тестологов. Для шкалирования результатов используется современная теория тестов (IRT); в частности, для ЕГЭ использовалась модель Partial Credit, которая определяет зависимость вероятности получения определенного балла за задание от уровня подготовленности ученика и от параметров самого задания. Эта модель выбрана из-за возможности работать не только с дихотомическими, но и с по- литомическими заданиями. В случае же, когда в тесте остаются только дихотомические задания, модель Partial Credit превращается в однопараметрическую модель Раша. Еще одна особенность модели Partial Credit состоит в том, что первичные баллы здесь являются достаточными статистиками, т.
е. участники тестирования, набравшие один и тот же первичный балл, получат в итоге один и тот же тестовый балл в 100-балльной шкале.Стандартизованная процедура проведения тестирования в нашей стране базируется на двух основных моделях: бланковой и компьютерной. Обе эти модели несколько лет отрабатывались 4 7008 и совершенствовались на больших выборках тестируемых. Во многих вузах созданы программно-технические комплексы, обеспечивающие проведение вступительных испытаний в форме бланкового тестирования с последующим вводом информации с бумажных носителей в компьютерную базу данных с использованием сканера.
Основные функции этих программных комплексов и автоматизированных систем: регистрация участников; сканирование и распознавание бланков; обработка результатов с заданным уровнем надежности и конфиденциальности; выставление оценок; распечатка итоговых ведомостей; проведение апелляций; статистический анализ; исследование качества тестовых заданий.
Основу бланковой модели составляют следующие возможности. Регистрационная форма и непосредственно бланки для ответов при этом разделены, что повышает информационную безопасность при обработке результатов и повышает объективность контроля. Бланк регистрации заполняется учащимся и содержит необходимые сведения для внесения в базу данных (федерального уровня). Эти же сведения затем вносятся в сертификат с результатами тестирования, который предоставляется в вуз при поступлении. Для ЕГЭ предоставляются два бланка для ответов, для централизованного тестирования — один, поскольку здесь отсутствуют задания с развернутым ответом. Первый бланк ЕГЭ предназначен для ответов на задания типа «А» и «В», второй — для ответов на задания типа «С» (с развернутым ответом). Эти бланки уже не содержат никакой информации о тестируемом и связаны с регистрационным бланком посредством штрих-кодов, доступных для расшифровки только Центру тестирования.
Ответы части «А» проверяются автоматически с помощью ключей; ответы части «В» также считываются и сравниваются с эталонами ответов.
Но поскольку эти ответы не однозначны, требуется перепроверка результатов вручную, что и выполняет экзаменационная комиссия.После обработки результатов и перепроверки полученной информации раскодированные данные поступают в базу данных. Первичные протоколы с результатами, а затем окончательные протоколы (после шкалирования) передаются в регионы.
Преимуществом бланкового тестирования является привычный способ контрольной процедуры для тестируемого и минимально необходимое техническое оснащение. Но при этом явно просматриваются и его недостатки. При массовых контрольных мероприятиях доставка как контрольных измерительных материалов, так и учащихся в специально оборудованные центры тестирования становится достаточно затратной, а с учетом погодных условий — проблематичной. Хотя переход на компьютерную форму проведения тестирования на первоначальном этапе — тоже мероприятие затратное, но оно более перспективно. С точки зрения изменения содержания тестовых материалов, у интегрированных электронных обучающих и контролирующих средств обучения предполагается большое будущее. Они должны оказать большое влияние на изменение технологии обучения в целом.
Возможности компьютерного тестирования сейчас используются не полностью, и это еще очень мягко сказано. Многие существующие программные оболочки просто дублируют бланковую технологию, не используя всех возможностей мультимедиа и интерактивности. Те же недостатки относятся и к тестам, опубликованным в телекоммуникационных сетях.
Приведем небольшой обзор существующих сегодня систем тестирования, чтобы составить представление о возможностях, которыми они обладают. «Система тестирования студентов» (http://www.vlsi.ru/ Rus/Progect_groups/Education_Innovations.htm).
Бесплатная, свободно распространяемая сетевая система. EasyTester v2.0 (http://subritto.hl.ru/projects/ tester2 .php).
Свободно распространяемая система. Данные хранятся в MS Access, имеется возможность проведения тестирования по сети. Вопросы готовятся в MS Word (в том числе с вставленными объектами — например, с иллюстрациями), классифицируются по темам, и из них составляются тесты. Задания возможны на выбор одного варианта или на выбор нескольких вариантов. AST-Center (http ://www.ast-centre.ru/ast/ast_ test. asp).
Коммерческая разработка (стоимость — 45000 руб.). Данные хранятся в MS Access, имеется возможность проведения тестирования по сети. Вопросы вводятся в виде текстовых модулей, могут содержать объекты MS Word, Equation и пр. Тест формируется в виде базы вопросов, при этом указывается, сколько вопросов должно быть задано (они выбираются из базы данных в случайном порядке). Система ориентирована на проведение тестов в вузах; работа начинается с выбора курса, группы и конкретного студента (парольная защита не предусмотрена). Задания возможны на выбор одного или нескольких ответов, с открытой формой (проверка по шаблону), на сопоставление и порядок следования. По окончании работы возможно получение статистики верных ответов по отдельным группам вопросов, по учащимся и пр. Время тестирования ограничено. «1C: Образование» 3.0.
Общая программная платформа для разработки образовательных комплексов серии «1С:Школа» на базе трехзвенной архитектуры с использованием сервера приложений на Java, адаптированного сервера баз данных и стандартного web-клиента. Позволяет учителю самостоятельно готовить тесты и комплекты материалов для изучения (в том числе создавать целостные обучающие курсы с контролем работы учеников во встроенном «журнале»/«дневнике»), разрабатывать дополнительные модули, взаимодействующие с платформой через СОМ-компонент.
Вопросы и ответы вводятся в имеющейся стандартной форме («редакторе вопросов») и кодируются с использованием языка HTML (т. е. в тексте вопроса, вариантов ответов, «подсказки» и правильного ответа могут быть использованы HTML-теги вызова рисунков, аудио/видеофрагментов, flash-анимаций и java- апплетов). Задания возможны на выбор одного или нескольких ответов или с открытой формой; реализация заданий на установление соответствия и на установление правильного порядка возможна, но для самостоятельной разработки таких тестов учителем стандартная форма в «редакторе вопросов» не предусмотрена (возможно, она будет предусматриваться в «коробочной» версии). Дополнительный модуль («редактор тестов») позволяет формировать подборки заданий, определять ограничение времени, количества попыток ответа, случайным образом генерировать последовательность заданий и вариантов ответов в них и т. д. Шкалирование не предусмотрено (учитывается только количество и процент правильных ответов); дополнительно может фиксироваться число попыток ответа и затраченное на них время. Предусмотрен сетевой и локальный многопользовательский режим работы (с защитой паролем). Тестовый комплекс noZiiamie 3.0 — Общество «Знание» России (http: //www. znanie.net/poznanie/poz30 .html).
Коммерческая разработка (цена сообщается по запросу). Имеется собственный редактор вопросов с использованием OLE-объектов и иллюстраций; можно строить вопросы на фрагментах иллюстраций и пр. Задания возможны на выбор одного или нескольких ответов или с открытым ответом. Задания комплектуются по темам, из которых выбираются вопросы для теста. Предусмотрен сетевой режим работы. Платформа отдельно не описана. Программа «Ассоль. Тестовая оболочка» — «Системы- Программы-Сервис» (упоминается в прайс-листе: http: // schoolof f ice . ru/index2 . php).
Продукт фактически нигде не описан и входит как один из составляющих в комплект программ автоматизации управления школой. Информация из рекламного описания (http:// fund.interactive.ru/win/software.shtml): проверка качества усвоения не только практического, но и теоретического учебного материала, в том числе с использованием графики; возможность устанавливать уровень сложности вопросов; возможность детальной проверки каждой темы курса; осуществление оперативной диагностики результата овладения учебным материалом каждым учащимся с возможностью статистической обработки; экономия учебного времени при проверке знаний и оценке результатов обученности.
Существенной особенностью тестовых заданий здесь является наличие в каждом из них неидентичных вариантов, что дает возможность использовать данный материал повторно и усиливает индивидуализацию обучения.
В США существует Служба образовательного тестирования (ETS), которая занимается подготовкой, проведением тестирования в системе образования, а также обработкой его результатов. Естественно, такая обработка производится автоматически, с использованием систем, спроектированных и разработанных персоналом этой Службы. Система «Genasys» (Generalized Analysis System) — обобщенная система анализа, которая сочетает новейшую компьютерную технологию и современные психометрические методы для проведения статистического анализа
результатов тестирования. Система базируется на локальной сети (LAN) и базе данных Oracle. Программа выполняет классический анализ выполнения заданий теста, анализ выполнения заданий со свободно конструируемыми ответами и анализ выполнения заданий при компьютерном адаптивном тестировании. В комплекс программных средств также входит программа «Online Scoring Network» (OSN), предназначенная для проверки выполнения заданий в режиме «он-лайн». Эта программа также предназначена для подготовки экспертов-экзаменаторов для проверки заданий с открытыми ответами (типа эссе) в дистанционном режиме. В настоящее время это наиболее актуальное решение, экономящее массу времени и средств.
Сетевой режим проверки обеспечивается еще одним программным продуктом компании «Criterion*™». Данная программа изначально предназначалась для проверки в автоматическом режиме заданий со свободно конструируемым ответом на основе анализа характеристик письменного текста в соответствии с обобщенными {холистическими) критериями оценивания. Программа обеспечивает мгновенную проверку присланных по сети работ.
Еще одним достижением компании является опытный образец программы «concept rater» {«с-rater»), которая в автоматическом режиме проверяет задания с кратким ответом на основе анализа их содержания. Далее производится перепроверка ответов экспертами, и в настоящее время достигнуто 80% -ное совпадение баллов.
В настоящее время актуальной является задача подготовки специалистов — тестологов, экспертов предметных комиссий, аналитиков. Даже сами потребности в этих специалистах не прогнозируемы. Ежегодно такая работа проводится в рамках эксперимента по ЕГЭ и проведения централизованного тестирования; открываются дополнительные специальности для желающих получить второе высшее образование в данном направлении. При подготовке специалистов используются оригинальные материалы; на их основе создаются учебные пособия в «бумажных» и электронных вариантах.
Проходит апробацию электронное пособие для подготовки экспертов ЕГЭ (как демонстрационная версия с возможностью расширения содержательных модулей). Это пособие включает в себя программное обеспечение, устанавливаемое в локальной сети регионального ресурсного центра или на компьютер эксперта, и руководство пользователя. Данное программное средство позволяет с наименьшими материальными затратами организовать эффективную и психологически комфортную подготовку экспертов региональных комиссий ЕГЭ в форме очных и дистанционных занятий, а также решить проблему аттестации и сертификации прошедших подготовку специалистов, выявить по объективным показателям наиболее подготовленную группу «третьих экспертов».
Необходимость создания автоматизированных тестирующих программных комплексов очевидна. Попробуем заглянуть немного вперед и определить, в каком виде их использование будет наиболее оптимальным.
Программные средства для контроля и измерения уровня знаний, умений и навыков обучающихся выделены в настоящее время в отдельный вид образовательных электронных изданий (ОЭИ). Существует целый ряд инструментальных систем-оболочек, с помощью которых преподаватель может скомпоновать перечни вопросов и возможных ответов по какой-либо изучаемой теме (создать тематический тест). Как правило, это задания с выбором одного правильного ответа из предложенных. Для различных вариантов задания генерируются случайным образом. Учащемуся сообщается, сколько заданий он выполнил правильно, а сколько допустил ошибок, и выставляется оценка исходя из количества правильно выполненных заданий, что противоречит основным правилам тестирования. Из практики использования таких систем можно сразу выявить и другие недостатки, связанные с процедурой проведения. Учащиеся понимают, что количество вопросов ограничено и они просто в разной последовательности предлагаются для выполнения. Учащиеся читают условия заданий, но не для понимания и обсуждения, а для угадывания по содержанию; иногда им проще сравнить ответы. Обучающего эффекта, предполагаемого разработчиками, при этом не достигается.
Наибольший дидактический эффект может быть достигнут только при комплексном использовании образовательных электронных изданий (ОЭИ). К таким средствам, как электронные тренажеры, автоматизированные обучающие системы (АОС), электронные учебники (ЭУ), электронные издания (ЭИ) (в том числе их сетевые варианты), необходимо предъявлять обязательное требование — наличие автоматизированных средств контроля изучаемого материала с возможностью получения не оценки, а рекомендаций по изучению, дополнительных разъяснений трудных вопросов. В этом случае все дидактические преимущества электронных изданий (интерактивность, моделирование, мультимедиа, коммуникативность, производительность) будут способствовать повышению качества контролирующего тестового материала. Для использования сетевой версии в классе у педагога должна быть возможность блокирования дальнейшего продвижения по теме без освоения на минимальном уровне требований предыдущего материала. Исходя из целей использования подобных ОЭИ, при их создании потребуется только модуль для анализа качества тестовых заданий для получения высококачественного варианта теста по теме. Поскольку нет необходимости выставлять оценку, то делать анализ результатов его выполнения не требуется.
Такие программные продукты уже не будут относиться к традиционным «поддерживающим» средствам обучения; появится возможность влиять на изменение традиционной технологии обучения, реализовать авторский подход к обучению. Такой подход применим в старшей школе, и сегодня он чрезвычайно актуален в связи с профилизацией обучения на этой ступени общего образования.
Для таких видов ОЭИ, как программные средства лабораторий удаленного доступа, «виртуальные лаборатории» и программные средства для математического и имитационного моделирования, возможно создание модуля контроля приобретенных навыков, где контроль основан на минимизации действий пользователя при получении заданного результата. Стандартные алгоритмы получения определенного результата можно заложить в контролирующий модуль для сравнения с ними действий тестируемого. Получится некий прообраз компьютерного адаптивного тестирования практических навыков. Для этих программ не потребуется аналитического модуля для обработки статистики по результатам.
Программные средства для контроля и измерения уровня знаний обучающихся как отдельный вид образовательных электронных изданий должны предлагать итоговый тест, составленный на основе требований к результатам обучения по предмету в соответствии с образовательным стандартом. Такая программа должна быть снабжена модулями для автоматической генерации заданий из банка тестовых заданий на основе анализа качества заданий (трудности и дискриминативности), полученных ранее на достоверных выборках. Точнее, задания в таком банке должны быть калиброванными у т. е. обладать надежными характеристиками. Программа должна предоставлять возможность получения для анализа всех необходимых статистических данных по результатам выполнения в различной форме (табличной, графической). Дополнительной возможностью может быть интерпретация результатов в различных показателях, принятых в педагогических измерениях.
Попытки создания таких программных комплексов предпринимаются в различных вузах, но до уровня общедоступных программных продуктов они пока не доведены.
При проектировании структуры тестирующей системы (контролирующей части) для разработки и использования педагогических тестов следует исходить из следующих предпосылок: система должна обеспечивать выполнение полного цикла разработки и использования теста; педагогический тест в первую очередь выполняется индивидуально каждым учеником и проводится на целом классе, во всей параллели, т. е. система должна обеспечивать одновременную работу нескольких (более 10) пользователей; наибольший интерес для преподавателя представляют выводы, полученные в ходе анализа статистических характеристик. Они должны позволять сделать обобщенный вывод об организации обучения в конкретном классе, а также оценить результаты обучения (по теме, по окончании года) индивидуально для каждого обучаемого; учебный процесс для каждого класса имеет свои особенности. Система должна обеспечивать комплектование различных тестов с минимальными трудозатратами со стороны педагога; в системе должны быть предусмотрены средства, уменьшающие вероятность намеренного искажения результатов (списывания, подмены данных и пр.); желательно максимально снизить количество операций по обеспечению функционирования системы на рабочих местах; стоимость системы и ее инфраструктуры, в том числе квалификация специалистов для обеспечения ее работы, критически важна для применения в школьной практике.
Для выполнения этих условий целесообразно спроектировать систему разработки и проведения тестирования в виде web-приложения на основе серверного языка сценариев и базы данных.
Для разработки системы можно использовать язык сценариев РНР и СУБД Firebird SQL, которые распространяются свободно и могут быть установлены на всех распространенных серверных платформах. При наличии в школе функционирующего web- сервера система такого рода может быть внедрена на нем. При отсутствии выделенного сервера необходимые компоненты могут быть развернуты на одной из рабочих станций (выполняющей в данном случае роль сервера). Клиентской программой для работы с оболочкой, обеспечивающей выполнение всех операций по разработке и использованию тестов, может служить стандартный браузер.
В системе разделяются вопросы (банк заданий), тесты (сформированные комплекты), результаты тестирования, рубрика- ционные и служебные данные о пользователях системы.
Для обеспечения работы целесообразно предусмотреть следующие модули со следующим функционалом: модуль учителя (тестолога): ввод и коррекция вопросов; создание и коррекция тестов; анализ результатов прохождения тестов; взаимодействие с тестируемыми (сообщения во время тестирования и комментарии о результатах); модуль ученика: выбор и прохождение тестов; просмотр результатов прохождения тестов; возможность задать вопросы о содержании и оценке теста и просмотреть ответы; модуль административных операций: управление регистрационными данными тесто логов; управление регистрационными данными учеников; выполнение служебных и технических операций; контроль корректности использования системы.
Для организации работы с большим количеством заданий и тестов необходимо предусмотреть систему классификации и поиска. С учетом многообразия критериев поиска и необходимости их стандартизации рекомендуется решить эту задачу с помощью сгруппированных ключевых строк. Набор таких строк может охарактеризовать любой поисковый элемент. Списки ключевых строк и групп могут формироваться преподавателями, формирующими вопросы и тесты.
При формировании банка заданий возможно создание заданий следующих типов: с фиксированными ответами — для каждого вопроса требуется указать количество зафиксированных совпадений с шаблоном ответа (по умолчанию — полное совпадение); с открытым ответом, содержащим заданные элементы в соответствии с регулярным выражением; на установление соответствия; с открытым ответом в виде записи некоторой формулы (может предусматриваться интерактивный «конструктор формул»); с открытым ответом, оцениваемым учителем.
С технической точки зрения задание (вопрос) составляется из блоков, каждый из которых может включать в себя текст и графическое изображение.
При формировании теста также предусматривается его составление из блоков, где каждый блок задается определенным набором заданий (вопросов), из которых часть (определенное количество) может быть задана ученику во время тестирования в случайном порядке.
Чтобы тест стал доступным школьникам, со стороны учителя предусматривается его назначение тестируемым (группам тестируемых). При этом также указывается время, в течение которого группа должна закончить тестирование. Это означает, что учащийся выполняет итоговый (тематический или годовой) тест только в том случае, если ему дано разрешение на доступ к нему со стороны учителя. Обучающие же и диагностические тесты по темам доступны ученику в любое время.
Аналитический модуль подразумевает решение двух типов задач: быстрого анализа результатов конкретного тестирования и общего анализа накопленных данных с целью коррекции теста или общих выводов о выборке.