Тестовая мастерская

Тестовая мастерская

Весь мир — оценка.

А ты в ней — психометрик*

Бывает, смотришь на результаты теста —
и возникает до боли знакомое чувство:

что-то здесь измерили совсем НЕ то.

Цифры есть.
Решения принимаются.
А сомнение остаётся.

Знакомые ситуации?

• Экзамен проверяет терминологию, а НЕ понимание предмета
• Тест при найме оценивает угадывание, а НЕ профессиональные навыки
• Опрос измеряет интерес, а НЕ готовность пользоваться продуктом
• Опросник раз за разом выдаёт случайные цифры, а НЕ реальные результаты.

И последствия — вполне конкретные:

• Сессия срезана
• Работа упущена
• Продукт провалился
• Грант уходит конкурентам.

Чем чаще это происходит, тем яснее становится: с вами всё в порядке.
НЕ в порядке — сами инструменты оценки.

Но как понять, что именно с ними НЕ так?
И как создавать свои — корректно и профессионально?

Тестовая мастерская — место, где этому вместе учатся на практике.

*Психометрик — специалист, который разрабатывает тесты и опросники для измерения скрытых психологических признаков (способностей, черт личности, компетенций, опыта и др.), а также проверяет качество этих инструментов оценки.

Что будет у вас через 10 дней?

• Готовый инструмент — собственный тест или опросник
• Опыт полного цикла разработки — от идеи до анализа качества
• Профессиональный кейс — для портфолио, диплома, статьи или продукта
• Доступ к психометрическому сообществу
• Новая профессиональная идентичность: автор инструмента оценки.

Где и как это происходит?

10 дней на Волге.
Полное погружение в разработку.

Всё как в настоящем психометрическом проекте:
работаем в небольших командах, проходим полный цикл разработки — от идеи до анализа качества готового инструмента.

Рядом — практикующие психометрики из академии и индустрии.
Наставники, которые уже прошли этот путь.
Вместе с вами они помогают формулировать конструкт, проектировать задания и разбирать результаты апробации.

И да — ошибаться здесь совершенно нормально.

Качественный инструмент НЕ появляется с первой попытки.
Сначала проверяют, как он справляется с задачей, затем собирают обратную связь и постепенно улучшают — шаг за шагом до рабочего решения. Это базовый принцип разработки в психометрике.

Мы идём тем же путём:
создали → протестировали → увидели проблему → скорректировали → проверили снова.
Без спешки и с поддержкой на каждом шаге.

Кем вы станете?

В мастерской вы освоите две ключевые компетенции психометрика:

Разработчик

• сформулируете конструкт
• создадите задания
• проведёте когнитивные лаборатории
• соберёте первую версию теста или опросника.

Аналитик

• проведёте апробацию
• проанализируете данные
• проверите надёжность и валидность в рамках классической теории тестирования (CTT) и современной теории тестирования (IRT)
• изучите факторную структуру с помощью конфирматорного факторного анализа (CFA).

Работаем по международным стандартам тестирования Американской ассоциации образовательных исследований (AERA), Американской психологической ассоциации (APA), Национального совета по измерениям в образовании (NCME).

Используем профессиональное программное обеспечение: Excel, Jamovi, в отдельных случаях — RStudio, Winsteps.

Под каждый инструмент подбираем необходимые методы и глубину анализа — ровно столько, сколько требует ваша задача.

Кому подойдёт?

• Студентам
  Сделаете тест или опросник для курсовой, диплома или диссертации.
• Исследователям
  Разработаете инструмент оценки для научной статьи, приложения или сервиса.
• Специалистам в сфере образования
  Соберёте тест или опросник для диагностики знаний, оценки качества курсов, аттестации.
• Тем, кто уже проходил курсы по психометрике, но так и не сделал свой тест
  Примените теорию на практике, систематизируете навыки анализа или освоите новые методы — и наконец пройдёте полный цикл разработки психометрического инструмента.

Нам важны НЕ столько формальный бэкграунд, сколько интерес к психометрике, внутренняя мотивация и готовность включаться в совместную работу.

Команда

Мы — исследователи и разработчики в области психометрики, социологии и медиа.

Мастерская тесно связана с магистерской программой НИУ ВШЭ «Обучение и оценивание как наука» (SOLA): многие из нас — её выпускники, преподаватели и действующие практики.

С 2019 года:

• 7 сезонов
• 100+ выпускников
• 5 статей участников мастерской, опубликованных в научных журналах.

Эксперты, которые были с нами в разные сезоны:
Инна Антипкина, Ирина Брун (НИУ ВШЭ), Юрий Шатров (Экопси), Виталий Алтухов (HT-lab, Профилум), Анастасия Камаева (Учи.ру) и другие.

Бонус для абитуриентов SOLA:
участие в Тестовой мастерской даёт дополнительные баллы при поступлении в магистратуру.

Часто задаваемые вопросы

Остались вопросы?

До встречи на Волге!

Партнёры

Магистерская программа "Обучение и оценивание как наука"

Институт образования НИУ ВШЭ

Национальный исследовательский университет "Высшая школа экономики"