Аттестация 150 сотрудников: траектория, тесты и проверка открытых ответов
Производственная компания готовила ежегодную аттестацию и не хотела снова сводить результаты руками. Самое ценное в их тестах, открытые ответы, дороже всего было и проверять.
- Отрасль
- Производство насосного оборудования
- Масштаб
- Больше 150 сотрудников, портал Битрикс24
- Что было
- Аттестация раз в год, результаты сводили в таблицах вручную
- Статус
- Активная годовая подписка
Проверять знания получалось, считать результат нет
Аттестация у них про продукт: сотрудник должен объяснить своими словами, чем модели отличаются и что предложить в конкретной ситуации. Такие ответы не закрываются вариантами «а, б, в», поэтому в тестах жили открытые вопросы.
Пока людей было немного, ответы читал эксперт. На полутора сотнях это превращалось в неделю чтения и сведения таблиц, а до руководства результат доходил, когда аттестация уже закончилась.
- программа рассыпана на отдельные курсы, сотрудник не видел маршрут целиком;
- открытые ответы читались руками и оценивались по-разному;
- до отчёта руководству результат ехал через таблицы.
Как шёл проект
Собираем маршрут, а не список файлов
Курсы, материалы для чтения и тесты складываем в одну траекторию: порядок шагов, обязательные шаги, срок и правило, по которому маршрут сам приходит новым людям отдела.
Сотрудник видит один маршрут вместо десяти отдельных курсовСначала десять человек, потом все
Прогоняем траекторию на фокус-группе. Здесь вылезают не технические сбои, а формулировки: вопрос, который автору кажется однозначным, половина группы читает иначе.
Вопросы переписаны до массового запускаУчим проверку смыслу, а не словам
Короткий ответ можно проверять по ключевым словам, гибридно или ИИ по смыслу. Разбираем с экспертом, что считается верным ответом, и переписываем эталоны так, чтобы по ним мог оценить и человек со стороны.
Оценка совпадает с тем, как оценил бы экспертЗапуск и отчёт
Назначаем траекторию по отделам со сроком, следим за воронкой по шагам и отдаём руководству отчёт: кто прошёл, кто остановился и на каком именно шаге.
Результат виден в день аттестации, а не через неделюСборка траектории, настройка тестов и проверки, отчёты, разбор спорных оценок
Эксперт по продукту: вопросы, эталонные ответы и решение по спорным случаям
Что получила команда
Курсы, чтение и тесты в одной программе с общим прогрессом
Проходной балл, ограничение попыток, перемешивание вопросов
Проверка по смыслу с эталоном вместо ручного чтения
Воронка по шагам: где именно останавливаются участники
Где мы промахнулись и что поправили
Первый прогон дал оценки строже экспертных. Причина оказалась не в модели, а в эталоне: он был написан одной фразой, и всё, что звучало иначе, считалось неполным ответом.
Разобрали расхождение вместе с клиентом и переписали эталоны как инструкцию проверяющему: что считать верным, что частично верным, где формулировка не важна вовсе. После этого оценки сошлись, а спорные результаты первого прогона компания поправила руками.
Что изменилось
Аттестация перестала быть отдельным проектом на неделю. Маршрут назначается по отделу, тесты считаются сами, а спорные ответы видно поимённо.
Эталоны остались у компании как рабочий документ: по ним теперь оценивают одинаково и платформа, и живой эксперт.
Сравнение оценок делал эксперт клиента на своей выборке. Цифру совпадения не публикуем, потому что считали её не мы.
О чём спрашивают перед стартом
Можно ли доверить ИИ проверку открытых ответов?
Да, если эталон написан как инструкция проверяющему, а не одной фразой. Тогда ответ оценивается по смыслу, а не по совпадению слов. Для простых вопросов остаются проверка по ключевым словам и гибридный режим.
Что делать с теми, кто не сдал аттестацию?
В тесте задаётся число попыток и проходной балл, а в отчёте по траектории видно, на каком шаге человек остановился. Пересдачу назначают точечно, вместо повторного захода на всю программу.
Обязательно ли прогонять фокус-группу?
Не обязательно, но дешевле. Десять человек за пару дней находят двусмысленные формулировки, которые иначе всплывут уже во время аттестации и испортят результат всей группе.
Расскажите, как обучение устроено у вас
Разберём процесс, скажем, что закрывается штатными возможностями, а что нужно настраивать или дорабатывать. План работ и срок назовём после разбора.