Этим летом письмо о поступлении на федеральные программы Онлайн-университета получили более 1000 сотрудников. Один из этапов отбора на программы, например, iMBA для лидеров «Ростелекома» и в Школу программирования — мотивационное эссе. Текст на 2000 знаков может рассказать об «абитуриенте» куда больше, чем безликая анкета и срез знаний. Более 5 лет эссе было решающим для отбора. Так оно и осталось, но с ИИ-твистом.
Рассказываем, как вместе с командой HRM мы научили алгоритм проверять сотни эссе за пару часов
Рассказываем, как вместе с командой HRM мы научили алгоритм проверять сотни эссе за пару часов
В чем была проблема?
Почему команда обучения решила отойти от ручного труда? Каждый год вместе с кураторами от вузов (соавторами программ) мы читаем сотни мотивационных писем сотрудников. По самым спорным эссе даже собирается небольшой консилиум. В среднем обработка 1 000 писем занимала не меньше 10 рабочих дней. На практике это около 10 часов рабочего времени на каждого, кто включался в приемную кампанию.
Как возникла идея делегировать чтение писем ИИ?
Как и во многом в жизни — во всем виноват случай. Зимой на команду оценки вышел подрядчик-эксперт, у которого есть ИИ-инструмент для проверки текстов по заданным критериям. После встречи с внешним провайдером команда обучения решила испытать инструмент на новом потоке программы iMBA и ближайшем отборе в Школу программирования «Ростелекома».
Однако достаточно быстро мы поняли, что такой алгоритм для проверки мотивационных писем можно создать и внутренними силами — в игру вступила команда департамента HRM-технологий и аналитики. Отдельное спасибо за быстрый пилот Лене Летуновской, директору направления HRM, и Михаилу Ипатову, аналитику-разработчику.
Однако достаточно быстро мы поняли, что такой алгоритм для проверки мотивационных писем можно создать и внутренними силами — в игру вступила команда департамента HRM-технологий и аналитики. Отдельное спасибо за быстрый пилот Лене Летуновской, директору направления HRM, и Михаилу Ипатову, аналитику-разработчику.
Как обучали?
Выгрузили методологию и базу оцененных эссе за предыдущий поток. То есть взяли уже оцененные людьми письма за прошлый год (оценка проводилась по тем же самым критериям) и «скормили» алгоритму, чтобы научить ставить оценку. Важно: алгоритм не понимает, какое эссе хорошее, а какое плохое. Точно так же, как и не понимает суть критериев оценки. Алгоритм ставил балл за письмо на основе исторических данных.
Достоверность на тестовой выборке (оценивает ИИ vs оценивает человек) составила 80%. При этом мы заметили, что больше всего расхождений возникало там, где человек мог бы завысить или занизить оценку, исходя из личного отношения. Обученный ИИ вышел объективнее живого человека.
Вторым шагом был пилот на новых потоках Школы программирования. На программы, стартовавшие летом («SQL для начинающих» и «Дата-инженер»), и на осенние потоки отбирать учеников уже помогает ИИ. Там достоверность составила уже 80−85% и выше. Итоговое решение о приеме пока остается за кураторами Школы.
Достоверность на тестовой выборке (оценивает ИИ vs оценивает человек) составила 80%. При этом мы заметили, что больше всего расхождений возникало там, где человек мог бы завысить или занизить оценку, исходя из личного отношения. Обученный ИИ вышел объективнее живого человека.
Вторым шагом был пилот на новых потоках Школы программирования. На программы, стартовавшие летом («SQL для начинающих» и «Дата-инженер»), и на осенние потоки отбирать учеников уже помогает ИИ. Там достоверность составила уже 80−85% и выше. Итоговое решение о приеме пока остается за кураторами Школы.
Что мы поняли за это лето:
- ИИ в среднем оценивает строже, чем человек.
- У кураторов не возникло вопросов к ИИ в сложных кейсах оценки. Мы понимали, почему алгоритм давал ту или иную оценку работе.
Кратко о результатах:
- Сократили время на проверку мотивационных писем. Для iMBA: с 10 рабочих дней до 3.
- Путь сотрудника с подачи заявки до получения обратной связи сократился с месяца до 3 недель (сама работа алгоритма и формирование списка участников занимает одну неделю).
P. S. За время пилота ни один ИИ не пострадал, а авторы достойных эссе поступили на программы обучения Онлайн-университета.
Команда проекта:
От департамента управления знаниями:
От департамента HRM-технологий и аналитики:
- Таня Пасечник, руководитель проектов, куратор программы «iMBA: навыки лидера цифровой компании»;
- Света Пичкуренко, старший специалист, куратор Школы программирования «Ростелекома».
От департамента HRM-технологий и аналитики:
- Лена Летуновская, директор направления;
- Михаил Ипатов, аналитик-разработчик.
