AI-тренер, нейровоспитатель, ассесор, крауд и разметчик — кто все эти люди и в чем разница?

Многие компании в последнее время ввели должность «ИИ-тренера» (AI-тренера), при этом просто разметчики/ассесоры никуда не делись. Что это — просто красивая обертка нейминга над тем же самыми или что-то концептуально новое?

Давайте попробуем в этом разобраться и однозначно ответить на вопрос о различиях.

В качестве легкого вступления стоит рассказать, что вообще все эти люди делают в целом.

Для технологий нужны данные, но не просто данные, а хорошо и правильно подготовленные. Если у вас уже есть полный набор данных и надо в них просто навести порядок, то, условно, вам будет достаточно несколько хороших дата-инженеров/аналитиков.

Но если у вас данных нет (их надо добыть/собрать/сгенерить/отвалидировать), либо этим данным нужно присвоить некие характеристики согласно ТЗ, то без людей не обойтись. Почти. Для таких данных потребуется разметка — то самое присвоение характеристик данным.

Хорошая разметка очень важна, ближайшая аналогия: мотор (технология и алгоритмы) и топливо (разметка). Если заливать плохое топливо даже в самый лучший в мире мотор, то и производительность будет похуже и на дистанции очень скоро потребуется капремонт всей технологии. Поэтому, хорошая разметка это прям важно, хотя и заниматься качественно ей многие компании не очень любят.

Разметка может быть самой различной и над любыми типами данных: выделение объектов на видео, транскрибацией аудио в текст, полевыми заданиями, — мы у себя на платформе чего только не повидали. _{(как вам «Намычать гимн других стран»?)}

Собственно, все эти люди занимаются глобально одним и тем же — разметкой. Но вот дальше очень много нюансиков.

В чем же различие всех этих слов (и явлений за ними) между собой?

Их отличии — в глубине и в экспертности.

AI-тренер (ИИ-тренер)

Само появление термина «AI-тренер» практически «совпало» с бумом больших языковых моделей (LLM) — и это не случайность. Появление очень сложных технологий типа мультимодальных LLM очень сильно задирает планку в требуемой разметке. Если мы готовим данные для таких фундаментальных технологий или обертки над ними, то мы уже не можем поручить ее неподготовленному человеку — нам нужно, чтобы человек хотя бы базово понимал внутренности технологии, а так же хорошо понимал поставленную ему задачу.

Чтобы получить хороший результат, человека нужно адаптировать и подготовить к заданию — иногда инструкция для разметки может занимать 40 листов А4, где описаны и основы, и что делать с граничными (corner-case) случаями и все остальное необходимое. Умение понимать и следовать подобным инструкциям само по себе накладывает определенную планку требований к образованию и квалификации человека.

А задачи бывают иногда совсем сложные, например, работа с «чувствительными» темами, такими как политика, религия, суицид, этичность поведения и так далее. Промахи в таких темах могут затрагивать миллионы людей и грозить огромными репутационными рисками, поэтому такая разметка — по настоящему сложная и интеллектуальная, и именно поэтому под нее и был изобретен термин «ИИ-тренер».

Если вы встретите термин «нейровоспитатель», то это примерно сюда же, просто шутейка или сленг, просто потому что процесс «воспитания» реакций технологий на что-либо схож с воспитанием детей/животных на начальных этапах их жизни.

Разметчик, ассесор и лейблер

Фактически, все эти слова являются синонимами и обозначают одно и то же, но просто появились из разной предметной области.

Разметчик — просто потому что занимается разметкой. «Лейблер» — то же самое, просто англицизм — в английском языке часто процесс разметки называется «label/labeling», дословно — навешивание ярлыков на что-то. То есть, просто присвоение характеристик вашим данным.

С ассесором все похитрее, давайте посмотрим официальное определение: «Асессор — в Древнем Риме и средневековой Европе должностное лицо, облечённое судебной властью». Фактически, человек, который выносит какое-то решение.

Полагаю, термин придуман и внедрен одной российской компанией, чьи ассесоры сначала выносили решение по поводу результатов чего-то (например, результатов поиска), а затем термин просто расширился до любой разметки данных и разметки вообще.

У таких разметчиков простор для задач (и терминологии, соответственно) может быть огромным — от совсем низкоквалифицированной работы до экспертной, от узкой специализации до максимально широкого круга вопросов.

Низкоквалицифированная работа, например, это механически обводить кисточкой понятные объекты — примерно так готовили данные для модели, которая сильно изменила разметку компьютерного зрения, я про это писал в своей статье:

Приключение SAM в Японии или как компьютерное зрение видит гейшу

Модель вышла клевой, поэтому без подобной низкоквалифицированной разметки, увы, никак, но после выхода таких моделей ее будет становиться меньше.

Бывает узкая специализация — это когда человек занимается широким классом задач, но только одной предметной области, которая не требует сверхподготовки, например, разметкой дорожного движения или результатов алгоритма рекомендаций.

Еще один смежный пример — люди, знающие другие языки (самые разные, от больших международных до конкретных диалектов региона или малых языков), такие задачи то же часто решаются.

Но часто и сверхподготовка требуется.

Эксперты и разметка — все сложно

Зачастую бывает так, что нам нужна именно узкая экспертность в чем-то, если наша технология это затрагивает. Например, если мы пытаемся научить нашу технологию определению оригинальности чего-то (например, живописи 17 века), то нам потребуется эксперт в области культуры и в идеале — той самой живописи 17 века.

Ему не требуется понимать глубину технологии, достаточно простых инструкций, но от него потребуются именно экспертные знания в данной предметной области. Здесь без профильной вышки и многих лет работы в этой индустрии — никак.

Еще один пример — медицина. Чтобы делать разметку медицинских снимков (например) нам нужны врачи, хорошо понимающие предметную область. Невозможно дать такую задачу человеку даже с хорошей подготовкой, но не в данной предметной области.

Фактически, подобные эксперты являются скорее просто экспертными разметчиками, хотя тут многое зависит от постановки задания.

Крауд из разметчиков

Крауд — англицизм, дословно «толпа». Применительно к разметке - это и есть толпа разметчиков, то есть, людей, желающие заниматься разметкой, но на ней не специализирующейся.

Примерно как фриланс, как некая подработка. Крауда очень боятсяツ технари, которым нужна хорошая разметка, так как это самая неподготовленная для создания разметки публика. У меня в работе статья о том, как правильно готовить крауд, чтобы было не стыдно, но она будет позже.

В целом, стереотипы о том, что крауд это плохо — не совсем верны. Крауд это очень плохо, если ему скинуть техническое ТЗ и не делать поправку на то, что там много людей, совершенно ничего не знающих про внутрянку технологий и ИИ. Но крауд, с которым вы работаете правильно — обучаете, разъясняете, контролируете, б̶ь̶е̶т̶е̶ ̶п̶а̶л̶к̶о̶й̶ ̶п̶о̶ ̶г̶о̶р̶б̶у̶ ̶к̶о̶г̶д̶а̶ ̶н̶а̶д̶о̶ и валидируете результаты (можно ими же) - это хороший способ делать разметку.

В качестве выводов

Все эти люди занимаются разметкой, но разметка у них сильно разная. Терминами часто злоупотребляют, часто применяют по незнанию, но если попытаться совсем грубо ответить на вопрос в заголовке, то ответ будет выгделять так:

AI-тренер — «воспитывает» технологии правильно реагировать на сложные и неоднозначные ситуации или учит очень сложным вещам.
Разметчик/ассесор/эксперт — делают самый разный спектр разметки, от низкоквалифицированной до сильно экспертной.
Крауд — это общее обозначение людей, вообще готовых делать разметку, как фриланс.

Надеюсь, вам было полезно.

Хороших выходных!

Другие мои статьи про разметку:

Приключение SAM в Японии или как компьютерное зрение видит гейшу

Заменят ли LLM людей в разметке данных для AI?