AI чат-бот на иврите: сложности и решения
Есть соблазн отнестись к ивритскому чат-боту как к задаче перевода: взять английского бота, заменить слова, и готово. Этот подход быстро ломается, потому что иврит - это не просто другой словарь поверх того же грамматического скелета, что и в английском. У него своя структура, свои неоднозначности и своя манера смешиваться с английским в повседневной переписке, и бот, который всё это игнорирует, в итоге звучит скованно, растерянно или едва заметно неправильно, причём заметить это трудно, пока с ним не начнёт переписываться настоящий клиент. Ни одна из этих проблем не проявляется на быстрой внутренней демонстрации с аккуратными книжными фразами, они проявляются через неделю после запуска, когда настоящие клиенты начинают печатать так, как они на самом деле печатают.
Слова несут в себе больше грамматики, чем в английском
Глаголы и прилагательные в иврите меняют форму в зависимости от рода собеседника, а в английском это почти отсутствует. Бот, спрашивающий «вам интересно записаться?», должен выбрать между мужской и женской формулировкой на иврите, и ошибка в этом выборе читается как маленькая, но заметная накладка - из тех, что делают разговор чуть странным, даже если клиент сразу не может объяснить, что именно не так. Спряжение глаголов добавляет ещё один слой: глаголы в иврите сильно меняются в зависимости от времени, лица и числа, поэтому боту, который генерирует естественно звучащие ответы, приходится правильно согласовывать намного больше грамматических элементов в каждом предложении, чем аналогичному боту на английском.
Отсутствие огласовок создаёт реальную неоднозначность
Иврит обычно пишут без огласовок (никуд) - знаков, которые в другом случае разрешили бы неоднозначность слова. Это значит, что одна и та же последовательность букв может представлять два или больше совершенно разных слов, и человек-читатель разрешает это мгновенно из контекста, даже не замечая, что он это делает. Боту приходится делать то же самое вычислительно, и это сложнее, чем звучит, особенно в коротких сообщениях, где не так много окружающего контекста, на который можно опереться. Ответ клиента из одного слова может быть по-настоящему неоднозначным так, как это редко случается в английском.
Клиенты пишут смесью иврита, английского и сокращений
Настоящая переписка на иврите редко бывает чистым, единообразным ивритом. Названия брендов, товарные термины и сленг часто появляются латинскими буквами прямо посреди предложения, вместе с цифрами и датами, которые отображаются в противоположном направлении текста относительно окружающего иврита. Сообщение с вопросом о доставке конкретного товара может переключать письменность дважды в одной строке, причём клиент об этом даже не задумывается. Боту приходится правильно разбирать такой смешанный ввод, и система, обученная и протестированная только на аккуратном одноязычном тексте, споткнётся ровно на том типе сообщений, который постоянно встречается на практике.
Разрыв между книжным ивритом и тем, как люди пишут на самом деле
Есть реальная дистанция между формальным ивритом, которому учат в школе, и разговорным, сокращённым ивритом, которым люди пишут бизнесу. Бот, отвечающий скованным, правильным, формальным ивритом, может восприниматься холодным или бюрократичным, как государственная анкета, а не как полезный помощник. Сленг, сокращения и тон меняются в зависимости от возрастной группы и сообщества быстрее, чем за этим успевает любая документация, поэтому бот, настроенный под один сегмент клиентов, может заметно резать слух другому.
Меньше данных для обучения
У иврита попросту намного меньше публично доступного текста в интернете, чем у английского, а модели общего назначения обучаются на смеси, сильно смещённой в сторону английского. Это значит, что беглость на иврите у обычной модели по умолчанию менее устойчива: небольшие грамматические сбои, неуклюжие формулировки, случайная путаница с менее распространёнными словами, и это значит, что ивритскому чат-боту обычно нужно больше целенаправленного тестирования и дообучения перед запуском, а не предположение, что всё заработает само собой так же, как при развёртывании на английском.
Что реально помогает на практике
Решения здесь не экзотические. Тестирование на настоящих, неаккуратных сообщениях клиентов вместо чистого книжного иврита ловит большинство перечисленных проблем до запуска, а не после. Возможность для бота задать простой, нейтральный по роду уточняющий вопрос, когда он не уверен, лучше, чем ошибиться с догадкой и прозвучать самонадеянно. И отношение к ивриту как к отдельному проекту, со своим тестированием и своей калибровкой тона, а не как к галочке поверх английского бота, - это и есть разница между чат-ботом, который звучит естественно, и тем, который звучит как перевод.
Конкретный пример: сообщение о записи, которое сбивает наивного бота
Представьте чат-бот стоматологической клиники, который получает сообщение, примерно переводимое как «хочу записаться на четверг, есть что-то свободное вечером». На иврите это предложение вполне понятно человеку, но по-настоящему неоднозначно для машины: нет указания на род, которое подсказало бы боту, как строить ответ, слово «свободно» можно прочитать по-разному в зависимости от контекста, а если следующее сообщение пациента включает название лекарства, напечатанное латиницей, система, обученная в основном на аккуратном одноязычном тексте, может потерять нить того, о чём вообще спрашивают. Бот, который просто перенесли из английской версии, может угадать род неверно, сформулировать ответ неуклюже или попросить пациента повторить уже сообщённую информацию, и всё это читается как лёгкая поломка, даже если клиент не может точно назвать, что именно не так. Бот, реально построенный и протестированный под иврит, обрабатывает то же самое сообщение, задавая один короткий нейтральный уточняющий вопрос, например подтверждая день и время без обязательства использовать глагол с определённым родом, и только потом продолжает. Этот один выбор в дизайне, спросить вместо того чтобы угадывать, кажется мелочью на бумаге, но именно он определяет, ощущается ли бот записи в клинике как компетентная стойка регистрации или как упражнение по переводу, которое время от времени ставит бизнес в неловкое положение перед пациентом.