ИИ обходится дороже тем, кто не говорит по-английски: почему так происходит

Для обработки некоторых языков моделям искусственного интеллекта требуется значительно больше токенов. Это увеличивает стоимость использования ИИ и сокращает объем информации, с которой модель может работать одновременно, пишет Rest of World.

Люди, говорящие на языках, которые менее распространены в интернете, могут платить за использование искусственного интеллекта больше, чем носители английского и других доминирующих языков.

Исследование, опубликованное в прошлом месяце Коалицией за языковое равенство в исследованиях искусственного интеллекта (Coalition for Language Equity in AI Research), показало, что для обработки одних языков моделям требуется значительно больше токенов, чем для других. Токены — это единицы текста или данных, которые обрабатывают модели. Исследователи назвали это скрытым «налогом на токенизацию». Из-за него использование ИИ может обходиться дороже для языков, которые слабо представлены в интернете. Токенизатор — это инструмент, который разбивает исходный текст, изображения или аудио на токены.

По теме: Шесть навыков, необходимых для успеха в эпоху искусственного интеллекта

Для этого использован токенизатор OpenAI, доступный через API. Английское предложение разбивается на узнаваемые слова, тогда как каждое слово на одном из редких языков превращается в несколько фрагментов, причем границы многобайтовых символов не учитываются.

Разница в количестве токенов сохраняется даже среди 20 самых распространенных в интернете языков, говорится в исследовании. Для самого затратного языка требовалось в 1,5–5 раз больше токенов, чем для наименее затратного. Когда исследователи расширили выборку до 200 языков, разрыв увеличился: в одной из моделей ИИ разница в затратах на токены достигла 17 раз.

«Стартап в Бангалоре может платить надбавку за каждый запрос к модели и каждый полученный ответ, тогда как его конкурент в Остине не сталкивается с такими дополнительными расходами, — говорится в исследовании. – Неравенство при токенизации влияет не только на стоимость. Чем больше токенов требуется, тем выше задержка и тем меньше эффективный объем контекста, с которым модель может работать. Сильнее всего эти последствия затрагивают тех, у кого и без того ограничены вычислительные мощности и доступ к интернету. Неравенство при токенизации ограничивает возможности участия в экономике искусственного интеллекта».

Из-за особенностей обработки неанглоязычных текстов остается меньше места для документов и истории переписки, а для подготовки ответа требуется больше вычислительной работы, объяснил Пратюш Чоудхури, соучредитель Activate AI — первого в Индии венчурного фонда, который специализируется исключительно на искусственном интеллекте. Фонд инвестирует в стартапы, разрабатывающие мультиязычные голосовые ИИ-системы, в том числе ElevenLabs, Sarvam и Wispr Flow.

«Представьте себе репетитора. Чтобы провести хороший урок, он должен помнить предыдущие ошибки ученика и объяснения, которые уже давал. Если на одном языке эта история занимает контекстное окно гораздо быстрее, это сказывается и на качестве услуги», — сказал Чоудхури.

Один из способов улучшить обработку языков — повысить качество исходных данных.

«Здесь важны инициативы по созданию открытых данных, такие как RESPIN. Это совместный проект с участием Индийского института науки, финансируемый Фондом Гейтсов. В его рамках мы собрали тексты, записанные носителями 38 диалектов, а также записи прочитанных вслух текстов», — рассказал изданию Rest of World Рауль Нанавати, соучредитель и генеральный директор Navana.ai — базирующегося в Мумбаи стартапа, который разрабатывает инфраструктуру для голосовых ИИ-систем.

Однако исследование Коалиции за языковое равенство в исследованиях искусственного интеллекта показало, что редкость языка — не единственный фактор, определяющий количество необходимых токенов. Большую роль играет система письменности.

Астурийский язык, на котором говорит сравнительно небольшое число людей и для которого отсутствуют данные в Common Crawl, получает преимущество благодаря использованию латинского алфавита, а также представленности родственных романских языков, например итальянского. В то же время наибольшие трудности практически во всех изученных моделях возникали с языками, использующими системы письма, которые редко встречались в обучающих данных токенизаторов. К ним относятся бирманский, тибетский, тифинаг, кхмерский, лаосский и ол-чики.

Многие современные токенизаторы по-прежнему непропорционально хорошо приспособлены к английскому и другим языкам, для которых доступно много данных. Основная проблема заключается в нехватке качественных цифровых материалов, заявил Димант Редди, генеральный директор Maya Research. Компания разрабатывает разговорные модели искусственного интеллекта, которые должны говорить и отвечать как носители языка, ориентируясь на следующие пять миллиардов пользователей интернета.

Однако, предупредил Редди, одних лишь улучшений обучающих данных недостаточно, чтобы устранить недостатки токенизатора.

«Цены на токены очень быстро снижаются, поэтому со временем непосредственное влияние этой проблемы на стоимость должно стать менее ощутимым, а более качественные мультиязычные данные и синтетические данные должны улучшить качество моделей. Но для реального сокращения разрыва в токенизации разработчикам придется целенаправленно создавать токенизаторы следующего поколения, которые будут лучше обрабатывать эти языки и системы письма», — сказал Редди.

Вам может быть интересно: главные новости Нью-Йорка, истории наших иммигрантов и полезные советы о жизни в Большом Яблоке – читайте все это на ForumDaily New York

Чоудхури считает, что эффективность обработки языков должна стать обязательным требованием при разработке продуктов на основе ИИ наряду с точностью, скоростью и надежностью.

«Добиться полного равенства, возможно, нереалистично. Но значительные и устойчивые различия должны требовать объяснения и плана по улучшению ситуации, — сказал он. – Я бы предложил каждой крупной лаборатории публиковать сравнительные показатели по каждому языку, показывающие, сколько стоит успешно выполнить сопоставимые задачи, и брать на себя обязательства по измеримому улучшению результатов для языков, которые обслуживаются хуже всего».

Читайте также на ForumDaily:

Специалист по кибербезопасности перестал копить на пенсию: он уверен, что ИИ уничтожит людей в ближайшие 10 лет

Meta оштрафовали на $25 млрд за ложь о защите данных пользователей: компания врала об этом годами

США и Россия хотят вместе строить дата-центры на ядерной энергии

Хотите больше важных и интересных новостей о жизни в США и иммиграции в Америку? — Поддержите нас донатом! А еще подписывайтесь на нашу страницу в Facebook. Выбирайте опцию «Приоритет в показе» —  и читайте нас первыми. Кроме того, не забудьте оформить подписку на наш канал в Telegram  и в Instagram— там много интересного. И присоединяйтесь к тысячам читателей ForumDaily New York — там вас ждет масса интересной и позитивной информации о жизни в мегаполисе.