По оценкам MIT, 95% процентов проектов ИИ терпят неудачу — это вдвое больше, чем у ИТ-проектов, не связанных с ИИ.
…95% компаний получают ноль возврата от своих инвестиций в ИИ проекты…
Поделюсь собственными наблюдениями и опытом коллег, прямо с передовой разработки ИИ решений.
Первая причина это не понимание самой технологии и границ ее применения руководством
Сейчас когда в индустрию вливаются миллиарды, ключевые компании оцениваются в триллионы. Как вы думаете сколько из них идет в рекламу и нагнетание атмосферы «хватай мешки, вокзал отходит»?
Информационный пузырь накачивается практически всеми ИТ компаниями. Если послушать евангилистов, границ применения у ИИ нет, и скоро он всех заменит.
В итоге у руководителя появляется либо страх за будущее если он не будет действовать прямо сейчас, либо жадность, попытаться проехать на хайпе. Однако следует фокусироваться на проблеме, а не на технологии: успешные проекты предельно сфокусированы на решаемой задаче, а не на инструменте её решения.
Больше всего подменяет сознание присутствие в названии ИИ слова «Интеллект», хотя по факту интеллекта в смысле «разума» в нем нет, а есть алгоритмы сжатия информации. Алгоритмы которые могут решить определенный класс задач и не могут решить (либо уступают другим алгоритмам), в других классах задач.
Руководители часто неправильно понимают — или неверно транслируют — какую именно проблему нужно решать с помощью ИИ.
Вторая причина —иллюзия простоты или ловушка прототипов
Как выглядит классическая ловушка прототипа (PoC):
Собираем на хакатоне за выходные прототип который умеет отвечать на вопросы пользователей или агрегировать информаци. Отдали ИИ-шке один два документа, он его изучил (впитал в контекст, векторизовал и т.п.) и дает ответ на несколько вопросов которые мы заранее протестировали.
У руководства шок — а что так можно было? И в глазах появились доллары ($)($). Cейчас мы за месяц напишем приложение и им заменим целый отдел поддержки или аналитики (думают они). Деньги быстро выделили, собирайте команду, раз в троём за один день такое получилось, за месяц проект точно будет готов.
Третья — Отсутствие экспертизы построения ИИ решений
Начинаем проект, и оказывается, данных для обучения модели нет, те что есть разрознены и их нужно классифицировать, про безопасность и распространение секретов никто не подумал.
Согласно отчету LayerX: 40% файлов загружаемых в GenAI приложения содержат персональные данные
Инфраструктуры для управления данными еще нет.
Движемся дальше. Программисты написали MVP, что-то как-то работает. А как протестировать? На входе неструктурированный поток документов, на выходе такие-же ответы.
Идем общатся с заказчиком:
Разработчик: Вас устроит результат в 80% процентов достоверных ответов?
Заказчик:ну нет конечно же, давайте система будет давать 95% правильных ответов, а 5% так и быть пускай ответит, что не знает.
Разработчик: вы ведь понимаете что это означает 100% достоверность. Правда же, понимаете?
Тестировщик: А на каких данных будем тестировать? Ведь результат работы модели зависит от данных, у нас же будет доступ ко всем прод. данным? И версия LLM должна быть та же, что и на боевом окружении.
Заказчик: Модель на проде дорогая, вы своими автотестами спалите нам весь бюджет, давайте
Тестировщик: Ну это же «черный ящик». Другая модель, другие результатыболее бюджетную использовать.
Выкатились на пользователей
Как там поживает наше решение?
Разработчик: Провайдер выпускает новые версии LLM модели ежемесячно. Пытались переключиться на новую, но она выдает другие результаты, нам необходимо все перетестировать и исправлять промпты. Во время пиковых нагрузок провайдер может сам переключать версии исспользуемых моделей, а мы не предусмотрели таких сценариев. Мы не можем сократить расходы на поддержку, нам постоянно надо присматривать, за изменениями внешних интеграций и постоянно мигрировать от версии к версии.
Заказчик:У нас в решении появились ИИ фичи, мы в тренде. Только пользователи их почему то исспользуют не так как мы планировали. Больше пользователей у нас не стало, и платят они столько, как и раньше. В итоге расходы выросли, доходы нет. Зато теперь у нас в штате ИИ-специалисты, с зарплатой как сбитый боинг, ведь без них эта штука не работает.
Итого
Перед тем как принимать решения относительно дорогостоящих проектов, не поленитесь разобраться в технологии почитав технические или критические материалы, обращая внимание прежде всего на ограничения и риски.
Оценивая потенциальный ИИ‑проект, необходимо привлекать технических экспертов для анализа стоимости и осуществимости.
ИИ‑проекты требуют времени и терпения, они не делаются не за месяц ни за три, как бы вам не хотелось выдавать желаемое за действительное, запаситесь терпением на год
Продуктовый подход : следует фокусироваться на проблеме, а не на технологии. Иногда критически пересматривать процессы полностью, но не забывать рассчитывать ROI создания и поддержки
