WSJ узнала о планах Meta запустить систему генеративного ИИ мощнее GPT-4

На развитие 10 моногородов потратят 1,7 трлн тенге

Компания Meta  планирует в следующем году выпустить новую систему генеративного искусственного интеллекта (ИИ), которая будет в несколько раз мощнее Llama 2, которую компания представила в июле. Meta рассчитывает начать обучение своей новой большой языковой модели в начале 2024 года, на собственной инфраструктуре, пишет The Wall Street Journal со ссылкой на источники, знакомые с планами компании, передает Forbes.ru.

Группа для ускорения разработки генеративных инструментов ИИ была создана гендиректором Meta Марком Цукербергом в начале 2023 года. По словам источников WSJ, Цукерберг настаивает на том, чтобы новая модель, как и более ранние предложения Meta в области искусственного интеллекта, была с открытым исходным кодом и, следовательно, бесплатно предоставлялась компаниям для создания инструментов на базе ИИ. Планы относительно новой модели — часть усилий Цукерберга по утверждению Meta в качестве главной силы в мире искусственного ИИ.

Сейчас Meta строит центры обработки данных, необходимые для работы новой модели и приобретает больше передовых чипов H100 от передовых из Nvidia, их используют для обучения ИИ. По словам некоторых собеседников WSJ, ранее Meta объединилась с Microsoft, чтобы сделать Llama 2 доступной на платформе облачных вычислений Microsoft Azure, но новую модель компания планирует обучать на собственной инфраструктуре. Meta надеется, что новая модель ИИ будет примерно такой же по возможностям, как GPT-4 (OpenAI запустила ее в марте).

GPT-4 лежит в основе перспективных и прибыльных инициатив OpenAI, таких как недавно запущенный инструмент ChatGPT для бизнеса. Компания привлекает других к развитию этой технологии, пытаясь покрыть огромные затраты на передовые модели ИИ. Новая модель Meta, скорее всего, выйдет после ожидаемого дебюта Gemini, продвинутой большой языковой модели, создаваемой Google (может быть представлена до конца 2023 года).

Большие языковые модели обычно становятся более мощными при обучении большему количеству данных. Самая мощная версия модели Llama 2, представленная Meta в июле, была обучена работе с 70 млрд параметров (термин показывает число переменных в системе ИИ, используется для измерения размера ИИ). OpenAI не раскрывает размер GPT-4, по оценкам экспертов, он примерно в 20 раз больше, чем у Llama 2 — 1,5 трлн параметров. Некоторые эксперты в области ИИ отмечают, что достичь мощности GPT-4, можно не приближаясь к его размерам.

Цукерберг ранее отстаивал модели искусственного интеллекта с открытым исходным кодом — они популярны из-за адаптивности и более низкой стоимости. К недостаткам таких ИИ юристы относят повышенные риски, связанные с использованием информации, потенциально защищенной авторским правом, и широкий доступ к инструменту, который может быть использован для генерации и распространения дезинформации или других недобросовестных действий.

«Некоторые системы искусственного интеллекта с открытым исходным кодом предлагают ограниченную степень прозрачности, возможности повторного использования и расширяемости», — сказала Сара Уэст, бывший советник Федеральной торговой комиссии, управляющий директором исследовательского Института AI Now, исследовательского института, который выразил обеспокоенность по поводу контроля крупных компаний над ИИ.

В среду, 13 сентября, Цукерберг примет участие в саммите, посвященном регулированию ИИ. Его организовал лидер большинства в Сенате Чак Шумер (сенатор-демократ от Нью-Йорка). На саммите будет присутствовать главы и других технологических компаний, в том числе генеральный директор OpenAI Сэм Альтман и генеральный директор Google Сундар Пичаи.