FX.co ★ Meta запускает многомодальный LLM Chameleon

Компания Meta Platforms (META) представила свое новейшее достижение в области искусственного интеллекта — сложную мульти-модальную большую языковую модель, названную Chameleon.

Согласно исследовательскому документу компании, Chameleon предназначен для выполнения широкого спектра задач, которые ранее требовали использования нескольких моделей. Эта инновационная модель демонстрирует превосходную интеграцию информации по сравнению со своими предшественниками.

Chameleon использует архитектуру «раннего слияния на основе токенов смешанных модальностей», что позволяет ей обучаться на разнообразных входных данных, включая изображения, код, текст и многое другое. Модель использует комбинацию токенов изображений, текста и кода для генерации последовательностей.

«Единое пространство токенов Chameleon позволяет ему бесшовно рассуждать и генерировать попеременно чередующиеся последовательности изображений и текста, устраняя необходимость в компонентах, специфичных для каждой модальности», — говорится в исследовательском документе.

Обучение модели проводится в два этапа и использует набор данных, включающий 4,4 триллиона токенов из текста, комбинаций текста и изображений, а также переплетенных текстовых и изображенных последовательностей. Две версии модели Chameleon были обучены — одна с 7 миллиардами параметров и другая с 34 миллиардами параметров — на протяжении более 5 миллионов часов на графических процессорах Nvidia A100 80GB.

На конкурентном рынке OpenAI недавно запустила GPT-4o, в то время как Microsoft (MSFT) представила свою модель MAI-1 несколькими неделями ранее.