Способность Apple создавать невероятно компактные, но мощные модели ИИ не имеет себе равных в отрасли.
Исследовательская группа Apple Intelligence компании Apple выпустила две новые небольшие, но высокопроизводительные языковые модели, используемые для обучения генераторов искусственного интеллекта.
Команда машинного обучения Apple принимает участие в проекте DataComp for Language Models с открытым исходным кодом вместе с другими участниками отрасли. Две модели, которые Apple недавно выпустила, как было замечено, соответствуют или превосходят другие ведущие модели обучения, такие как Llama 3 и Gemma.
Подобные языковые модели используются для обучения ИИ-движков, таких как ChatGPT, предоставляя стандартную структуру. Это включает архитектуру, параметры и фильтрацию наборов данных для предоставления более качественных данных для ИИ-движков.
Я очень рад представить DataComp for Language Models (DCLM) — наш новый испытательный стенд для контролируемых экспериментов с наборами данных, направленных на улучшение языковых моделей. 1/x pic.twitter.com/uNe5mUJJxb
— Вайшаал Шанкар (@Vaishaal) 18 июня 2024 г.
Представление Apple для проекта включает две модели: большую с семью миллиардами параметров и меньшую с 1,4 миллиардами параметров. Команда Apple заявила, что большая модель превзошла предыдущую топовую модель MAP-Neo на 6,6 процента в тестах.
Что еще более примечательно, модель DataComp-LM команды Apple использует на 40 процентов меньше вычислительной мощности для достижения этих бенчмарков. Это была самая производительная модель среди тех, у кого открытые наборы данных, и конкурентоспособная по сравнению с теми, у кого есть частные наборы данных.
Apple сделала свои модели полностью открытыми — набор данных, модели веса и обучающий код доступны для работы другим исследователям. Как более крупные, так и более мелкие модели показали достаточно хорошие результаты в тестах Massive Multi-task Language Understanding (MMLU), чтобы конкурировать с коммерческими моделями.
Тесты для более крупного набора данных Apple оказались конкурентоспособными по сравнению с другими моделями.
Представив Apple Intelligence и Private Cloud Compute на конференции WWDC в июне, компания заставила замолчать критиков, которые утверждали, что Apple отстает от отрасли в области приложений искусственного интеллекта в своих устройствах. Исследовательские работы команды Machine Learning, опубликованные до и после этого мероприятия, доказали, что компания на самом деле является лидером отрасли ИИ.
Эти модели, выпущенные командой Apple, не предназначены для использования в будущих продуктах Apple. Это исследовательские проекты сообщества, призванные продемонстрировать улучшенную эффективность в курировании небольших или больших наборов данных, используемых для обучения моделей ИИ.
Команда Apple Machine Learning ранее делилась исследованиями с более широким сообществом ИИ. Наборы данных, исследовательские заметки и другие активы можно найти на HuggingFace.co, платформе, предназначенной для расширения сообщества ИИ.
