Mac Studio — отличная система для локальной работы с моделями ИИ вроде DeepSeek. Это если вы готовы заплатить за M3 Ultra и множество обновлений.
Apple Silicon доминирует на рынке ПК с поддержкой искусственного интеллекта, а его возможности для приложений машинного обучения делают его привлекательным приобретением. В новом видеоролике показано, что Mac Studio M3 Ultra может предложить людям, работающим в области искусственного интеллекта, значительную производительность для игры.
В видеоролике от Dave2D рассказывается о M3 Ultra Mac Studio, самом быстром Mac в линейке Apple. Однако то, что тестируется в ролике, скорее демонстрирует экстремальные возможности аппаратного обеспечения, чем более скромную и обычную нагрузку.
Версия, показанная в видео, использует чип M3 Ultra с конфигурацией верхнего уровня: 32-ядерный CPU, 80-ядерный GPU и 32-ядерный Neural Engine. Также она оснащена 512 ГБ объединенной памяти, максимальным объемом, доступным для данной модели, с пропускной способностью памяти 819 ГБ/с.
Использование локального LLM
Хотя в обзоре говорится о том, что модель не вносит существенных изменений в типичные рабочие процессы создателей видеоконтента, в нем делается акцент на большом объеме памяти. Это, а также возможность запуска массивных больших языковых моделей (LLM), используемых в приложениях искусственного интеллекта.
Наиболее очевидное применение — возможность использовать LLM локально, без необходимости отправлять запрос на серверную ферму. В таких случаях, как больница, необходимость обеспечения конфиденциальности данных пациента означает, что хранение данных на месте является лучшим вариантом, чем отправка их на обработку, если это возможно.
Для тестирования Deepseek-r1 был загружен и запущен локально на Mac Studio. Раньше это было невозможно, поскольку для работы модели с 671 миллиардом параметров требуется чуть больше 400 гигабайт памяти и чуть меньше 450 гигабайт видеопамяти.
Поскольку Apple Silicon использует унифицированную память, топовая конфигурация с 512 ГБ памяти способна справиться с огромным размером файлов модели. Хотя на Mac с меньшим объемом памяти можно запускать версии с более низкими параметрами, для работы с самой большой моделью Deepseek-r1 можно использовать только самую высокую конфигурацию.
Действительно, в ходе тестирования выяснилось, что macOS по умолчанию ограничивает объем видеопамяти до 384 ГБ, поэтому для начала тестирования эту настройку пришлось отменить.
После запуска Mac Studio смогла обрабатывать запросы со скоростью примерно 17-18 жетонов в секунду. Это уровень, который считается приемлемым для большинства пользователей LLM.
Хотя производительность LLM является одним из факторов, представляющих интерес, другим является энергопотребление, так как запуск моделей может потребовать много ресурсов. В случае с моделью на Mac Studio было замечено, что во время работы она потребляет от 160 до 180 Вт.
Это может показаться много, но это относительно мало по сравнению с ПК, собранным на заказ, с несколькими графическими процессорами, созданными для той же задачи. Предполагается, что потребляемая мощность этой гипотетической системы может быть в десять раз больше, чем у Mac Studio.
Дорогой вариант
Несмотря на то, что Mac Studio с M3 Ultra кажется отличным вариантом для использования и разработки LLM, у него есть большой недостаток в виде стоимости.
Опция 512 ГБ доступна только для верхнего уровня чипа M3 Ultra, что добавляет 1500 долларов к цене базовой модели в 3 999 долларов. Переход с базовых 96 ГБ памяти на 512 ГБ — это еще 4 000 долларов, в результате чего общая стоимость составит 9 499 долларов, а базовый объем памяти в 1 ТБ останется нетронутым.
Выложить около 10 000 долларов за Mac для целей искусственного интеллекта для большинства людей не представляется возможным. Но это может быть вариантом для предприятий и корпораций, у которых есть финансы и которые могут с легкостью оправдать покупку Mac Studio с M4 Ultra для запуска LLM на месте.
Такие компании могут даже рассмотреть возможность создания кластера Mac, если у них есть бюджет.
