Если у вас есть две Mac Studios, возможно, вы можете объединить их в кластер.
Напоминая старые времена Xgrid, новый проект соединяет Mac Studios вместе с кабелями Thunderbolt и использует их в тандеме для задач массового параллельного вычисления.
Очень давно я занимался кластерными вычислениями и помогал в создании нескольких кластеров, ориентированных на Mac, в Вирджинии. Ближе к концу выпуска Xgrid от Apple я также построил кластер Xgrid, используя бежевые материнские платы G3. Знаешь, просто потому, что я мог.
Хотя Xgrids, финансируемые корпорациями и государством, были довольно хороши, проекты самостоятельной сборки были довольно неудобными и хрупкими. Xgrid от Apple работал очень хорошо в крайне специфических обстоятельствах, но очень плохо за пределами этих сценариев.
Кластер Mac Studio действительно хорош своим размером проблемы. Чтобы использовать объединенные графические процессоры, измените свое мышление: разумно выбирайте размер пакета и разделение вашего набора данных (блок или чередование). Получил двукратное ускорение при обучении большого MLP на двух MS с одинаковой точностью. @awnihannun @angeloskath pic.twitter.com/P8NpPRt6TG
— Ставрос Кассинос (@KassinosS) 15 июня 2024 г.
Установка проекта довольно сложна, как и установка Xgrid. В новом проекте есть одна главная машина и столько рабочих компьютеров Mac, сколько возможно, подключенных непосредственно к главной машине с помощью кабелей Thunderbolt 4. Это обеспечивает чрезвычайно высокоскоростную связь между хост-машиной и рабочими процессами.
Рабочие машины могут быть обезглавленными, с выбранным автоматическим входом в систему, при условии, что также включен общий доступ к экрану. Сеть настраивается вручную.
Вычислительное программное обеспечение устанавливается с использованием Open-MPI через HomeBrew. Затем устанавливается репозиторий проекта MLX. Полное устранение неполадок и настройка выходят за рамки этой статьи, но это обзор того, что вам нужно сделать, чтобы начать работу.
Как и в случае любых массовых параллельных вычислений, масштабирование между устройствами не совсем линейное. В одном тестовом кластере было три узла, решавших одну проблему на в 2,9 раза быстрее чем одна Mac Studio.
Время, когда я занимался настройкой массово-параллельных систем, давно прошло. Любая работа, которую мне нужно выполнить сейчас, с людьми, которые помогли мне с профессиональными обзорами высококлассного оборудования, которые требуют их сейчас, находится в уже существующей сетке. Все они имеют параметры и параметры конфигурации, которые решаются другими.
Моя последняя работа с MPI была около двух десятилетий назад с версией 2, если я правильно помню. Участники форума MPI в настоящее время оценивают версии 4.2 и 5, так что мое время давно прошло.
Таким образом, я оставляю большую часть исследования и реализации этого читателю. Тем не менее, кластер Mac Studios можно легко транспортировать в упаковке размером с спортивную сумку, он экономичен по энергопотреблению и теплу и может использовать iPad в качестве экрана.
И кажется достаточно простым настроить рабочие машины, уже расположенные рядом на соседних столах, для создания специального кластера. Если вы того пожелаете, вы можете подключить до шести сотрудников Apple Silicon Mac к хост-машине M1 Ultra или M2 Ultra Mac Studio с помощью Thunderbolt.
Очевидно, что Mac Studio — лучший выбор для этого с точки зрения размера и мощности. Возможно, это не самое лучшее с бюджетной точки зрения.
Я буду следить за этим проектом. Возможно, пришло время вернуться к таким вещам.
