Тестирование кластера Mac Studio с чипом M3 Ultra

Исследователь и ютубер Джефф Гирлинг получил от Apple на тестирование кластер из четырёх компьютеров Mac Studio, работающих на чипе M3 Ultra. Основная задача — проверить, как несколько Mac смогут функционировать с одной огромной связкой памяти, что крайне важно для работы с большими AI‑моделями. Общая стоимость стенда, включающего 1,5 ТБ объединённой памяти, составляет почти 40 000 $. Два нижних компьютера имеют 512 ГБ RAM и 32 процессорных ядра, а два верхних — по 256 ГБ.

Для размещения кластера Гирлинг использовал мини-стойку DeskPi, так как готовых решений почти нет. Сетевые возможности вызвали недовольство: хотя скорость соединения достигает 50–60 Гбит/с, кабели плохо фиксируются, что приводит к запутанным проводам. Тесты показали, что при запуске бенчмарка HPL на четырёх узлах удалось достичь 3,7 терафлопса. Основным инструментом тестирования стал софт Exo 1.0, который продемонстрировал эффективность в сравнении с другими решениями. Кластер показал удвоенную скорость генерации по сравнению с проектом llama.cpp.