4× Работает
NVIDIA RTX 3090
24 GB
Одна работает как eGPU-сервер. Есть 4-слотовый мост NVLink.
Замеры
Замеры
Скорость локальных языковых моделей на нашем оборудовании: какое оборудование, какая модель, какие настройки и какой результат. Список пополняется после каждого нового теста.
Первые замеры готовятся
Здесь будем публиковать только то, что сами измерили на своём оборудовании: модель, настройки и результат. Пока готово оборудование.
Наше оборудование ↓Лаборатория
Наше оборудование
Измеряем на своём оборудовании: от одной потребительской видеокарты до нескольких NVIDIA DGX Spark и компьютеров на Apple Silicon.
3× Работает
NVIDIA DGX Spark
128 GB
Соединены через ConnectX-7. Измеряем, как модели масштабируются от 1 до 4 устройств.
1× В пути
Mac Studio M5 Ultra
1× Работает
NVIDIA RTX 2080 Ti
11 GB
Планируем расширение памяти до 22 ГБ и стенд из двух карт на 44 ГБ.
1× Работает
NVIDIA RTX 3060
12 GB
2× Работает
AMD RX 480
8 GB
2× Работает
Mac (Apple Silicon)
Два Mac, соединённых через Thunderbolt RDMA.
2× Работает
X99 (Intel)
1× В пути
X299 (Intel)
Как мы измеряем
- Измеряем на своём оборудовании, с моделями и настройками, указанными рядом с результатом.
- Публикуем только то, что измерили сами. Цифры производителей не пересказываем.
- Если настройка проводилась, показываем результат до и после.