Локальные ИИ-системы
Подбираем оборудование, разворачиваем и настраиваем языковые модели, которые работают в вашей инфраструктуре. Данные остаются в компании, а за каждый запрос платить не нужно.
Замеры
Цифры наших собственных систем. Такие же замеры мы делаем с вашими задачами, прежде чем предлагать решение.
Здесь будем публиковать только то, что сами измерили на своём оборудовании: модель, настройки и результат. Пока готово оборудование.
Наше оборудование →Услуги
Можно заказать весь путь или отдельную часть.
Сравниваем GPU-серверы, NVIDIA DGX Spark и компьютеры на Apple Silicon на ваших задачах и моделях. Измеряем скорость, длину контекста и качество, чтобы вы купили то, что действительно нужно.
Готовим сервер или Mac, устанавливаем сервер моделей с API, совместимым с OpenAI, настраиваем доступы, автозапуск и мониторинг.
Подбираем открытую модель под вашу задачу и выжимаем из оборудования больше: квантизация, спекулятивное декодирование, длинный контекст, распознавание изображений.
Соединяем локальную модель с тем, чем команда уже пользуется: поиск по документам компании, чат- или код-ассистент, интеграции через API.
Процесс
Выясняем, какую работу должен выполнять ИИ, с какими данными и какие есть требования к конфиденциальности.
Тестируем несколько моделей и вариантов оборудования на ваших задачах: скорость, качество и длину контекста. Решают цифры.
Настраиваем оборудование, модели, API и доступы в вашей сети. Система сама запускается после перезагрузки.
Следим за работой системы и пробуем новые модели. Обновляем только тогда, когда замеры показывают пользу.
Почему локально
Договоры, данные клиентов или код остаются в вашей сети. Не нужно согласовывать, что можно отправлять внешнему поставщику.
Затраты зависят от оборудования и электричества, а не от того, сколько сотрудники пользуются системой.
Модель не изменится и не исчезнет без вашего решения. Её можно заменить, когда выйдет более сильная.
Самые крупные облачные модели в некоторых задачах всё ещё сильнее. Если в вашем случае локальное решение не окупается, мы скажем об этом после замеров.
Вопросы
Зависит от задачи и размера модели. Небольшим моделям хватает одной хорошей видеокарты или компьютера на Apple Silicon, крупным нужно больше памяти или несколько устройств. Это мы выясняем замерами до покупки.
В одних задачах да, в других нет. Поэтому мы начинаем с тестов на ваших реальных задачах и показываем результаты до принятия решения.
Модель работает на вашем оборудовании и в вашей сети. Если какой-то части, например обновлениям, нужен интернет, мы это описываем, и такое соединение можно отключить.
Да. Измеряем, на что оно способно, и говорим, какие модели и задачи на нём реально выполнять.
Контакты
Напишите, какую работу хотите выполнять и какое оборудование у вас есть или планируется. Предложим, что измерить в первую очередь.
Вильнюс, Литва · работаем по всему ЕС · LT / EN / RU