Приватная нейросеть на своём сервере: как поставить

Коротко

Вариантов три: своя железка, арендованный сервер в РФ, российское облако — и начинать чаще стоит с последнего.
Главная статья расходов — не сервер, а человек, который его обслуживает и обновляет.
Железо подбирается под задачу и число людей, а не «чтобы точно хватило».

Приватная нейросеть на своём сервере — это языковая модель, которая установлена на вашем железе (или на арендованной машине в российском дата-центре) и обрабатывает документы, переписку и выгрузки внутри вашего контура, без отправки чего-либо наружу. Эта страница — про то, КАК её поставить и что для этого на самом деле нужно: какие есть варианты, какое железо, кто это будет обслуживать и где обычно вылезают неприятности. Вопрос «а зачем она вообще нужна и когда пора» мы разбираем отдельно — на странице про локальную LLM в закрытом контуре. Здесь исходим из того, что решение вы уже примерно приняли и хотите понять устройство.

Знакомо?

«Вы решили, что данные наружу отдавать больше нельзя, и упёрлись в стену. Вендор говорит «поставим сервер» и называет спецификацию, в которой вы не понимаете ни строчки. Свой айтишник (если он есть) говорит «можно, но я такое не делал». И никто не отвечает на простой вопрос: а что будет через год — кто это чинит, кто обновляет модель, что случится, если сервер встанет в пятницу вечером.»

Как это работает

1

Сначала выбираем вариант, а не железо

Их три. Первый — свой сервер в вашей серверной: максимальный контроль, максимум забот. Второй — арендованный выделенный сервер с видеокартой в российском дата-центре: железо не ваше, данные всё равно в РФ и только ваши, чинит его дата-центр. Третий — российское облако с готовой моделью (у крупных провайдеров есть площадки с обработкой данных в России): никакого железа вообще. Для большинства компаний до сотни человек честный ответ — начать с третьего, а собственный сервер обсуждать, когда упрётесь в его границы.
2

Считаем нагрузку, а потом подбираем машину

Вопрос не «какая видеокарта самая мощная», а «сколько людей и как часто будут спрашивать». Пять человек, которые задают по десятку вопросов в день, и пятьдесят человек, у которых модель разбирает входящие документы потоком, — это разное железо. Главный параметр — объём памяти видеокарты: он определяет, какая модель туда влезет. Обычная офисная машина или сервер без видеокарты работать будет, но так медленно, что пользоваться этим никто не станет.
3

Ставим модель и обвязку вокруг неё

Сама установка открытой модели (семейства Qwen, Llama, GigaChat в локальной поставке и подобные) — это день работы, и это самая простая часть. Настоящая работа — обвязка: веб-интерфейс, куда зайдут сотрудники; подключение к вашим документам и учётной системе; разграничение доступа, чтобы кладовщик не видел финансы; журнал запросов, который вы покажете проверяющему. Без обвязки у вас не рабочий инструмент, а «чат в браузере».
4

Договариваемся, кто это обслуживает

Это тот пункт, который любят пропустить, и именно он потом ломает проект. Модель надо обновлять, видеокарту — охлаждать, диски — резервировать, доступы — пересматривать при увольнениях, а когда что-то перестало отвечать, кто-то должен приехать. Если у вас нет своего человека, это либо договор на сопровождение, либо — честно — не ваш вариант, берите облако.
5

Проверяем на реальных задачах до того, как купили железо

Мы всегда начинаем с арендованного сервера на месяц-другой и гоняем на нём ваши настоящие документы. Становится видно, справляется ли модель с вашими задачами, сколько людей ей реально пользуется и какая машина нужна. Купить железо можно и потом — а вот вернуть купленное «на всякий случай, чтобы с запасом» уже нельзя.
6

Оставляем облако там, где оно уместно

Часть задач персональных данных и секретов не содержит вовсе: черновики писем, переводы, идеи. Их спокойно отдают облачной модели — она умнее и дешевле. Смешанная схема почти всегда выгоднее, чем принцип «всё только у себя».

Когда это оправдано — а когда нет

Оправдано

Решение «данные не уходят наружу» уже принято, и нужно понять, во что это выльется технически
Есть свой айтишник или подрядчик, который согласен взять сервер на сопровождение
Нейросетью реально будет пользоваться отдел, а не два энтузиаста
Служба безопасности или крупный заказчик требуют показать, где физически лежат данные
На руках спецификация от вендора и хочется понять, нет ли в ней лишнего

Пока не нужно

Вы ещё не решили, нужен ли вообще закрытый контур — начните со страницы про то, зачем он нужен, а не с выбора видеокарты
В компании некому обслуживать сервер и нет бюджета на сопровождение: железо без хозяина через полгода станет мёртвым железом, а деньги останутся потраченными
Пользователей двое-трое: содержать под них сервер и человека дороже любой подписки, и мы так и скажем
Задачи требуют максимума интеллекта — сложные рассуждения, разбор запутанного кода: открытые модели на вашем железе тут пока заметно слабее лучших облачных
Хочется «свою нейросеть» как аргумент в переговорах или строчку в презентации. Это дорогая витрина
Персональных данных и коммерческой тайны в запросах нет: вы решаете проблему, которой у вас не существует

Частые вопросы

Сколько стоит поставить нейросеть на свой сервер?+

Зависит от задачи — считаем на бесплатном разборе. Разброс огромный: от аренды сервера на пробу до отдельного контура с сопровождением, и часть задач вообще не требует своего железа. Прайс-таблиц и навязанных пакетов у нас нет. Что мы скажем сразу: считайте не покупку, а год владения вместе с обслуживанием — именно там прячется настоящая цифра.

Чем эта страница отличается от «Локальная LLM в закрытом контуре»?+

Та — про ЗАЧЕМ: какая боль, что говорит закон, когда закрытый контур действительно пора делать, а когда нет. Эта — про КАК: варианты, железо, обвязка, обслуживание, подводные камни. Если вы ещё сомневаетесь, нужно ли вам это, идите сначала туда.

Обязательно покупать сервер? Можно ли обойтись?+

Можно и часто нужно. Данные должны обрабатываться в России и не уходить третьим лицам — это не значит «стоять в вашей серверной». Арендованный выделенный сервер в российском дата-центре или российское облако с готовой моделью закрывают ту же задачу, а обслуживание становится чужой заботой. Честно: для большинства компаний это дешевле и надёжнее старта со своей железкой.

Какая видеокарта нужна?+

Правильный ответ звучит скучно: та, в память которой влезает модель, которая тянет ваши задачи. Именно объём памяти видеокарты определяет размер модели, а размер модели — качество ответов. Поэтому мы не называем модель видеокарты до того, как посмотрели на ваши задачи и число пользователей: любой конкретный ответ вслепую будет либо с переплатой, либо мимо.

Что будет, если сервер сломается?+

Работа встанет — и это надо решить заранее, а не потом. Варианты простые: договор с дата-центром, где железо чинят без вас; либо резервный путь через облако для обезличенных задач на время простоя. Если ни того, ни другого нет, свой сервер — плохая идея, и это как раз тот случай, когда мы отговариваем.

Модель на своём сервере знает наши документы?+

Не сама по себе. Голая модель знает только то, чему её учили в интернете. Чтобы она отвечала по вашим регламентам и договорам, нужна обвязка: ваши документы подключаются к ней отдельно, и каждый ответ идёт со ссылкой на исходник, чтобы можно было проверить.

Подойдёт ли это вашему бизнесу?

Оставьте контакт — в бесплатном разборе честно скажем, окупится ли это именно у вас.

Источники

Смежные темы

Безопасность и закон

Приватная нейросеть на своём сервере: как поставить

Как это работает

Когда это оправдано — а когда нет

Частые вопросы

Подойдёт ли это вашему бизнесу?

Заявка принята

Источники

Смежные темы

Локальная LLM в закрытом контуре: зачем это нужно

152-ФЗ и нейросети

ИИ-помощник по базе знаний компании