Гид по GPU
Выберите подходящую GPU, не будучи экспертом.
Главное — видеопамять (VRAM): модель вместе с рабочими данными должна целиком поместиться в память карты. Скорость важна во вторую очередь. Воспользуйтесь калькулятором, сравните карты или пропустите всё и просто опишите задачу: размер мы подберём сами.
Выбор за 30 секунд
Сколько памяти вам нужно?
Выберите задачу и размер модели. Цифры приблизительные: длинный контекст и большие батчи требуют больше памяти. Если модель не помещается в одну карту, нужны несколько карт, связанных быстрым каналом (NVLink).
Быстрые ориентиры: 7–8B малая, 13B средняя, 30–34B большая, 70B очень большая. Для OCR, распознавания и синтеза речи и компьютерного зрения обычно хватает 8–24 ГБ.
| Задача | Память на 1 млрд параметров | Модель 7–8B | Модель 70B |
|---|---|---|---|
| Инференс, 16 бит | около 2 ГБ + 20% | 16–20 ГБ, одна карта | 140–170 ГБ: H200 или 2×H100 |
| Инференс, сжатая модель (4 бит) | около 0,6–0,7 ГБ | 5–6 ГБ, любая игровая карта | 40–48 ГБ: одна карта на 48 ГБ и больше |
| Дообучение LoRA / QLoRA | около 1–2 ГБ (до 3 при длинном контексте) | 10–24 ГБ: RTX 4090 или 5090 | 48–80 ГБ: одна H100 (QLoRA) |
| Полное дообучение | около 16–20 ГБ | 120–160 ГБ: несколько карт | более 1 ТБ: кластер |
| OCR, речь, компьютерное зрение | — | обычно 8–24 ГБ | — |
Сравнение карт
Игровые и рабочие карты.
Недорогие карты для инференса небольших моделей и LoRA. Чаще всего их берут стартапы. Важно: по лицензии драйвера NVIDIA игровые карты GeForce нельзя ставить в дата-центр, поэтому для бизнес-клиентов мы отмечаем их как компромисс по надёжности и поддержке.
| Карта | Память | Подходит для | На что обратить внимание |
|---|---|---|---|
| RTX 3090 игровая, 2020 | 24 ГБ | Сжатые модели до 13B, OCR, речь, эксперименты. Самый дешёвый вариант. | Старая и медленная, греется, часто б/у. |
| RTX 4090 игровая, 2022 | 24 ГБ | Инференс 7–13B, LoRA до 8B, генерация картинок. | 24 ГБ мало для моделей от 30B. |
| RTX 5090 игровая, 2025 | 32 ГБ | Распознавание и синтез речи, LoRA, сжатые модели до 30B. | Дефицит, дорого для игровой карты. |
| RTX A6000 рабочая, 2020 | 48 ГБ | Сжатые модели до 30–40B, LoRA до 13B. | Старая архитектура, медленнее новых карт. |
| RTX 6000 Ada рабочая, 2022 | 48 ГБ | То же, что A6000, но быстрее; генерация видео. | Дорогая при скорости уровня 4090. |
| RTX PRO 6000 Blackwell 2025 | 96 ГБ | Инференс 70B в сжатом виде, LoRA до 30B, речь, видео. | Нет NVLink; на обучении медленнее H100. |
Серверные карты (NVIDIA).
Карты для дата-центров: их предлагают местные облака и серьёзные хостинги. Главные для большинства задач — A100, H100 и H200.
| Карта | Память | Подходит для | На что обратить внимание |
|---|---|---|---|
| T4 2018 | 16 ГБ | Лёгкий инференс, OCR, классификация. Самая дешёвая серверная. | Слабая и старая, не для обучения. |
| L4 2023 | 24 ГБ | Инференс малых моделей, видеоаналитика на много камер; мало потребляет. | Слабая для обучения. |
| A10 2021 | 24 ГБ | Инференс до 13B в сжатом виде. | Устаревает, вытесняется L4. |
| L40S 2023 | 48 ГБ | Инференс до 30B, генерация картинок и видео, видеоаналитика. | Нет NVLink; на обучении слабее H100. |
| A100 2020 | 40 или 80 ГБ | Обучение и дообучение средних моделей; университеты и лаборатории. | Предыдущее поколение, нет FP8. |
| H100 2022 | 80 ГБ (NVL: 94 ГБ) | Обучение, файнтюнинг, быстрый инференс. | Дорого в Казахстане; действует экспортный контроль США. |
| H200 2024 | 141 ГБ | Модель 70B на одной карте, постоянная нагрузка, компании с данными внутри страны. | Дорого; у местных провайдеров мощности ограничены. |
| B200 2025 | 180–192 ГБ | Обучение крупных моделей и крупный инференс. | Дефицит, дорого, нужно мощное охлаждение. |
| B300 2025–26 | 288 ГБ | Самые большие модели. | Дефицит; в Казахстане предложений не нашли. |
| DGX Spark мини-ПК, 2025 | 128 ГБ общей памяти | Разработчики и прототипы у себя в офисе. | Медленная память, не для продакшена. |
Цена сильно зависит от срока. Цены местных дата-центров в Казахстане (октябрь 2026) почасово и помесячно различаются примерно вдвое: для H100 около $12 в час при почасовой оплате против около $6 в час при месячном договоре. Это справочная информация, а не предложение Hostmatch: реальную цену задаст подобранное предложение.
Прежде чем арендовать
Нужна ли вам вообще аренда GPU?
Иногда честный ответ — нет. Вот альтернативы и случаи, когда каждая подходит.
AMD MI300X / MI325X / MI355X
Серверные карты с 192–288 ГБ памяти на карту. Подходят для инференса больших моделей. Программы (ROCm) слабее CUDA, готовых решений меньше.
Apple Mac mini / Mac Studio
Тихий локальный инференс в офисе с малым энергопотреблением. Медленнее NVIDIA, нет CUDA, не для обучения.
Своё железо
Имеет смысл при постоянной долгой нагрузке и строгих требованиях к данным. Крупные затраты сразу, обслуживание и MLOps-инженер для эксплуатации.
API с оплатой за запросы
Готовые открытые модели, оплата за запросы, а не за карту. Отлично для прототипов и лёгкого инференса. Свою дообученную модель запустить сложнее, а данные уходят за рубеж.
Бесплатные кредиты облаков
Крупные облака дают $200–300 при регистрации. Подходит студентам и первым экспериментам. Разово и быстро заканчивается.
Hostmatch
Аренда на часы или дни на серверах в Казахстане, один договор, одна поддержка. Лучше всего для коротких задач и данных, которые должны остаться в стране.
Кому что нужно
Типовые задачи и подходящая карта.
| Кто | Задача | Карта | Как обычно платят |
|---|---|---|---|
| Стартап с небольшими моделями | Дообучение LoRA, инференс 7–13B | RTX 4090 или 5090, 24–32 ГБ | По факту, от часов до дней |
| Разработчик речевых и языковых моделей | Распознавание и синтез речи, LoRA | RTX 5090, RTX PRO 6000 | По факту, около $15–20 в сутки |
| Видеоаналитика | Распознавание на камерах круглосуточно | L4, L40S, H100 или H200 | Месячная подписка |
| Университеты и лаборатории | Обучение и файнтюнинг под грант | A100, H100 | 1–2 месяца, часто ночные часы |
| Госсектор | Свои языковые модели, данные в стране | H100, H200, кластеры | Официальный запрос и договор |
| Банки со своим железом | Инференс внутри компании | DGX Spark, H200 | Покупка железа плюс настройка |
| Прототип на готовых моделях | Лёгкий инференс, OCR | Карта не нужна: используйте API | Подписка от около $9 в месяц |
Простое правило: разовые задачи на малых моделях идут на дешёвые карты с оплатой по факту. Постоянная нагрузка и данные, которые должны остаться в стране, — на серверные карты с месячной подпиской.
Глоссарий
Термины GPU и ИИ простым языком.
Ничего не найдено. Попробуйте другое слово или напишите нам.
Всё ещё не уверены?
Не гадайте.
Опишите задачу простыми словами. Модель GPU, количество и время мы подберём сами и пришлём подобранные предложения в течение одного рабочего дня.
Объёмы памяти и правила расчёта — общеизвестные характеристики, приблизительные. Перед долгим запуском проверьте точные цифры для вашей модели.