Продолжаем серию статей о тестах актуальных видеокарт от Nvidia, в этот раз на повестке дня — H100 с 80 ГБ видеопамяти. Вместо тренировок мы проведем тестирование с помощью gpu-burn, проверим возможности MIG (многоэкземплярного GPU) и зафиксируем результаты инференса на одной из наших сложных сетей. Хочу отметить, что H100 является довольно дорогой картой, стоимость которой в России достигает 3 миллионов рублей, что в два раза выше цены A100 на момент его выхода. Аренда такой видеокарты обойдется от 300 до 350 тысяч рублей в месяц.

Технология MIG позволяет разделять одну мощную видеокарту на несколько изолированных экземпляров, что обеспечивает независимое выполнение задач для различных клиентов. Однако в случае H100 есть ограничения: графические API не поддерживаются, а CUDA-приложения видят только одно MIG-устройство. На практике, несмотря на высокую стоимость, производительность карты может уступать более дешевым моделям, что вызывает вопросы о ее оптимизации для нейросетей. После тестирования выяснили, что H100 без MIG работает медленнее, чем RTX A5000 и 5090, что ставит под сомнение её эффективность без правильной настройки.