Запуск крупных языковых моделей локально всегда был сложной задачей. Система Grace-Hopper от Nvidia, состоящая из суперчипов, обещала стать идеальным решением, но стоила более €100,000. Однако я нашел предложение за €10,000 на Reddit, что привлекло мое внимание. Несмотря на сомнения, я купил это оборудование, которое ранее использовалось в серверных стойках, и переделал его на воздушное охлаждение. После множества трудностей, включая проблемы с температурой GPU, я смог запустить систему, способную обрабатывать модели с 235 миллиардами параметров. В результате, вся сборка обошлась в €9,000, что значительно дешевле стоимости одного H100. Теперь я обладаю мощным инструментом для работы с ИИ, преодолев множество препятствий на пути к его созданию.