Канадский стартап Taalas, основанный Любишей Байичем и его партнерами, вышел на рынок с революционным продуктом — чипом HC1, который включает в себя «захардкоженную» Llama 3.1 8B. Этот чип не просто загружает модель, а физически впаяна в кремний, что обеспечивает невероятную скорость обработки — 17 000 токенов в секунду на одного пользователя, что почти в десять раз быстрее решений на GPU, и при этом значительно снижает стоимость и расход энергии.

Ключевой особенностью подхода компании является полная специализация: вместо универсальных GPU, Taalas создает отдельные чипы для каждой модели. Это позволяет ускорить производство чипов, а архитектура сочетает память и вычисления на одном кристалле, устраняя необходимость в сложных технологиях охлаждения.

Несмотря на то, что «захардкоженная» Llama не является самой передовой на сегодняшний день, Taalas предлагает ее как бета-сервис для разработчиков, заинтересованных в быстром инференсе. Последние раунды финансирования принесли более $200 млн, из которых лишь небольшая часть была потрачена на развитие. В ближайшие месяцы ожидаются релизы новых моделей, которые могут составить конкуренцию таким гигантам, как Nvidia.