Запуск больших языковых моделей на локальном уровне всегда был проблемой из-за высоких цен на оборудование. Однако мне повстречалась уникальная возможность — сервер Grace-Hopper по цене 10 тысяч евро. Это было удивительно, учитывая, что его компоненты стоят гораздо дороже. Я купил его у интернет-магазина, который продаёт модифицированное серверное оборудование. После долгого пути, я забрал систему и столкнулся с тем, что она была невероятно шумной и пыльной. Однако, после разборки и очистки, я решил модернизировать систему охлаждения. Я установил водяное охлаждение и собрал новую настольную систему. Несмотря на некоторые проблемы с электроникой и датчиками, мне удалось запустить оборудование и протестировать его производительность. В итоге, я получил мощную систему для работы с моделями на 235 миллиардов параметров, потратив на это около 9000 евро. Это было непросто, но результат того стоил!