Компания Alibaba Cloud анонсировала свою новую систему Aegaeon, которая обещает значительно уменьшить количество видеокарт Nvidia, необходимых для работы с AI-моделями — почти в пять раз. Данный инновационный подход направлен на решение одной из ключевых проблем облачных сервисов: неэффективного распределения вычислительных ресурсов среди множества моделей, которые загружаются нерегулярно. В традиционных системах лишь несколько моделей, такие как Qwen или DeepSeek, постоянно загружены, в то время как остальные остаются неиспользованными, занимая ценные GPU. Aegaeon же позволяет динамически перераспределять ресурсы, переключая ускорители между моделями в реальном времени. Теперь один GPU способен обслуживать до семи моделей одновременно, в отличие от прежних двух или трех, а задержки при переключении задач сократились на 97%. Система уже внедрена на маркетплейсе Bailian, где размещено множество AI-моделей от сторонних разработчиков. Эксперты считают, что Aegaeon может стать важным шагом к более эффективному и доступному AI, особенно в условиях нехватки мощных GPU.