Alibaba Cloud запускает Aegaeon для оптимизации использования GPU

Alibaba Cloud анонсировала запуск инновационной системы Aegaeon, которая может сократить потребность в видеокартах Nvidia почти в пять раз для обслуживания искусственного интеллекта. Эта новая технология направлена на решение одной из ключевых проблем облачных сервисов: неэффективного распределения вычислительных мощностей среди множества моделей, которые загружаются неравномерно. В традиционных системах лишь несколько моделей, таких как Qwen или DeepSeek, работают на полную мощность, в то время как остальные остаются неиспользуемыми, занимая дорогостоящие GPU. Aegaeon меняет этот подход, динамически перераспределяя ресурсы и переключая ускорители между моделями в реальном времени. Теперь один GPU может обслуживать до семи моделей одновременно, что значительно выше, чем ранее. При этом задержки при переключении задач сократились на 97%. Система уже активно используется на маркетплейсе Bailian от Alibaba Cloud, где размещены сотни AI-моделей. Эксперты уверены, что Aegaeon станет важным шагом к более устойчивому и экономичному искусственному интеллекту, особенно в условиях нехватки мощных GPU.