Las empresas tecnológicas F5 y NVIDIA anunciaron una solución conjunta para optimizar la infraestructura de inferencia de inteligencia artificial (IA), con el objetivo de mejorar el rendimiento y reducir costos para las organizaciones que desarrollan o implementan modelos de IA en México.
La integración de F5 BIG-IP Next para Kubernetes con las DPUs NVIDIA BlueField-3 permite mejorar significativamente el desempeño de los sistemas de IA, optimizando el uso de las GPU y reduciendo la latencia en entornos de alta demanda.
De acuerdo con pruebas independientes de The Tolly Group, la solución conjunta logró:
- hasta 40% más rendimiento de tokens,
- 61% menos tiempo para generar el primer token,
- y 34% menos latencia en las solicitudes.
Estos avances permiten liberar recursos de CPU y enfocar las GPU en tareas de inferencia de alto rendimiento, sin necesidad de modificar los modelos existentes.
Además, la solución incorpora telemetría en tiempo real, enrutamiento inteligente y capacidades de seguridad y gobernanza, lo que permite a las organizaciones compartir infraestructura de GPU de manera segura y escalar sus operaciones de inteligencia artificial.
Con esta colaboración, F5 y NVIDIA buscan impulsar el desarrollo de “fábricas de IA” más eficientes y rentables, preparadas para la nueva generación de aplicaciones impulsadas por agentes de inteligencia artificial.
Dejar una Respuesta