Está surgiendo un patrón en el mundo de la infraestructura de IA: las herramientas populares de código abierto se están transformando en startups respaldadas por capital de riesgo con valoraciones de cientos de millones de dólares. El ejemplo más reciente es RadixArk, la empresa comercial detrás de SGLang, una herramienta cada vez más popular que ayuda a que los modelos de IA se ejecuten de forma más rápida y económica.
Según dos personas familiarizadas con el asunto, RadixArk fue valorada recientemente en aproximadamente 400 millones de dólares en una ronda de financiación liderada por Accel, una cifra notable para una startup que se anunció apenas en agosto pasado. No pudimos confirmar el monto de la financiación.
La noticia llega en un momento en que parte del equipo responsable del mantenimiento de SGLang, utilizada por empresas como xAI y Cursor para acelerar el entrenamiento de modelos de IA, se ha incorporado a la startup comercial recientemente lanzada. RadixArk se originó como SGLang en 2023 en el laboratorio de Ion Stoica, cofundador de Databricks, en la Universidad de Berkeley.
Según las mismas fuentes, la startup había recaudado previamente capital ángel de inversores, incluido Lip-Bu Tan, CEO de Intel.
Ying Sheng, una colaboradora clave de SGLang y exingeniera de xAI, dejó la startup de IA de Elon Musk para convertirse en cofundadora y CEO de RadixArk, según un anuncio que hizo en LinkedIn el mes pasado. Sheng fue anteriormente investigadora científica en Databricks.
Ying Sheng de RadixArk, Accel y Lip-Bu Tan no respondieron a la solicitud de comentarios.
Tanto SGLang como RadixArk se centran en optimizar el procesamiento de inferencia, lo que permite que los modelos se ejecuten de forma más rápida y eficiente en el mismo hardware. Junto con el entrenamiento de modelos, la inferencia representa una gran parte de los costos de servidor asociados con los servicios de IA. Como resultado, las herramientas que optimizan el proceso pueden generar enormes ahorros casi de inmediato.
RadixArk no es la única en realizar esta transición de proyecto de código abierto a startup bien financiada. vLLM, un proyecto más maduro para optimizar la inferencia, también ha dado el salto. La empresa recién formada ha mantenido conversaciones para recaudar más de 160 millones de dólares en financiación con una valoración de aproximadamente mil millones de dólares, según informó Forbes el mes pasado.
Tres personas familiarizadas con el acuerdo dijeron que Andreessen Horowitz está liderando la inversión en vLLM, aunque las cifras finales de la inversión aún están por confirmarse. Andreessen Horowitz se negó a hacer comentarios. El cofundador de vLLM, Simon Mo, calificó la información sobre esta ronda de financiación como «fácticamente inexacta» en un comunicado, aunque se negó a especificar qué detalles eran incorrectos.
Al igual que SGLang, vLLM se gestó en el laboratorio de Ion Stoica en la Universidad de California en Berkeley. Stoica, profesor de dicha universidad, es el reconocido cofundador de Databricks, además de otras empresas emergentes.
Varias grandes empresas tecnológicas ya utilizan vLLM para sus cargas de trabajo de inferencia, y SGLang también ha ganado una popularidad considerable en los últimos seis meses, según declaró Brittany Walker, socia general de CRV. Su firma no invirtió en ninguna de las dos empresas.
RadixArk continúa desarrollando SGLang como un motor de modelos de IA de código abierto. La startup también está desarrollando Miles, un marco especializado diseñado para el aprendizaje por refuerzo, que permite a las empresas entrenar modelos de IA para que mejoren con el tiempo.
Si bien la mayoría de sus herramientas siguen siendo gratuitas, RadixArk ha comenzado a cobrar por los servicios de alojamiento, según una persona familiarizada con la empresa.
Las startups que proporcionan infraestructura de inferencia para desarrolladores han experimentado un auge en la financiación en los últimos meses, lo que subraya la continua importancia de la capa de inferencia para la IA. Baseten obtuvo recientemente 300 millones de dólares con una valoración de 5 mil millones de dólares, según informó The Wall Street Journal el martes. Esto sigue a una operación similar de su competidora Fireworks AI, que recaudó 250 millones de dólares con una valoración de 4 mil millones de dólares en octubre pasado.
