Broadcom presentó el lunes un nuevo switch que podría permitir a los desarrolladores de modelos de IA entrenar modelos en GPU distribuidas en múltiples centros de datos con una distancia de hasta 100 kilómetros. Este switch podría sentar las bases para una alternativa a las enormes instalaciones que se están construyendo actualmente para impulsar el auge de la IA, permitiendo a las empresas conectar centros de datos distantes y con menor consumo de energía.

Con el nombre en código Jericho4, Broadcom afirma tener 51,2 Tb/s de ancho de banda agregado en los puertos de switch y fabric del ASIC. Si bien el chip puede funcionar como switch de red de escalamiento horizontal o vertical, Broadcom ofrece opciones de radix mucho mayor y menor latencia con sus aceleradores Tomahawk 6 o Ultra.

En cambio, Broadcom ha posicionado el chip para la interconexión entre centros de datos (DCI).

«Si está ejecutando un clúster de entrenamiento y desea expandirse más allá de la capacidad de un solo edificio, somos la única solución válida disponible», declaró Amir Sheffer, gerente asociado de línea de productos de Broadcom.

Cada Jericho puede configurarse con hasta ocho de lo que Broadcom denomina «hiperpuertos»: cuatro enlaces de 800 GbE que se comportan como un solo puerto de 3,2 Tb/s.

En comparación con el simple uso de la agregación de enlaces ECMP para conectar varios puertos de 800 GbE, Broadcom afirma que sus hiperpuertos pueden alcanzar una utilización de enlace un 70 % mayor.

El experto en silicio afirmó que los usuarios pueden escalar Jericho4 a configuraciones de hasta 36.000 hiperpuertos, lo que debería ser suficiente para conectar dos centros de datos a la impresionante velocidad de 115,2 petabits por segundo.

Eso supone suficiente ancho de banda para conectar 144 000 GPU, cada una a 800 Gbps, a un número igual en un centro de datos vecino sin cuellos de botella.

Históricamente, los operadores de centros de datos han empleado cierto grado de sobresuscripción en sus implementaciones de DCI, ya sea 4:1 u 8:1, y es probable que esto continúe siendo así, afirmó Sheffer.

Por muy beneficioso que parezca aliviar las limitaciones de potencia asociadas con las cargas de trabajo de entrenamiento de IA a gran escala al distribuirlas entre múltiples centros de datos, el ancho de banda no es el único factor. La latencia también influye.

Si bien los profundos búferes respaldados por HBM de Jericho4 y la tecnología de gestión de la congestión pueden ayudar con la latencia de cola causada por la pérdida de paquetes, no pueden cambiar el hecho de que la luz solo viaja a cierta velocidad a través de la fibra de vidrio.

En un tramo de 100 kilómetros, la latencia de ida y vuelta es de casi un milisegundo, sin tener en cuenta la latencia de los transceptores y la sobrecarga del protocolo.

Sin embargo, se está avanzando para mitigar el impacto de la latencia en las cargas de trabajo de entrenamiento distribuidas. A finales de enero, el equipo DeepMind de Google publicó un artículo titulado «Streaming DiLoCo with overlapping communication» (Transmisión de DiLoCo con comunicación superpuesta), en el que el gigante web detallaba un enfoque para la capacitación con baja comunicación.

La idea básica era crear grupos de trabajo distribuidos que no tuvieran que comunicarse entre sí con tanta frecuencia. Mediante el uso de la cuantificación y la programación estratégica de la comunicación entre los centros de datos, sugieren los investigadores, se pueden superar muchos de los desafíos de ancho de banda y latencia.

Jericho4, que actualmente está disponible para que grandes clientes lo prueben y puedan comenzar a diseñar dispositivos, llega en un momento en que los hiperescaladores y los proveedores de la nube inician la construcción de campus masivos de centros de datos de varios gigavatios. Estos clústeres son tan grandes que, en muchos casos, requieren la construcción de nuevas centrales eléctricas para respaldarlos. Meta, por ejemplo, contrató a Entergy para construir tres generadores de turbinas de combustión de ciclo combinado con una capacidad total de 2,2 gigavatios para alimentar su megaclúster de Richland Parish.

Con Jericho4, Broadcom ha presentado una alternativa. En lugar de construir un gran campus de centros de datos, las empresas de IA podrían construir varios centros de datos más pequeños y poner en común sus recursos.