Cómo Google fabrica chips en la nube personalizados que impulsan la IA de Apple y Gemini

Dentro de un enorme laboratorio en Google Con sede en Mountain View, California, cientos de bastidores de servidores zumban a lo largo de varios pasillos, realizando tareas mucho menos ubicuas que ejecutar el motor de búsqueda dominante en el mundo o ejecutar cargas de trabajo para los millones de clientes de Google Cloud.

En cambio, están ejecutando pruebas en los propios microchips de Google, llamados Unidades de Procesamiento Tensoriales o TPU.

Las TPU de Google, originalmente capacitadas para cargas de trabajo internas, han estado disponibles para los clientes de la nube desde 2018. En julio, Manzana reveló que utiliza TPU para entrenar modelos de inteligencia artificial que sustentan la inteligencia de Apple. Google también depende de las TPU para entrenar y ejecutar su chatbot Gemini.

“El mundo tiene la creencia fundamental de que toda la IA, los grandes modelos de lenguaje, se entrenan en NVIDIAy, por supuesto, Nvidia tiene la mayor parte del volumen de entrenamiento. Pero Google tomó su propio camino aquí”, dijo el director general de Futurum Group, Daniel Newman, que ha estado cubriendo los chips de nube personalizados de Google desde su lanzamiento en 2015.

Google fue el primer proveedor de la nube en fabricar chips de IA personalizados. Tres años después, Amazonas Web Services anunció su primer chip de IA en la nube, Inferentia. microsoftEl primer chip de IA personalizado de, Maia, no se anunció hasta finales de 2023.

Pero ser el primero en chips de IA no se ha traducido en un primer puesto en la carrera general de la IA generativa. Google enfrentó críticas por lanzamientos fallidos de productos y Gemini salió más de un año después del ChatGPT de OpenAI.

Google Cloud, sin embargo, ha ganado impulso debido en parte a las ofertas de IA. La empresa matriz de Google, Alphabet, informó que los ingresos de la nube aumentaron un 29 % en el trimestre más reciente, superando los 10 mil millones de dólares en ingresos trimestrales por primera vez.

“La era de la nube de IA ha reordenado por completo la forma en que se ven las empresas, y esta diferenciación del silicio, el propio TPU, puede ser una de las principales razones por las que Google pasó de la tercera nube a ser visto verdaderamente en paridad, y en algunos ojos, tal vez incluso por delante de las otras dos nubes por su destreza en IA”, afirmó Newman.

En julio, CNBC realizó el primer recorrido en cámara por el laboratorio de chips de Google y se sentó con el jefe de chips personalizados en la nube, Amin Vahdat. Ya estaba en Google cuando se planteó por primera vez la idea de fabricar chips en 2014.

“Todo comenzó con un experimento mental simple pero poderoso”, dijo Vahdat. “Varios clientes potenciales de la empresa se preguntaron: ¿Qué pasaría si los usuarios de Google quisieran interactuar con Google a través de la voz durante sólo 30 segundos al día? ¿Y cuánta potencia informática necesitaríamos para ayudar a nuestros usuarios?”

El grupo determinó que Google necesitaría duplicar la cantidad de computadoras en sus centros de datos. Entonces buscaron una mejor solución.

“Nos dimos cuenta de que podíamos construir hardware personalizado, no hardware de uso general, sino hardware personalizado (unidades de procesamiento tensorial en este caso) para soportar eso de manera mucho, mucho más eficiente. De hecho, un factor de 100 más eficiente de lo que hubiera sido de otra manera. “, dijo Vahdat.

Los centros de datos de Google todavía dependen de unidades centrales de procesamiento de propósito general, o CPU, y de las unidades de procesamiento de gráficos, o GPU, de Nvidia. Los TPU de Google son un tipo diferente de chip llamado circuito integrado de aplicación específica, o ASIC, que se construyen a medida para propósitos específicos. La TPU se centra en la IA. Google fabrica otro ASIC centrado en vídeo llamado Unidad de codificación de vídeo.

Google también fabrica chips personalizados para sus dispositivos, similar a la estrategia de silicio personalizado de Apple. El Tensor G4 impulsa el nuevo Pixel 9 con inteligencia artificial de Google, y su nuevo chip A1 impulsa los Pixel Buds Pro 2.

El TPU, sin embargo, es lo que distingue a Google. Fue el primero de su tipo cuando se lanzó en 2015. Las TPU de Google todavía dominan entre los aceleradores de IA en la nube personalizados, con el 58% de la cuota de mercado, según The Futurum Group.

Google acuñó el término basándose en el término algebraico “tensor”, en referencia a las multiplicaciones de matrices a gran escala que ocurren rápidamente en aplicaciones avanzadas de IA.

Con el segundo lanzamiento de TPU en 2018, Google amplió el enfoque de la inferencia a la capacitación y los puso a disposición de sus clientes de la nube para ejecutar cargas de trabajo, junto con chips líderes del mercado, como las GPU de Nvidia.

“Si se utilizan GPU, son más programables y más flexibles. Pero su oferta es escasa”, dijo Stacy Rasgon, analista senior de semiconductores en Bernstein Research.

El auge de la IA ha disparado las acciones de Nvidia, catapultando al fabricante de chips a una capitalización de mercado de 3 billones de dólares en junio, superando a Alphabet y compitiendo con Apple y Microsoft por posicionarse como la empresa pública más valiosa del mundo.

“Para ser sincero, estos aceleradores de IA especializados no son tan flexibles ni tan potentes como la plataforma de Nvidia, y eso es lo que el mercado también está esperando ver: ¿alguien puede jugar en ese espacio?” Dijo Newman.

Ahora que sabemos que Apple está utilizando las TPU de Google para entrenar sus modelos de IA, la verdadera prueba se producirá cuando esas funciones completas de IA se implementen en iPhones y Mac el próximo año.

No es poca cosa desarrollar alternativas a los motores de inteligencia artificial de Nvidia. La TPU de sexta generación de Google, llamada Trillium, saldrá a finales de este año.

“Es caro. Se necesita mucha escala”, dijo Rasgon. “Por lo tanto, no es algo que todos puedan hacer. Pero estos hiperescaladores tienen la escala, el dinero y los recursos para seguir ese camino”.

El proceso es tan complejo y costoso que ni siquiera los hiperescaladores pueden hacerlo solos. Desde la primera TPU, Google se asoció con Broadcomun desarrollador de chips que también ayuda Meta diseñar sus chips de IA. Broadcom dice que ha gastado más de 3 mil millones de dólares para hacer realidad estas asociaciones.

“Los chips de IA son muy complejos. Hay muchas cosas allí. Por eso Google trae la computación”, dijo Rasgon. “Broadcom hace todas las cosas periféricas. Hacen las E/S y los SerDes, todas las diferentes piezas que rodean esa computación. También hacen el empaquetado”.

Luego, el diseño final se envía para su fabricación en una planta de fabricación, o fábrica, principalmente aquellas propiedad del mayor fabricante de chips del mundo. Empresa de fabricación de semiconductores de Taiwánque fabrica el 92% de los semiconductores más avanzados del mundo.

Cuando se le preguntó si Google cuenta con alguna salvaguardia en caso de que suceda lo peor en la esfera geopolítica entre China y Taiwán, Vahdat dijo: “Ciertamente es algo para lo que nos preparamos y en lo que también pensamos, pero tenemos la esperanza de que en realidad no sea algo”. que vamos a tener que activar”.

Protegerse contra esos riesgos es la razón principal por la que la Casa Blanca está otorgando 52 mil millones de dólares en fondos de la Ley CHIPS a empresas que construyen fábricas en los EE. UU., y la mayor parte se destina a Intel, TSMC y Samsung hasta la fecha.

“Ahora podemos incorporar la última pieza del rompecabezas, la CPU”, dijo Vahdat. “Y muchos de nuestros servicios internos, ya sea BigQuery, Spanner, publicidad de YouTube y más, se ejecutan en Axion”.

Google llega tarde al juego de la CPU. Amazon lanzó su procesador Graviton en 2018. Alibaba lanzó su chip de servidor en 2021. Microsoft anunció su CPU en noviembre.

Cuando se le preguntó por qué Google no fabricó una CPU antes, Vahdat dijo: “Nuestro enfoque ha estado en dónde podemos ofrecer el mayor valor a nuestros clientes, y ahí ha estado comenzando con la TPU, nuestras unidades de codificación de video y nuestras redes. Realmente pensamos que ahora era el momento”.

Todos estos procesadores que no son fabricantes de chips, incluido el de Google, son posibles gracias Brazo arquitectura de chip: una alternativa más personalizable y de mayor eficiencia energética que está ganando terreno sobre el modelo x86 tradicional de Intel y AMD. La eficiencia energética es crucial porque, para 2027, se proyecta que los servidores de IA consumirán tanta energía cada año como un país como Argentina. El último informe medioambiental de Google mostró que las emisiones aumentaron casi un 50% entre 2019 y 2023, en parte debido al crecimiento de los centros de datos para impulsar la IA.

“Sin tener la eficiencia de estos chips, las cifras podrían haber terminado en un lugar muy diferente”, dijo Vahdat. “Seguimos comprometidos a impulsar estas cifras en términos de emisiones de carbono de nuestra infraestructura, 24 horas al día, 7 días a la semana, llevándolas hacia cero”.

Se necesita una gran cantidad de agua para enfriar los servidores que entrenan y ejecutan la IA. Es por eso que el TPU de tercera generación de Google comenzó a utilizar refrigeración directa al chip, que utiliza mucha menos agua. Así es también como Nvidia está enfriando sus últimas GPU Blackwell.

A pesar de los desafíos, desde la geopolítica hasta la energía y el agua, Google está comprometido con sus herramientas de inteligencia artificial generativa y con la fabricación de sus propios chips.

“Nunca había visto algo así y todavía no hay señales de que vaya a disminuir”, dijo Vahdat. “Y el hardware va a desempeñar un papel muy importante allí”.