Último éxito del grupo de IA de Google: Controlar un reactor de fusión

Último éxito del grupo de IA de Google: Controlar un reactor de fusión

Mientras el mundo espera la construcción del mayor reactor de fusión hasta la fecha, llamado ITER, siguen funcionando reactores más pequeños con diseños similares. Estos reactores, llamados tokamaks, nos ayudan a probar tanto el hardware como el software. Las pruebas de hardware nos ayudan a perfeccionar aspectos como los materiales utilizados para las paredes de los contenedores o la forma y ubicación de los imanes de control.

Pero podría decirse que el software es lo más importante. Para hacer posible la fusión, el software de control de un tokamak tiene que supervisar el estado del plasma que contiene y responder a cualquier cambio realizando ajustes en tiempo real en los imanes del sistema. Un fallo en este sentido puede provocar desde un descenso de la energía (que hace fracasar cualquier fusión) hasta ver cómo el plasma se derrama fuera de la contención (y calcina las paredes del contenedor).

Conseguir que el software de control sea correcto requiere un conocimiento detallado tanto de los imanes de control como del plasma que los imanes manipulan, o, sería más exacto decir, conseguir que el software de control sea correcto ha requerido. Porque hoy, el equipo de IA DeepMind de Google anuncia que su software ha sido entrenado con éxito para controlar un tokamak.

Fuera de control

El desarrollo del software de control de un tokamak es un proceso complicado. Basándose en experiencias anteriores con diseños similares, los ingenieros pueden extraer algunos de los principios básicos necesarios para que el software funcione, como qué entradas de sensores leer y cómo responder a los cambios en ellos. Pero siempre hay peculiaridades basadas en el diseño del hardware y las energías del plasma que se utiliza. Por consecuencia, tiende a haber un proceso iterativo de medición y modelado, seguido de ajustes en el proceso de control, todo el tiempo manteniendo el rendimiento suficiente para hacer ajustes en tiempo casi real.

El software de control resultante suele ser bastante especializado. Si los investigadores quieren experimentar con una geometría muy diferente para el plasma en el tokamak, puede ser necesaria una revisión significativa del software.

Los investigadores en este campo ya habían identificado la inteligencia artificial como una posible solución. Si se le dieran suficientes ejemplos a la IA, ésta podría averiguar qué configuraciones de control producen las propiedades deseadas en el plasma. Esto permitiría a la gente centrarse en el estado final deseado y dejar que el software lo produzca por ellos para poder estudiarlo. Una IA también debería ser más flexible; una vez entrenada en cómo controlar el sistema, debería ser capaz de producir configuraciones de plasma muy diferentes para su estudio sin necesidad de reprogramación.

Para avanzar en esta idea, sólo hacían falta expertos en IA y un tokamak. Para el nuevo trabajo, el equipo de IA procedía de la división DeepMind de Google, famosa por desarrollar software capaz de manejar cualquier cosa, desde el plegado de proteínas hasta StarCraft. El tokamak es cortesía del Swiss Plasma Center de la EPFL de Lausana.

Entrenado para fusionar

Dado que soltar la IA en el hardware real durante el proceso de entrenamiento podría ser un desastre, el equipo comenzó con un simulador de tokamak específico para el hardware del Centro Suizo de Plasma. Este simulador era muy preciso y programaron límites en la IA que le impedían dirigir el plasma hacia una configuración en la que el simulador produjera resultados inexactos. A continuación, DeepMind entrenó un programa de aprendizaje profundo por refuerzo para alcanzar una variedad de configuraciones de plasma dejándole controlar el simulador.

Durante el entrenamiento, una capa intermedia de software proporcionaba una función de recompensa que indicaba lo cerca que estaban las propiedades del plasma del estado deseado. Otro algoritmo, denominado “crítico”, aprendió las recompensas esperadas para varios cambios en los imanes de control del tokamak. La red neuronal de control la utilizó para aprender qué acciones debía realizar.

El crítico era elaborado y costoso computacionalmente, pero sólo se utilizaba durante la parte de entrenamiento. Una vez finalizado el entrenamiento, el algoritmo de control había aprendido qué acciones realizar para alcanzar una serie de estados, y el crítico podía ser descartado.

Para permitir el rendimiento en tiempo real, el controlador entrenado se incluyó como un ejecutable. El software de control estándar se utilizaría para activar el tokamak y llevar un plasma a altas energías. Una vez que el plasma era estable, se entregaba el control a la IA.

¡Funciona!

El software resultante funcionó más o menos como se querría que lo hiciera cuando se soltara en el hardware real. El software podía controlar los experimentos en diferentes condiciones a lo largo del tiempo: en un caso de prueba, aumentó la energía, mantuvo el plasma estable, modificó la geometría del plasma y lo reubicó en el tokamak antes de volver a reducir la energía. En otro caso, mantuvo dos estructuras de plasma separadas en el mismo tokamak simultáneamente.

Último éxito del grupo de IA de Google: Controlar un reactor de fusión

El documento que describe este trabajo tiene una larga lista de las cosas que los autores necesitaban. Esa lista incluye un simulador de tokamak lo suficientemente detallado como para ser preciso, pero lo suficientemente compacto como para proporcionar información lo suficientemente rápido como para hacer posible el aprendizaje por refuerzo. El conjunto de entrenamiento tenía que incluir tanto condiciones comunes similares a las que se le entregaba el control como condiciones inusuales que le permitieran aprender cómo hacer la transición a las configuraciones experimentales. Además, los investigadores tenían que desarrollar un software lo suficientemente detallado como para evaluar una enorme gama de opciones de control potenciales, pero también capaz de entrenar un controlador de rápido rendimiento que pudiera compilarse en un ejecutable.

Los responsables de este trabajo también están entusiasmados con lo que podría presagiar para el trabajo futuro. En vez de limitarse a modelar el hardware existente, indican que debería ser posible dar a una iteración de este software una configuración de plasma deseada y dejar que identifique la geometría del hardware que le permitirá crearla. También podría optimizar el rendimiento del hardware existente.

Ahora sólo tenemos que esperar un reactor de fusión digno de la atención de la IA.

Nature, 2022. 10.1038/s41586-021-04301-9.


[content-egg module=Youtube template=custom/simple]

Alberto Berrios

Alberto Berrios

Escribo sobre productos relacionados con el audio desde pequeños altavoces inalámbricos hasta grandes sistemas Hi-Fi. No comparo estos productos con otros, sino que muestro los puntos fuertes y débiles de cada dispositivo separado. Si quieres saber si un determinado producto merece la pena, ¡consulta una de mis reseñas antes de hacer la compra! Gracias por leer, hasta la próxima.

Elenbyte
Logo
Comparar artículos
  • Total (0)
Comparar
0