🧠 #03: Ministra artificial, determinismo y contratos millonarios

¡Hola prompters! 18 de Septiembre. Tercera newsletter sin fallar, cualquier pequeña racha se celebra! Esta semana Albania ha hecho algo que ni en las películas de ciencia ficción: nombrar a una IA como ministra. Mientras tanto, en el mundo técnico, alguien ha conseguido algo que parecía imposible: que los LLMs den siempre la misma respuesta. Y para cerrar, te cuento la historia de la startup que acaba de levantar 2.000 millones sin tener ni un producto.

Hoy saldrás de aquí sabiendo un poco mejor qué es la inferencia, un modelo determinista, y conocerás a una de las mujeres más importantes en el mundo de la IA actualmente. Vamos a ello.

>>> Tres noticias destacadas

🤖 Albania nombra como ministra anticorrupción a una IA
🔃 Consiguen que la inferencia de un LLM sea determinista
📈 Oracle y OpenAI firman contrato millonario… y la gente sospecha

>>> HistorIAs de la IA
👤 Quién es quién: Mira Murati: la mujer que creó ChatGPT y DALL·E

>>> Una herramienta
🛠 Perplexity. Cuando la IA y la búsqueda en internet se juntan

¨La IA nos va a quitar el trabajo a todos¨. Pues, si pensabas ser ministro o ministra de anticorrupción en Albania, ya te lo ha quitado. El primer ministro albanés, Edi Rama, presentó a Diella (que significa Sol, en albanés), un asistente virtual creada y gobernada por una Inteligencia Artificial, que se encargará de supervisar contrataciones públicas y licitaciones. En palabras de Edi Rama el pasado 11 de Septiembre cuando presentó el nuevo gabinete de su nuevo mandato, Diella “hará de Albania un país donde las licitaciones públicas serán 100% libres de corrupción”. Y parece que trabajo no le va a faltar, y es que una de las principales causas por las que Albania no ha conseguido adherirse aún a la Unión Europea es precisamente la poca transparencia de su administración y las sospechas de corrupción.

La verdad es que el nombramiento es llamativo, pero genera más dudas que respuestas. Por ejemplo:

¡Hola! ¿Sigues ahí? ¡Lée aquí! Perdón por ponerme intenso, pero es que esta noticia me parece interesante, pero he sido incapaz de poner un título más atractivo, y me daba miedo que te la saltaras 😇. El titular original de post que os traigo aquí “Defeating Non-Determinism in LLM inference” y, si hace falta saber unos cuantos conceptos para entender el título, no digo ya el contenido del post… Pero voy a intentar resumir aquí de qué trata y por qué es importante, con un par de ejemplos menos técnicos 🤓.

Lo primero, destripemos el titular:

Es decir, imagina que preguntas “¿Qué día nació Isaac Newton?” en el ChatGPT de tu móvil. Es como si en un examen, tú fueses el examinador, la pregunta fuese el examen y el alumno fuese el LLM (GPT-5 por ejemplo, o Nano Banana si el examen fuese de arte y lo tocase pintar). El entrenamiento del modelo sería el tiempo que ha estado en su casa estudiando el alumno, y la inferencia sería proceso de respuesta el día de examen (el alumno rellenando el examen). Si la respuesta siempre fuera la misma, el proceso sería determinista. Es decir, si le preguntáramos 1000 veces a ChatGPT ¿Qué día nació Isaac Newton?, y todas las veces nos respondiera, exactamente, palabra por palabra (token por token): “El 4 de Enero de 1643”, entonces podríamos decir que la inferencia de ese modelo es determinista. El problema es que a lo mejor una vez te responde “El 4 de Enero”, otra “4 de enero de 1643”, otra “Newton nació un 4 de Enero del año 1643”… aunque similares, no son exactamente iguales, por lo que no sería determinista.

Ahora que entendemos el titular. ¿Cuál es realmente la noticia? Pues resulta que el autor del post, Horace He (un investigador en IA que sabe bastante del tema) publicó hace unos días en un blog la razón por la que la inferencia de los LLM no es determinista, y ha mostrado cómo conseguir que sí lo sea.

Y uno podría pensar que si el modelo responde en base a cómo de probable será la siguiente palabra ¿no se podría obligar a que siempre elija la siguiente palabra? Sí y no. A eso se le llama “temperatura”, y si la temperatura es 0, básicamente le estás diciendo justo eso, que elija la palabra más probable siempre. Pero aun así, se pensaba que la temperatura nunca podía ser 0.0, y que la inferencia nunca es 100% determinista.

Una de las razones es por errores de redondeo, “floating point errors”. Y es que, en computación, a + (b + c) ≠ (a + b) + c, debido a la precisión a la que se pueden realizar operaciones matemáticas (por ejemplo, si a = 1.0 , b = 1e20 y c = - 1e20, entonces a + (b + c) = 1.0, pero (a + b) + c = 0.

Pero el problema principal no es exclusivamente redondeo. Es la manera en la que las GPUs hacen sus miles de millones de operaciones en paralelo. Para ser más eficientes, estas operaciones se agrupan en lotes, y esta agrupación por lotes es la que causa estas pequeñas variaciones que hacen que al final la probabilidad de un resultado y otro varíe con cada inferencia.

Un ejemplo para entenderlo mejor: A ti te sale la tortilla de patatas perfecta 👩‍🍳 . Usas la misma receta, los mismo tiempos, misma sartén… tu tortilla es determinista (buena frase para decírsela a tus próximos comensales). Pero si tienes que hacer 3 tortillas a la vez, ya ni serán iguales entre ellas ni estarán igual de ricas que cuando sólo tienes que hacer una tranquilamente. Las cantidades de la receta cambian, la temperatura del aceite no es la misma, la patata se dorará menos… Este es el problema actual en la inferencia. Cuando pides a ChatGPT algo, no hay un servidor con una GPU con un núcleo haciendo esa respuesta únicamente para tí: las respuestas se agrupan en batches (en lotes), y el proceso de inferencia se realiza sobre esos lotes. La respuesta que te de, dependerá del lote en el que esté su petición, y las características del lote (qué GPUs, cuántas se usen, qué operaciones necesiten, temperatura, voltajes, orden en que la operación se ha colocado en memoria, etc).

En conclusión, Horace He anima a los investigadores a no rendirse ante el no determinismo de las LLM, y que trabajen para conseguir que un modelo te conteste lo mismo siempre que tú quieras que así sea. Él ha demostrado que se puede conseguir, y sólo hace falta ahora trabajar para que el coste de elegir esta opción no sea tan elevado. Aunque parezca un tecnicismo, conseguir que la IA te dé exactamente siempre la misma respuesta tiene una importancia enorme: se podría controlar mejor su entrenamiento, su validación en respuestas objetivas y se conseguiría más precisión.

Las matemáticas no cuadran, y Wall Street está con la mosca detrás de la oreja. OpenAI acaba de firmar un acuerdo con Oracle de 300.000 millones de dólares a cinco años (60.000 millones anuales) para infraestructuras de computación, servidores y energía. Y a eso súmale otros 10.000 millones ya comprometidos con Broadcom para chips personalizados. El problema: sus ingresos anuales son de "solo" 10.000 millones.

Oracle se disparó un 40% en bolsa tras el anuncio, con su mayor subida en un día desde 1992, añadiendo 140.000 millones a su valoración de mercado. Pero los analistas no se están tragando la película entera. Algunos ven este acuerdo como una jugada desesperada de dos empresas para inflar artificialmente sus valoraciones: OpenAI demuestra que tiene "hambre de escala" (y por tanto potencial futuro), mientras Oracle se reposiciona como player relevante en IA frente a AWS, Google Cloud y Azure.

Como parte del acuerdo, Oracle tendrá que mover montañas (literalmente, construir centrales eléctricas o nucleares) para hacer funcionar 4.5 Gigavatios de potencia de cálculo (capacidad suficiente para iluminar varios millones de hogares 😮 ).

Wall Street celebra ahora, pero para muchos esto se parece sospechosamente a un comportamiento típico de burbuja.

Si te pido que me digas una mujer famosa relacionada con “Albania”, a lo mejor se te ocurre Dua Lipa, o, si tienes ya cierta edad, la Madre Teresa de Calcuta. Pero quizá aún no sepas quién es Mira Murati. ¡Tranquilo! Para eso está esta sección 🤓 .

Mira Murati (Vlorë, Albania, 1988) es conocida principalmente por haber liderado los equipos de desarrollo de ChatGPT y DALL·E. Pero su carrera, aunque corta, por lo joven que es, tiene muchos más hitos. Con 25 años ya era product manager en Tesla del Model X. Pero, como ella misma dijo en una entrevista, lo que realmente le interesaba era la inteligencia general, aunque aún no estaba claro en esa época que se fuese a conseguir.

En 2018 entró a OpenAI como “VP of Applied AI”, y en 2023 ya era la Directora de Tecnología (CTO) de la empresa. Para entonces, ya había liderado el desarrollo de productos que os sonarán, como DALL·E (modelo de generación de imágenes del que hablaremos en otro post) y ChatGPT (de éste no hay que hablar, yo creo…).

Un dato curioso: en Noviembre de 2023 fue nombrada la CEO interina de OpenAI tras la decisión de la junta ejecutiva de echar a Sam Altman. Duró en el cargo apenas unos días, no porque hiciera nada mal, sino porque tras el revuelo que se montó en OpenAI por echar a Sam Altman, la junta no tuvo más remedio que readmitirlo a los pocos días (lo que pasó en OpenAI esas semanas es un drama que da para película, no, en serio, es que ya están rodando una película, “Artificial” basada en la historia de OpenAI, y protagonizada por Andrew Garfield).

La aventura profesional de Mira en OpenAI acabó en Octubre de 2024, cuando ella misma decide abandonar OpenAI para dedicarse a emprender un proyecto por separado. Y pocos meses después, en Febrero de 2025, anunció la creación de Thinking Machine Labs. Y ojo, que viene dato récord: aunque aún no se sabe muy bien qué están construyendo o desarrollando, Thinking Machine Labs ya ostenta el récord de la startup que más dinero ha recaudado en una ronda semilla de financiación: 2.000 millones de dólares (el doble del presupuesto anual del Real Madrid), llevando a la empresa a una valoración de 10.000 millones de dólares (lo mismo que vale el equipo de Los Ángeles Lakers, por ejemplo) sin haber demostrado aún absolutamente nada.

Muchos dicen que estas cantidades desorbitadas son una muestra más de la burbuja de la IA, donde una compañía puede levantar una ronda de financiación de 2000 millones de dólares , no ya sin tener un track record de resultados sino sin tener ni un solo producto en mercado. Claro, que si te pones a mirar qué equipo hay detrás de Thinking Machine Labs, verás que no “solo” está Mira Murati. La nueva startup está plagada de ex miembros de OpenAI (incluido John Schulman, uno de sus cofundadores), y creadores de herramientas y productos tan importantes como Mistral, Pytorch, Character.ai, Segment Anything… No sé si lo que traman es digno de 2000 millones de dólares de inversión inicial, pero seguro que algo están haciendo… en poco tiempo veremos qué.

¡Por cierto! Uno de estos empleados cracks es de hecho Horace He, el autor del post donde habla sobre el determinismo de los modelos de lenguaje, que ha inspirado la segunda noticia del mail de hoy. Y, para cerrar el círculo, el blog en que mencioné que escribió ese post es justamente el nuevo blog que ha estrenado Thinking Machine Labs 🤯 , en el que dicen quieren hacer la investigación en IA más accesible y entendible.

¿Eres de los que busca información casi más en ChatGPT que en Google? O cuando buscas en Google, ¿te sirve con el resultado que te da Gemini antes de los típicos enlaces, porque no vas a estar entrando en varios para comprobar? Si es así, Perplexity te puede resultar muy útil.

Perplexity es un chatbot conversacional que busca en internet en tiempo real antes de responderte ¿La diferencia con Google? Que en lugar de darte 10 enlaces azules, te da una respuesta directa citando fuentes. Es verdad que ahora los modelos ya incluyen “búsqueda en web” para completar la información que les faltaba por no estar incluida en su entrenamiento, y obviamente, ChatGPT, Gemini u otros son mejores en muchos aspectos.

Pero piensa en la típica búsqueda que haces en Google que sabes que vas a acabar con 17 pestañas abiertas y haciendo click en 25 links para reunir toda la información. Por ejemplo, organizar un viaje, buscar un nuevo fondo de inversión en el que invertir, recopilar bibliografía para un paper, o noticias de un suceso reciente en concreto. Además le puedes pedir que saque sus fuentes específicamente de redes sociales, documentos financieros o artículos académicos. Y con su función “Tareas” puedes programar que haga una búsqueda o una investigación y te la envío por correo de manera periódica.

¿Qué modelo usa Perplexity? A parte del suyo propio, basado en Llama, podrás elegir otros que estarán disponibles dependiendo de la suscripción. Por ejemplo con Perplexity Pro puedes usar GP5-Thinking, Grok 4 y o3. Modelos razonadores que te servirán para hacer investigaciones profundas.

La versión Pro de Perplexity son unos 20€/mes, pero están haciendo una promoción hasta fin de año que si te conectas con cuenta Paypal te regalan 12 meses. Yo no me llevo nada por contarlo, no es contenido patrocinado (aún no soy influencer, nadie me paga por promocionar 😥 ), pero puedes probarlo, a los 11 meses te das de baja, y habrás podido usarlo gratis todo ese tiempo. Seguro que le encuentras uso.

¿Los contras? A veces "sobre-busca" cuando la respuesta es obvia, y la calidad depende de lo que encuentre en internet (que no siempre es fiable). Y otra pega, esta más polémica, es que parece que Perplexity recopilaba parte de esta información sin permiso de webs que pedían no ser escaneadas por IAs para proteger su contenido.

En resumen: si eres de los que acaba con 25 pestañas abiertas buscando info, Perplexity te va a ahorrar tiempo y dolores de cabeza, controversias éticas aparte.

¿Qué te ha parecido el email de hoy? Si quieres poner un comentario, podrás ponerlo después de puntual el post 😀 .

🧠 🧠 🧠 🧠 🧠 ¡Alimento para la mente!
🧠 🧠 🧠 Tienes que pensarlo mejor
🧠 Han faltado neuronas