En 2015, el investigador Noam Brown y su equipo en la Carnegie Mellon University crearon Claudico, un bot de póker que perdió frente a jugadores profesionales.
Brown observó que los humanos, pese a haber jugado muchísimas menos manos, dedicaban tiempo a pensar antes de cada decisión, mientras que el bot respondía al instante.
Al incorporar «búsqueda en tiempo de inferencia» (test-time compute) —tiempo de cómputo para deliberar antes de actuar— el rendimiento se disparó: según el propio Brown, pensar 20 segundos equivalía a multiplicar el tamaño del modelo por 100.000 y entrenarlo 100.000 veces más.
Esa idea condujo a Libratus, que en enero de 2017 venció a cuatro de los mejores jugadores del mundo en 120.000 manos durante 20 días, y a Pluribus (2019), entrenado por menos de 150 dólares en 28 núcleos de CPU.
Años después, ya en OpenAI, Brown fue contribuidor fundacional de los modelos de razonamiento o1 (alias «Strawberry»), que aplican la misma lógica al lenguaje generando una cadena de pensamiento antes de responder.
El concepto enlaza con la distinción del psicólogo Daniel Kahneman entre Sistema 1 (rápido e intuitivo) y Sistema 2 (lento y deliberado).
La conclusión: el origen de la IA que «razona» no fue un modelo más grande, sino enseñar a la máquina a pensar antes de hablar.
Índice
Claudico, el bot que perdía siempre
Año 2015. Pittsburgh. Carnegie Mellon University.
Hay un chaval haciendo el doctorado. Se llama Noam Brown.
Y ojo al dato, porque tiene gracia: Noam nunca fue bueno jugando al póker.
El tío que iba a construir la máquina que humillaría a los mejores del mundo era un manta con las cartas en la mano.
¡Chisssparkk!
Ya sabrás, y si no lo sabes te lo voy a contar ahora, que la primera criatura que parió aquel laboratorio no se llamaba Libratus.
Se llamaba Claudico.
Y Claudico la palmó.
El primer intento serio de la CMU de hacer un bot sobrehumano de póker perdió contra los jugadores humanos. P+lmó. Klong. Puerta en las narices.
El detalle que nadie miraba en la mesa
Aquí viene lo importante.
Ponte recto en la silla.
Noam se puso a mirar QUÉ pasaba en aquella mesa. No los números gordos.
El detalle pequeño.
El que ignora todo el mundo.
Y vio una cosa rara.
Los humanos habían jugado muchísimas menos manos que la máquina en toda su vida. Tenían menos «entrenamiento», por decirlo en plata.
Pero antes de cada decisión, el humano se paraba.
Pensaba. Le daba vueltas.
¿Y el bot?
El bot disparaba al instante.
Sin pensar.
Tac, apuesto.
Tac, subo.
Como un yonki del gatillo.
¿Lo pillas, querid@ saltamont@?
La máquina tenía toda la sabiduría del mundo metida en la cabeza. Trillones de manos jugadas contra sí misma. Pero la escupía sin masticar.
Como el típico empollón que se sabe el temario de memoria y luego en la sala se queda blanco.
Papilla universitaria. Mucho título y cero pausa.
La pausa de veinte segundos que parecía un error
Entonces Noam hizo el experimento que cambió la historia.
Le metió al bot una cosa nueva: tiempo para pensar antes de mover ficha.
En la jerga se llama «búsqueda en tiempo de inferencia» o test-time compute.
En cristiano: que el cacharro se parase unos segundos a calcular jugadas en vez de vomitar la primera que le saliera.
Y entonces, ¡KRAZZPUM!
El resultado fue tan bestia que Noam pensó que se había roto algo.
Que un bot pensara solo veinte segundos en una mano daba el mismo subidón que multiplicar el tamaño del modelo por 100.000 y entrenarlo 100.000 veces más tiempo.
Léelo otra vez.
VEINTE SEGUNDOS.
Igual que un modelo CIEN MIL VECES más grande.
El propio Noam lo ha confesado: cuando obtuvo aquel resultado, literalmente pensó que era un bug.
H0stia.
Durante los tres primeros años de su doctorado había conseguido escalar aquellos modelos unas 100 veces.
Estaba orgulloso.
Había escrito varios papers sobre cómo hacerlo.
Y de repente se dio cuenta de que todo aquel trabajo iba a ser una nota a pie de página comparado con esto: enseñar a la máquina a pensar despacio.
¡Plofff!
Tres años currando en hacer el cerebro más grande.
Y descubres que lo que de verdad importaba era enseñarle a respirar antes de hablar.
De Claudico a Libratus: la revancha en el casino
Con esa idea bajo el brazo, Claudico se reencarnó.
Llegó Libratus.
Y Libratus ya no perdía.
En enero de 2017, en un casino de Pittsburgh, machacó a cuatro de los mejores jugadores del mundo en un cara a cara de 120.000 manos a lo largo de 20 días.
¡Swooomp!
Y como no había aprendido imitando a humanos, usaba jugadas que los profesionales ni se planteaban.
Trucos rarísimos, como inflar de golpe botes pequeñitos.
Tan buenos que los pros empezaron a copiarle a la máquina.
El alumno enseñando al maestro.
Pluribus por menos de 150 dólares
Dos años después, 2019, la cosa se puso seria de verdad con Pluribus. Ese ya ganaba en mesas de seis jugadores, que es muchísimo más difícil.
Y atención al detalle que te va a doler en el alma si alguna vez has pagado una factura de la nube.
Pluribus costó menos de 150 dólares de entrenar. Y corría en 28 núcleos de CPU. Una birria de ordenador.
¡Wrrrrrank!
No hizo falta un centro de datos del tamaño de un pueblo. No hizo falta quemar millones.
Hizo falta pensar mejor.
El truco viejo que nadie había llevado al lenguaje
Aquí me pongo honesto, que para eso estamos.
La idea de «pararse a pensar antes de mover» no la inventó Noam de la nada.
Venía de una tradición vieja en los bots de juegos. El TD-Gammon en el backgammon. Deep Blue cuando le ganó al ajedrez a Kaspárov. AlphaGo cuando reventó el Go.
Todos esos cacharros se paraban a calcular antes de mover.
Lo que hizo Noam fue medirlo. Entenderlo. Y luego, años después, llevarlo a un sitio donde NADIE pensaba que funcionaría: el lenguaje.
Y ahí, pequeño saltamontes, es donde esta historia de casino conecta con el móvil que llevas en el bolsillo.
Así nació la IA que razona: o1, Strawberry y el Sistema 2
Noam Brown acabó en OpenAI. Y fue uno de los contribuidores fundacionales de los modelos de razonamiento. Los famosos o1, alias «Strawberry».
¿Y qué hacen esos modelos? Exactamente lo de la mesa de póker.
En vez de escupir la primera respuesta, generan una cadena de pensamiento. Un «razonamiento» interno antes de contestar. Y cuanto más tiempo de cómputo les das para pensar, mejor responden.
La misma ley que en el póker. ¡Tsjjjjank!
Todo esto, por cierto, tiene padrino intelectual. Es la distinción del psicólogo Daniel Kahneman en «Pensar rápido, pensar despacio».
El Sistema 1: rápido, intuitivo, el del acto reflejo. El Sistema 2: lento, deliberado, el que se para a razonar.
Claudico era puro Sistema 1. Un gatillo fácil.
o1, ChatGPT cuando piensa, Claude cuando razona, Gemini cuando se lo curra. Todos esos son Sistema 2. Máquinas que aprendieron a callarse antes de abrir la boca.
Lo que esta historia te enseña a ti, pequeño saltamontes
Remato.
Porque esto no va de cartas.
Va de nosotros.
Durante años, toda la industria de la IA creyó en una sola religión: MÁS GRANDE. Más datos, más chips, más millones, más músculo.
La fuerza bruta como único dios.
El propio Noam llegó a decir que el progreso de la IA de los últimos años se resumía en una palabra: escala.
Y un día, un tío que era malísimo al póker demostró que pararse a pensar veinte segundos valía más que cien mil veces más cerebro.
¿No te suena de algo, querid@ saltamont@?
Yo me paso la vida diciéndolo en este oficio.
El que dispara primero y piensa después la caga.
El despido escupido sin pensar.
La carta enviada en caliente.
La decisión tomada con el gatillo del Sistema 1.
Resulta que hasta las máquinas han aprendido lo que a muchos humanos nos cuesta toda la vida.
Que la pausa no es debilidad.
Que pensar antes de mover no te hace más lento.
Te hace cien mil veces mejor.
Klong.
Todo el Flow y el amor del mundo, José MarIA.
Preguntas frecuentes
¿Es verdad que la IA que razona nació de un bot de póker?
En esencia, sí.
El origen de la idea está en la investigación de Noam Brown sobre bots de póker en la Carnegie Mellon University.
Descubrió que dar a la máquina tiempo para «pensar» antes de actuar (lo que se conoce como test-time compute o cómputo en tiempo de inferencia) mejoraba el rendimiento de forma brutal. Esa misma idea es la que años después, en OpenAI, dio lugar a los modelos de razonamiento como o1.
¿Quién es Noam Brown y qué pinta en esto?
Noam Brown es investigador de IA.
Cocreó los bots de póker Libratus y Pluribus durante su etapa en la CMU, trabajó después en Meta (donde desarrolló CICERO, la IA del juego Diplomacy) y hoy está en OpenAI, donde fue contribuidor fundacional de los modelos de razonamiento o1.
Curiosamente, él mismo reconoce que nunca fue buen jugador de póker.
¿Qué demonios es el «test-time compute»?
Es el tiempo y la potencia de cálculo que un modelo dedica a «pensar» en el momento de responder, en lugar de soltar la primera respuesta de forma instantánea.
Frente al enfoque clásico de hacer modelos cada vez más grandes (más entrenamiento), aquí la mejora viene de deliberar más antes de actuar.
Es exactamente lo que hace tu chatbot cuando ves que «está pensando» antes de contestar.
¿De verdad 20 segundos de pensar equivalen a un modelo 100.000 veces más grande?
Es la cifra que da el propio Noam Brown para dramatizar su hallazgo en el póker: pensar 20 segundos en una mano producía una mejora equivalente a multiplicar el tamaño del modelo por 100.000 y entrenarlo 100.000 veces más.
No es una ley universal aplicable a cualquier tarea, pero ilustra de forma demoledora por qué deliberar puede valer más que escalar a lo bruto.
¿Qué tiene que ver Kahneman con ChatGPT?
El psicólogo Daniel Kahneman popularizó la distinción entre Sistema 1 (pensamiento rápido, automático e intuitivo) y Sistema 2 (pensamiento lento, esforzado y deliberado) en su libro «Pensar rápido, pensar despacio».
Los modelos de IA que «razonan» son una analogía de ese Sistema 2: en vez de responder por reflejo, generan una cadena de pensamiento antes de dar la respuesta.
¿Esto significa que ya no hace falta entrenar modelos gigantes?
No exactamente.
El entrenamiento masivo sigue siendo la base sobre la que todo funciona.
Lo que demostró esta línea de trabajo es que añadir capacidad de deliberación en el momento de responder abre una segunda palanca de mejora, a veces más eficiente que seguir agrandando el modelo.
Es un «y además», no un «en lugar de».
¿Qué bot perdía exactamente, Claudico o Libratus?
El que perdió fue Claudico, el primer intento de la CMU (2015).
Libratus fue la versión posterior y mejorada que, ya con capacidad de búsqueda en tiempo real, venció a cuatro de los mejores jugadores del mundo en 2017.
Si alguien te cuenta que «el bot siempre perdía porque apostaba sin pensar», está mezclando las dos fases de la historia: el fracaso de Claudico y el descubrimiento que parió a Libratus.
Fuentes y referencias
Las afirmaciones de este post se han verificado contra las siguientes fuentes:
VentureBeat — «OpenAI scientist Noam Brown stuns TED AI Conference: 20 seconds of thinking worth 100,000x more data» (cifra de los 20 segundos = 100.000x y la frase «pensé que era un bug»).
JoltML — «Math-AI: Noam Brown & Panel» (NeurIPS 2024) (Claudico pierde, el insight de la pausa humana, Libratus, Pluribus por menos de 150 $ y 28 CPU, la tradición TD-Gammon/Deep Blue/AlphaGo).
MIT Technology Review — «Noam Brown, Innovators Under 35» (Brown no era buen jugador; Libratus vence a cuatro pros en 120.000 manos durante 20 días en Pittsburgh, enero de 2017).
Web personal de Noam Brown — noambrown.com (contribución fundacional a los modelos de razonamiento o1 / Strawberry; Libratus y Pluribus).
Carnegie Mellon University — SCS Katayanagi Distinguished Lecture (Noam Brown) (el rendimiento de o1 mejora con más cómputo de inferencia).
