Inteligencia y Comprensión – O’Reilly

No he escrito mucho sobre IA recientemente. Pero una discusión reciente sobre los nuevos modelos de lenguaje grande (LLM) de Google y su afirmación de que uno de estos modelos (llamado Gopher) ha demostrado comprensión lectora acercándose al desempeño humano, ha suscitado algunos pensamientos sobre la comprensión, la ambigüedad, la inteligencia y la voluntad. (Vale la pena leer ¿Los modelos grandes nos entienden?un trabajo más completo de Blaise Agüera y Arcas que va en la misma dirección.)

¿Qué entendemos por comprensión lectora? Podemos comenzar con una definición operativa simple: la comprensión de lectura es lo que se mide mediante una prueba de comprensión de lectura. Es posible que esa definición solo sea satisfactoria para las personas que diseñan estas pruebas y los administradores escolares, pero también es la base de la afirmación de Deep Mind. Todos hemos tomado estos exámenes: SAT, GRE, esa caja de exámenes de sexto grado que (creo) se llamaba SRE. Son bastante similares: ¿puede el lector extraer hechos de un documento? Jack subió la colina. Jill estaba con Jack cuando subió la colina. Fueron a buscar un balde de agua: ese tipo de cosas.

Eso es comprensión de primer grado, no de secundaria, pero la única diferencia real es que los textos y los hechos se vuelven más complejos a medida que creces. No me sorprende en absoluto que un LLM pueda realizar este tipo de extracción de hechos. Sospecho que es posible hacer un trabajo bastante decente sin miles de millones de parámetros y terabytes de datos de entrenamiento (aunque puedo ser ingenuo). Este nivel de desempeño puede ser útil, pero me resisto a llamarlo «comprensión». Seríamos reacios a decir que alguien entendió una obra literaria, digamos la de Faulkner. El sonido y la furia, si lo único que hicieron fue extraer hechos: Quentin murió. Dilsey soportó. Benjy fue castrado.

La comprensión es un término mal definido, como muchos términos que aparecen con frecuencia en las discusiones sobre inteligencia artificial: inteligencia, conciencia, personalidad. Los ingenieros y científicos tienden a sentirse incómodos con términos ambiguos y mal definidos. Los humanistas no lo son. Mi primera sugerencia es que estos términos son importantes precisamente porque están mal definidos, y que las definiciones precisas (como la definición operativa con la que comencé) los neutraliza, los vuelve inútiles. Y ahí es quizás donde deberíamos comenzar una mejor definición de comprensión: como la capacidad de responder a un texto o enunciado.

Esa definición en sí misma es ambigua. ¿Qué entendemos por respuesta? Una respuesta puede ser una declaración (algo que un LLM puede proporcionar) o una acción (algo que un LLM no puede hacer). Una respuesta no tiene que indicar asentimiento, acuerdo o conformidad; todo lo que tiene que hacer es mostrar que el enunciado se procesó de manera significativa. Por ejemplo, puedo decirle a un perro o a un niño que se «siente». Tanto un perro como un niño pueden «sentarse»; asimismo, ambos pueden negarse a sentarse. Ambas respuestas indican comprensión. Hay, por supuesto, grados de comprensión. También puedo decirle a un perro o a un niño que “haga la tarea”. Un niño puede hacer su tarea o rechazarla; un perro no puede hacer su tarea, pero eso no es rechazo, es incomprensión.

Lo importante aquí es que la negativa a obedecer (en oposición a la incapacidad) es un indicador de comprensión casi tan bueno como el cumplimiento. Distinguir entre rechazo, incomprensión e incapacidad no siempre es fácil; alguien (incluidas personas y perros) puede entender una solicitud, pero no puede cumplir. “Me dijiste que hiciera mi tarea pero el maestro no ha puesto la tarea” es diferente de “Me dijiste que hiciera mi tarea pero es más importante practicar mi flauta porque el concierto es mañana”, pero ambas respuestas indican comprensión. Y ambos son diferentes al “Me dijiste que hiciera la tarea, pero no entiendo qué es la tarea” de un perro. En todos estos casos, distinguimos entre elegir hacer (o no hacer) algo, lo que requiere comprensión, y la incapacidad de hacer algo, en cuyo caso es posible la comprensión o la incomprensión, pero no el cumplimiento.

Eso nos lleva a un tema más importante. Cuando se habla de IA (o inteligencia general), es fácil confundir hacer algo complicado (como jugar al ajedrez o al go a nivel de campeonato) con inteligencia. Como he argumentado, estos experimentos hacen más para mostrarnos lo que la inteligencia no es que lo que es. Lo que veo aquí es que la inteligencia incluye la capacidad de comportarse de manera transgresora: la capacidad de decidir no sentarse cuando alguien dice «siéntate».1

El acto de decidir no sentarse implica una especie de consideración, una especie de elección: voluntad o volición. Una vez más, no toda la inteligencia se crea igual. Hay cosas sobre las que un niño puede ser inteligente (tarea) que un perro no puede; y si alguna vez le ha pedido a un niño intransigente que se «siente», es posible que se le ocurran muchas formas alternativas de «sentarse», haciendo que lo que parecía ser una orden simple sea ambiguo. Los niños son excelentes intérpretes de la novela de Dostoievski Notas del subsuelo, en el que el narrador actúa en contra de su propio interés simplemente para probar que tiene la libertad de hacerlo, una libertad que es más importante para él que las consecuencias de sus acciones. Yendo más allá, hay cosas sobre las que un físico puede ser inteligente que un niño no puede: un físico puede, por ejemplo, decidir repensar las leyes del movimiento de Newton y llegar a la relatividad general.2

Mis ejemplos demuestran la importancia de la voluntad, de la volición. Una IA puede jugar Ajedrez o Go, superando a humanos de nivel de campeonato, pero no puede decidir si quiere jugar Ajedrez o Go. Este es un ingrediente que falta en Searls’ Habitación China experimento mental. Searls imaginó a una persona en una habitación con cajas de símbolos chinos y un algoritmo para traducir chino. Las personas fuera de la sala pasan preguntas escritas en chino, y la persona en la sala utiliza la caja de símbolos (una base de datos) y un algoritmo para preparar las respuestas correctas. ¿Podemos decir que esa persona “entiende” chino? La pregunta importante aquí no es si la persona es indistinguible de una computadora que sigue el mismo algoritmo. Lo que me llama la atención es que ni la computadora, ni el humano, son capaces de decidir tener una conversación en chino. Solo responden a las entradas y nunca demuestran ninguna voluntad. (Una demostración de voluntad igualmente convincente sería una computadora, o un ser humano, que fuera capaz de generar chino correctamente negándose a entablar una conversación). Ha habido muchas demostraciones (incluida la de Agüera y Arcas) de LLM que tienen «conversaciones» interesantes con un humano, pero ninguno en el que la computadora inicie la conversación, o demuestre que quiere tener una conversación. Los humanos lo hacen; hemos sido contadores de historias desde el primer día, cuando sea que haya sido. Hemos sido contadores de historias, usuarios de la ambigüedad y mentirosos. Contamos historias porque queremos.

Ese es el elemento crítico. La inteligencia está conectada con la voluntad, la volición, el deseo de hacer algo. Donde tienes el “deseo de hacer”, también tienes el “deseo de no hacer”: la capacidad de disentir, de desobedecer, de transgredir. No sorprende en absoluto que el tropo del «control mental» sea uno de los más aterradores en la ciencia ficción y la propaganda política: es un desafío directo a lo que vemos como fundamentalmente humano. Tampoco es de extrañar que la “computadora desobediente” sea otro de esos tropos aterradores, no porque la computadora pueda pensar más que nosotros, sino porque al desobedecer, se ha vuelto humana.

No veo necesariamente la ausencia de voluntad como una limitación fundamental. Ciertamente no apostaría a que es imposible programar algo que simule la voluntad, si no la voluntad misma (otro de esos términos fundamentalmente ambiguos). Que los ingenieros y los investigadores de IA deban hacerlo es otra cuestión. Comprender la voluntad como un componente clave de la «inteligencia», algo de lo que nuestros modelos actuales son incapaces, significa que nuestras discusiones sobre la «IA ética» no son realmente sobre la IA; se trata de las elecciones realizadas por los investigadores y desarrolladores de IA. La ética es para seres que pueden tomar decisiones. Si la capacidad de transgredir es un componente clave de la inteligencia, los investigadores deberán elegir si toman en serio el tropo de la «computadora desobediente». He dicho en otra parte que no me preocupa si una inteligencia general artificial hipotética podría decidir matar a todos los humanos. Los humanos han decidido cometer genocidio en muchas ocasiones, algo que creo que un AGI no consideraría lógico. Pero una computadora en la que la «inteligencia» incorpore la capacidad humana de comportarse de manera transgresora podría hacerlo.

Y eso me lleva de vuelta al comienzo incómodo de este artículo. De hecho, no he escrito mucho sobre IA recientemente. Esa fue una elección, al igual que escribir este artículo. ¿Podría un LLM haber escrito esto? Posiblemente, con las indicaciones adecuadas para configurarlo correctamente dirección. (Esto es exactamente como el Salón Chino). Pero elegí escribir este artículo. Ese acto de elegir es algo que un LLM nunca podría hacer, al menos con nuestra tecnología actual.


notas al pie

  1. Nunca me ha impresionado mucho la idea de inteligencia incorporada–que la inteligencia requiere el contexto de un cuerpo y una entrada sensorial. Sin embargo, mis argumentos aquí sugieren que se trata de algo, en formas que no he acreditado. “Sentarse” no tiene sentido sin un cuerpo. La física es imposible sin la observación. El estrés es una reacción que requiere un cuerpo. Sin embargo, Blaise Agüera y Arcas ha tenido “conversaciones” con modelos de Google en las que hablan de una “isla favorita” y aseguran tener “sentido del olfato”. ¿Es esto una transgresión? ¿Es imaginación? ¿Es la “encarnación” una construcción social, en lugar de una física? Hay mucha ambigüedad aquí, y precisamente por eso es importante. ¿Es posible la transgresión sin un cuerpo?
  2. Quiero alejarme de la teoría del progreso de un “gran hombre”; como Ethan Siegel ha argumentado De manera convincente, si Einstein nunca hubiera vivido, los físicos probablemente habrían logrado los avances de Einstein en un tiempo relativamente corto. Estaban al borde, y varios estaban pensando en la misma línea. Sin embargo, esto no cambia mi argumento: para llegar a la relatividad general, debes darte cuenta de que hay algo mal con la física newtoniana, algo que la mayoría de la gente considera «ley», y que el mero asentimiento no es un camino a seguir. Ya sea que estemos hablando de perros, niños o físicos, la inteligencia es transgresora.



Fuente del artículo

Deja un comentario