Un nuevo marco para promover la educación – Google AI Blog

Ya sea que se trate de un profesional que perfecciona sus habilidades o de un niño que aprende a leer, los entrenadores y educadores desempeñan un papel clave al evaluar la respuesta del alumno a una pregunta en un contexto determinado y guiarlo hacia una meta. Estas interacciones tienen características únicas que las distinguen de otras formas de diálogo, pero no están disponibles cuando los alumnos practican solos en casa. En el campo del procesamiento del lenguaje natural, este tipo de capacidad no ha recibido mucha atención y es un desafío tecnológico. Nos propusimos explorar cómo podemos usar el aprendizaje automático para evaluar las respuestas de una manera que facilite el aprendizaje.

En este blog, presentamos una importante capacidad de comprensión del lenguaje natural (NLU) llamada Evaluación del lenguaje natural (NLA) y discutimos cómo puede ser útil en el contexto de la educación. Mientras que las tareas típicas de NLU se centran en la intención del usuario, NLA permite la evaluación de una respuesta desde múltiples perspectivas. En situaciones en las que un usuario quiere saber qué tan buena es su respuesta, NLA puede ofrecer un análisis de qué tan cerca está la respuesta de lo esperado. En situaciones en las que puede no haber una respuesta «correcta», NLA puede ofrecer información sutil que incluye actualidad, relevancia, verbosidad y más. Formulamos el alcance de NLA, presentamos un modelo práctico para llevar a cabo NLA de actualidad y mostramos cómo se ha utilizado NLA para ayudar a los solicitantes de empleo a practicar cómo responder preguntas de entrevistas con la nueva herramienta de preparación de entrevistas de Google. Calentamiento de la entrevista.

Descripción general de la evaluación del lenguaje natural (NLA)

El objetivo de NLA es evaluar la respuesta del usuario frente a un conjunto de expectativas. Considere los siguientes componentes para un sistema NLA que interactúa con los estudiantes:

  • Una pregunta presentado al estudiante
  • Expectativas que definen lo que esperamos encontrar en la respuesta (p. ej., una respuesta textual concreta, un conjunto de temas que esperamos que cubra la respuesta, concisión)
  • Una respuesta proporcionado por el estudiante
  • Un resultado de evaluación (por ejemplo, corrección, falta de información, comentarios demasiado específicos o generales, estilo, pronunciación, etc.)
  • [Optional] un contexto (p. ej., un capítulo de un libro o un artículo)

Con NLA, tanto las expectativas sobre la respuesta como la evaluación de la respuesta pueden ser muy amplias. Esto permite interacciones profesor-alumno que son más expresivas y sutiles. Aquí hay dos ejemplos:

  1. Una pregunta con una respuesta correcta concreta: Incluso en situaciones en las que hay una respuesta correcta clara, puede ser útil evaluar la respuesta de manera más sutil que simplemente correcta o incorrecta. Considera lo siguiente:

    Contexto: Harry Potter y la Piedra Filosofal
    Pregunta: «¿Qué es Hogwarts?»
    Expectativa: “Hogwarts es una escuela de Magia y Hechicería” [expectation is given as text]
    Responder: “No estoy exactamente seguro, pero creo que es una escuela”.

    Es posible que a la respuesta le falten detalles destacados, pero etiquetarla como incorrecta no sería del todo cierta o útil para un usuario. NLA puede ofrecer una comprensión más sutil, por ejemplo, identificando que la respuesta del alumno es demasiado general y también que el alumno no está seguro.

    Ilustración del proceso NLA desde la pregunta de entrada, la respuesta y la expectativa hasta el resultado de la evaluación.

    Este tipo de evaluación sutil, además de notar la incertidumbre que expresó el estudiante, puede ser importante para ayudar a los estudiantes a desarrollar habilidades en entornos conversacionales.

  2. Expectativas de actualidad: Hay muchas situaciones en las que no se espera una respuesta concreta. Por ejemplo, si a un estudiante se le hace una pregunta de opinión, no hay una expectativa textual concreta. En cambio, existe una expectativa de relevancia y opinión, y tal vez cierto nivel de concisión y fluidez. Considere la siguiente configuración de práctica de entrevista:

    Pregunta: «¿Cuéntame un poco sobre ti?»
    Expectativas: (un conjunto de temas)
    Responder: «Vamos a ver. Crecí en el valle de Salinas en California y fui a Stanford, donde me especialicé en economía, pero luego me entusiasmé con la tecnología, así que a continuación…”.

    En este caso, un resultado de evaluación útil asignaría la respuesta del usuario a un subconjunto de los temas cubiertos, posiblemente junto con un marcado de qué partes del texto se relacionan con qué tema. Esto puede ser un desafío desde la perspectiva de la PNL, ya que las respuestas pueden ser largas, los temas se pueden mezclar y cada tema por sí solo puede tener múltiples facetas.

Un modelo NLA de actualidad

En principio, NLA de actualidad es una tarea estándar de múltiples clases para la cual uno puede entrenar fácilmente a un clasificador utilizando técnicas estándar. Sin embargo, los datos de capacitación para tales escenarios son escasos y sería costoso y llevaría mucho tiempo recopilarlos para cada pregunta y tema. Nuestra solución es dividir cada tema en componentes granulares que se pueden identificar utilizando modelos de lenguaje grandes (LLM) con una sintonía genérica sencilla.

Asignamos cada tema a una lista de preguntas subyacentes y definimos que si la oración contiene una respuesta a una de esas preguntas subyacentes, entonces cubre ese tema. Para el tema “Experiencia” podríamos elegir preguntas subyacentes como:

  • ¿Donde trabajaste?
  • ¿Qué estudiaste?

Mientras que para el tema «Intereses» podríamos elegir preguntas subyacentes como:

  • ¿En que estas interesado?
  • ¿Qué es lo que le gusta hacer?

Estas preguntas subyacentes se diseñan a través de un proceso manual iterativo. Es importante destacar que, dado que estas preguntas son suficientemente granulares, los modelos de lenguaje actuales (ver detalles a continuación) pueden capturar su semántica. Esto nos permite ofrecer una configuración de tiro cero para la tarea de actualidad de NLA: una vez capacitado (más información en el modelo a continuación), es fácil agregar nuevas preguntas y nuevos temas, o adaptar temas existentes modificando su expectativa de contenido subyacente sin necesidad. para recopilar datos específicos del tema. Vea a continuación las predicciones del modelo para la oración “He trabajado en el comercio minorista durante 3 años” para los dos temas descritos anteriormente:

Un diagrama de cómo el modelo utiliza las preguntas subyacentes para predecir el tema que probablemente cubrirá la respuesta del usuario.

Dado que coincidió una pregunta subyacente para el tema «Experiencia», la oración se clasificaría como «Experiencia».

Aplicación: ayudar a los solicitantes de empleo a prepararse para las entrevistas

Calentamiento de la entrevista es una nueva herramienta desarrollada en colaboración con buscadores de empleo para ayudarlos a prepararse para entrevistas en campos de empleo de rápido crecimiento, como soporte de TI y diseño de UX. Permite a los solicitantes de empleo practicar respondiendo preguntas seleccionadas por expertos de la industria y sentirse más seguros y cómodos con las entrevistas. A medida que trabajábamos con personas que buscaban trabajo para comprender sus desafíos al prepararse para las entrevistas y cómo una herramienta de práctica de entrevistas podría ser más útil, inspiró nuestra investigación y la aplicación de NLA de actualidad.

Construimos el modelo NLA de actualidad (una vez para todas las preguntas y temas) de la siguiente manera: entrenamos un modelo T5 de solo codificador (EncT5 arquitectura) con 350 millones de parámetros en datos de Preguntas-Respuestas para predecir la compatibilidad de un <underlying question, answer> par. Nos basamos en datos de EQUIPO 2.0 que fue procesado para producir <question, answer, label> trillizos.

En la herramienta de calentamiento de la entrevista, los usuarios pueden cambiar entre los puntos de conversación para ver cuáles se detectaron en su respuesta.

La herramienta no califica ni juzga las respuestas. En cambio, permite a los usuarios practicar e identificar formas de mejorar por su cuenta. Después de que un usuario responde a una pregunta de la entrevista, su respuesta se analiza oración por oración con el modelo Topicality NLA. Luego pueden cambiar entre diferentes puntos de conversación para ver cuáles se detectaron en su respuesta. Sabemos que existen muchos peligros potenciales al señalar a un usuario que su respuesta es «buena», especialmente porque solo detectamos un conjunto limitado de temas. En cambio, mantenemos el control en manos del usuario y solo usamos ML para ayudar a los usuarios a hacer sus propios descubrimientos sobre cómo mejorar.

Hasta ahora, la herramienta ha tenido excelentes resultados ayudando a personas que buscan trabajo en todo el mundo, incluso en los EE. UU., y recientemente la hemos ampliado a África. Planeamos continuar trabajando con las personas que buscan trabajo para iterar y hacer que la herramienta sea aún más útil para los millones de personas que buscan nuevos trabajos.

Un cortometraje que muestra cómo se desarrollaron Interview Warmup y sus capacidades de NLA en colaboración con personas que buscan trabajo.

Conclusión

La evaluación del lenguaje natural (NLA) es una área de investigación tecnológicamente desafiante e interesante. Allana el camino para nuevas aplicaciones conversacionales que promueven el aprendizaje al permitir la evaluación matizada y el análisis de las respuestas desde múltiples perspectivas. Trabajando junto con las comunidades, desde buscadores de empleo y empresas hasta maestros y estudiantes, podemos identificar situaciones en las que NLA tiene el potencial de ayudar a las personas a aprender, participar y desarrollar habilidades en una variedad de temas, y podemos crear aplicaciones de manera responsable. que empoderan a los usuarios para evaluar sus propias habilidades y descubrir formas de mejorar.

Agradecimientos

Este trabajo es posible gracias a la colaboración de varios equipos de Google. Nos gustaría reconocer las contribuciones de los equipos de Google Research Israel, Google Creative Lab y Grow with Google, entre otros.

Fuente del artículo

Deja un comentario