La evolución del lenguaje natural en la computación

Si el lenguaje es un conjunto de signos, símbolos o sonidos usados para la comunicación, el lenguaje natural es aquel que se da de forma espontánea entre humanos y es una de nuestras primeras formas de inteligencia, que nos permitió crecer como sociedad. Asimismo, sentó las bases para el desarrollo de nuevas formas de comunicación, destacando los lenguajes formales como el usado en matemáticas o los protocolos de comunicación, como el lenguaje usado por las computadoras.

Los lenguajes naturales son complejos, irregulares y ambiguos, muy diferentes a la forma exacta y precisa en la que trabajan las computadoras. Por lo que es sumamente difícil que una computadora los pueda entender.

Hoy en día existe un área de la inteligencia artificial dedicada a darle a las computadoras la capacidad de interpretar el lenguaje usado por los seres humanos, dotándoles de la capacidad de entender la forma en que hablamos y escribimos. Esto se llama “entendimiento del lenguaje natural” (NLU por sus siglas en inglés de Natural Language Understanding), y que en los últimos años ha tenido un avance significativo que impactó de manera inesperada otras áreas del conocimiento.

Desde el comienzo de la inteligencia artificial se ha trabajado en el problema de NLU. En los años setentas y ochentas se dieron los primeros pasos que permitieron a los sistemas expertos trabajar con lenguajes formales y hacer algunas inferencias lógicas sobre bases de conocimiento.

En los años siguientes, la lógica difusa permitió trabajar con conceptos vagos como “hace mucho frio” o “esa persona es muy alta”. Esto permitía más flexibilidad al hacer inferencias sobre datos inexactos. Sin embargo, estos sistemas aún estaban lejos de entender propiamente el lenguaje natural.

Posteriormente, el aprendizaje automatizado permitió mejorar el desempeño de muchas tareas de NLU como transcribir voz a texto o clasificar intenciones en una oración. Pero no fue hasta el advenimiento del aprendizaje profundo cuando se mostró el verdadero potencial de la inteligencia artificial para NLU.

El 2017 fue un año de suma importancia, Google presentó la arquitectura para redes neuronales artificiales llamada Transformador. Se basa en un modelo de auto-atención que obtiene relaciones entre las palabras de una frase. Al entrenarse con una cantidad inmensa de texto pueden modelar un lenguaje en particular, logrando así tener una red artificial con la capacidad de entender el lenguaje humano.

Una ventaja de los Transformadores es tomar un modelo preentrenado y especializarlo en arquitecturas más complejas.

Si tomamos la parte del codificador ya entrenado y analizamos el texto de izquierda a derecha y viceversa, obtenemos la arquitectura Representaciones de codificadores bidireccionales para transformadores, llamada BERT (de las siglas en inglés Bidirectional Encoder Representations for Transformers). Hoy en día, obtienen los mejores resultados en tareas como clasificar texto y detectar intenciones.

Mientras que al colocar decodificadores de manera repetida conseguimos las arquitecturas de los Transformadores Generativos Preentrenados (llamadas GPT – Generative Pre-Train Transformer). GPT es actualmente la mejor técnica para generar texto, como se observa en el sitio web ChatGPT.

El desarrollo de estas técnicas han dotado a las computadoras de la capacidad de entender la forma en la que escribimos y hablamos. Esto les permite traducir texto, hacer análisis de sentimientos, moderar contenido en redes sociales, tener interfaces más intuitivas en base a voz/texto, etc.

El éxito de estas técnicas ha sido tal que ha trascendido a problemáticas con una complejidad similar al NLU. Por ejemplo, al analizar secuencias de ADN con DNABERT e HyenaDNA, los bioinformáticos pueden determinar patrones insospechados. La técnica homóloga para proteínas llamada ProteinBERT permite entender mejor las estructuras de las proteínas, modificaciones postraduccionales (cambios posteriores a su síntesis) e incluso atributos biofísicos.

Una opinión generalizada de los expertos señala que la investigación actual en NLU -junto a otros modelos de aprendizaje profundo- cambiará nuestra sociedad con un impacto parecido al de la revolución industrial a principios del siglo XIX, donde las máquinas reemplazaron a los artesanos. Ahora se plantea la posibilidad de que puedan reemplazar a los especialistas en un tema, abriendo la posibilidad de nuevas formas de desarrollo para la humanidad.

* Dr. Carlos Villaseñor, Profesor investigador del Departamento de Innovación basada en la información y el conocimiento, Centro Universitario de Ciencias Exactas e Ingenierías

* Dr. Gehová López González, investigador Post-doctorante en el Departamento de Ingenierías, Centro Universitario de la Costa Sur