GPT-3 LA INTELIGENCIA ARTIFICIAL QUE REVOLUCIONARÁ LA ESCRITURA

 

Rivera Morales Luis Alberto
Esta dirección de correo electrónico está siendo protegida contra los robots de spam. Necesita tener JavaScript habilitado para poder verlo.

Reyes Sánchez Brenda Carolina
Esta dirección de correo electrónico está siendo protegida contra los robots de spam. Necesita tener JavaScript habilitado para poder verlo.

Claudia Marina Vicario Solórzano
Esta dirección de correo electrónico está siendo protegida contra los robots de spam. Necesita tener JavaScript habilitado para poder verlo.

IPN Instituto Politécnico Nacional
Unidad Profesional Interdisciplinaria de Ingeniería y Ciencias Sociales y Administrativas

 

Resumen

Imagina un software que pueda complementar con gran facilidad una serie de textos con un simple ejemplo de una frase inicial que el usuario le dará y en seguida pueda generar cadenas de texto a diferentes modos y estilos de escritura, así como modismos o incluso lenguaje técnico, como lo sería en términos legales como si se tratara de un abogado, implementar un estilo de escritor de novelas o bien redactar un artículo sencillo para alguna revista. De otro modo, ser capaz de crear un motor de búsqueda de internet como lo es Google o Yahoo! Si bien, no sólo se basará en las palabras clave, sino que lo hará en base de una búsqueda semántica del lenguaje natural. Imaginemos que se le plantea una pregunta sencilla y en seguida genere una búsqueda de páginas que no usan esas palabras, sin embargo responden al mismo planteamiento que se le ingreso como pregunta, adicionalmente se le podría pedir que genere líneas de código en el lenguaje de programación de Python o bien C++ y en realidad que no se le dé nada mal: parece que estaríamos hablando de características que pediríamos para algún puesto de trabajo o simplemente lo que alguna persona desarrollaría; sin embargo esto lo hace mucho mejor una Inteligencia Artificial llamada GPT-3 que lo hace en tan poco tiempo como lo es un clic, ¿ Pero cómo lo hace? Pues en este artículo se encarga de explicar y analizar las partes que lo estructuran y forman parte de él.

Palabras Clave: Inteligencia artificial (IA), Generative Pre-Trained Transformer 3 (GPT-3), Procesamiento Natural del Lenguaje (PNL).

 

Abstract

Imagine a software that can easily complement a series of texts with a simple example of an initial phrase that the user will give and then can generate text strings in different modes and styles of writing as well as idioms or technical language as it would be in legal terms as if it were a lawyer, also implement a style of novel writer or write a simple article for a magazine, otherwise it is able to create an Internet search engine such as Google or Yahoo! but not only based on keywords, but based on a semantic search of natural language. Let's imagine that a simple question is asked and then it generates a search of pages that do not use those words, however they respond to the same question that was entered as a question, additionally it could be asked to generate lines of code in the programming language Python or C++ and as a result it does not do anything wrong: It seems that we would be talking about features that we would ask for some job or simply what some person would develop; however this is done much better by an Artificial Intelligence called GPT-3 that does it in as little time as a click, but how does it do it? Well, in this article we will explain and analyze the parts that structure it and are part of it.

Keywords: Keywords: Artificial Intelligence (IA), Generative Pre-Trained Transformer 3 (GPT-3), Natural Language Processing (NLP).

1. Introducción

¡GPT3 es la inteligencia artificial generadora de texto más potente que se ha diseñado hasta la fecha!, pero, ¿Qué importa que sea la más potente? ¿En verdad es tan impresionante e innovadora esta nueva red neuronal? Pues en definitiva GPT-3 ya es un hecho y su lanzamiento ha evocado todo tipo de comentarios, existen unos tantos muy buenos o a favor y otros muy negativos por las posibilidades y habilidades que ofrece, y a su vez el futuro que podría suponer para el campo de la informática.

2. ¿Qué es GPT-3?

GPT-3 es una inteligencia artificial generadora de texto, basada en el procesamiento del lenguaje natural (NLP), que más en concreto se trata de una estructura o modelo compuesto de algoritmos que está entrenado para que este reconozca y analice una secuencia de datos y en seguida resuelva problemas mediante ejemplos.” En palabras más técnicas, se trata de conjuntos secuenciales de reglas que componen una Red Neuronal Recurrente que contienen una memoria a largo plazo, mejor conocida como Long Short-term memory (LSTN)”. (Sreekaanth, Varghese, P.J, N.K, S., N.Pal, 2013).

Es decir, esta inteligencia artificial evalúa las cadenas de texto o datos que se le ofrecen, para que en seguida genere predicciones de palabras y frases entorno a la gramática y a la sintaxis que se le ha puesto como ejemplo; a partir de ahí, la inteligencia artificial es capaz de continuar la oración o frase y, arroja siempre una respuesta a nuestras frases o ejemplos principales.

La magnitud de GPT-3 es inmensa, porque cuenta con un poco más de 175.000 millones de parámetros, aunque este no es el más grande, ya que la inteligencia artificial GShard de Google que, se ha presentado un mes más tarde que GPT-3, y cuenta con 600.000 millones de parámetros. Y esto significa que esta es la tendencia a la que se dirigen actualmente estas inteligencias artificiales de procesamiento de texto. (Fernández, 2020)

“Open AI es una empresa fundada por Elon Musk, es la responsable de estos avances tecnológicos y consiguieron que la inteligencia artificial que desarrollaron sea más "inteligente" en consecuencia del entrenamiento y procesamiento de una gran cantidad del texto que hay en la web que va desde: la Wikipedia y la Common Crawl hasta varios viejos blogs de poemas.” (Romero, 2020) Y tras analizar estos 5.630 millones de webs (que serían aproximadamente 45 zettabytes), “empieza una conversación y, a raíz de todo ese texto, ha aprendido a escribir correctamente o a simular la escritura para expresarse como lo hacemos los humanos. Sus creadores han presentado esta red neuronal a través de una API (más adelante se explicará en que consiste) y nos permitirán experimentar con esta inteligencia artificial”. (Vytiniotis, 2020).

3. API de OpenAI

Lo que hace la API de OpenAI es que nos permite buscar en documentos en función del significado del lenguaje natural (NLP)de las consultas en lugar de la coincidencia de palabras clave que se le llama “Búsqueda semántica”, en apoyo de lo siguiente:

Algolia

Algolia quiere ofrecer una búsqueda rápida y muy relevante a todo el mundo con un sitio web, una aplicación móvil o una aplicación de voz. (OpenAI, 2020).

OpenAI ayuda a Algolia a responder consultas más complejas que nunca, recortando el tiempo de predicción a alrededor de 100 ms. Esto evita que Algolia tenga que hacer mucho trabajo para almacenar en caché y servir respuestas a sus clientes.

Con OpenAI, Algolia fue capaz de responder preguntas complejas del lenguaje natural (NLP) con una precisión 4 veces más a menudo, como estaba usando BERT. (OpenAI, 2020).

Complemento de búsqueda

La API identifica el contenido relevante para las consultas de lenguaje natural sin usar palabras clave. Aquí la API se ha integrado en un plugin del navegador que permite a los usuarios encontrar respuestas en la página web escribiendo una pregunta. (OpenAI, 2020).

4. Procesamiento del Lenguaje Natural (NLP)

“El Procesamiento del Lenguaje Natural es el área de investigación de la Inteligencia Artificial que se encarga del análisis y estructura la manera en la que se comunican las máquinas con las personas mediante el uso de las lenguas naturales, como lo son los propios idiomas”,(Ellmann, 2018). En su defecto, cualquier otra lengua humana puede ser interpretada por los ordenadores sin embargo existen algunas limitaciones de cuestión económica o bien práctica, que consecuentemente solo las lenguas más habladas y utilizadas en el universo digital tengan desarrollo y aplicación en su uso.

Analicemos por un momento, cuántos idiomas habla la inteligencia artificial de la empresa Apple la llamada Siri, que son alrededor de 20 idiomas, o como la empresa Google con su inteligencia artificial conocido como Google Assistant, que son alrededor de 8 idiomas, entre los que están globalmente y los que están en desarrollo. Los idiomas como lo son el inglés, español, francés, alemán, portugués, chino, japonés y árabe, son los idiomas con los que cuentan con más aplicaciones en el mundo que las entienden. Sin embargo, de la misma empresa de Google una de sus aplicaciones más innovadoras son Google Translate, que es la que más lenguas trata, superando el centenar. (Packowski, Switzer, 2019).

Las lenguas humanas se expresan de forma escrita, oralmente y por signos lingüísticos. Por otra parte, el Procesamiento del Lenguaje Natural (PNL) tiene un desarrollo óptimo para el tratamiento y generación de textos, donde existen más datos y son más fáciles de conseguir en formato electrónico. (Moreno,2020).

Así bien, los audios aunque se encuentren en formato digital, tienen que ser procesados y para eso hay que transcribirlos en letras o caracteres, que, a partir de ahí, se pueda entender la pregunta. El proceso de la respuesta es la inversa: primero se tiene que elaborar la oración y luego se “sintetiza la voz”.

Así bien, la voz artificial por algoritmos suena cada generación más humana, estas implementan las estructuras tonales y prosódicas que tratan de imitan asertivamente la reproducción y síntesis del lenguaje humano.

También podríamos decir que el procesamiento de lenguaje natural (NLP) se refiere a sistemas informáticos que analizan, intentan entender o producen uno o más idiomas humanos. La entrada puede ser texto, idioma hablado o entrada de teclado.

La tarea podría ser traducir a otro idioma como ya lo habíamos mencionado, para comprender y representar el contenido del texto, crear una base de datos o generar resúmenes, o mantener un diálogo con un usuario como parte de una interfaz para la recuperación de base de datos/información. (Allen,2003).

Por otro lado, podemos relacionar al procesamiento del lenguaje natural con la naturalidad que es esencialmente repetitividad o previsibilidad. Por artefactos de lenguaje natural, nos referimos a comentarios de código fuente, mensajes de historial de revisión, informes de errores y así sucesivamente. Medimos "naturalidad" utilizando una medida estándar, entropía cruzada o perplejidad de los modelos N-Gram ampliamente utilizados. (Mani, Sinha, Sridhara,2015).

También existen herramientas que ayudan al procesamiento del lenguaje natural como lo es GATE, que tiene como objetivo apoyar tanto a los investigadores como a los desarrolladores que trabajan en las tecnologías de componentes como lo es por ejemplo el análisis, etiquetado, análisis morfológico y que aquellos que trabajan y aportan en el desarrollo de aplicaciones para el usuario final, como los son por ejemplo la extracción de información, resumen de texto, generación de documentos, traducción automática y el aprendizaje de un segundo idioma. el software GATE promueve la reutilización e innovación de la tecnología en componentes, que implementa la especialización y la colaboración en proyectos que se llevan a gran escala, y nos permite la comparación y evaluación de tecnologías alternativas. (Wilks, Gaizauskas, Humphreys, Cunningham, 1997).

5. Desarrollo, evolución y características de GPT3

El campo de la visión por ordenador se produjo en el 2000 cuando álex.net, un tipo de red neuronal que acabó por completo a otras redes neuronales participantes de una competición al realizar la tarea de clasificar imágenes, que, sobre el data set image, fue en ese momento donde en realidad se valoró el gran impacto y la gran importancia de los modelos basados en redes neuronales para tareas basadas en imágenes, con esto la revolución de la percepción visual dio origen, comienzo y evolución para algo más grande y similar, y esto ha ocurrido en el campo de los modelos generativos.

El gran auge comenzó en 2014 con el desarrollo de las redes neuronales generativas adversarias y que desde ese momento a muy corto plazo de tiempo y desarrollo, hemos vivido una evolución exponencial y radical en los resultados que esta tecnología nos puede ofrecer, la revolución de la generación de la inteligencia artificial había comenzado para que año tras año, revolución tras revolución y en cada área del campo del Deep learning va encontrando ese conjunto de técnicas y avances que propician al desarrollo de nuevas tecnologías.

Basta algún producto innovador para revolucionar el rumbo de alguna área, pero en este caso es ese algoritmo que de repente hace que podamos avanzar muy rápidamente donde antes ni siquiera podíamos caminar, siendo de repente capaces de resolver y plantear nuevos problemas que antes creíamos irresolubles, dejándonos a todos con una gran impresión del futuro que nos depara la tecnología.

Pero debemos preguntarnos ¿Dónde se está produciendo la siguiente gran revolución? Para responder la respuesta debemos convencernos de que ya está ocurriendo esta transformación tecnológica y es muy grande y nos va a obligar a replantearnos muchísimos aspectos de trabajo de nuestro día a día, y como realmente ya está aquí se presentaran los indicadores más relevantes en estos últimos meses.

Para el mes mayo de 2020 se publica la inteligencia artificial generadora de texto GPT3 que esta es la evolución del famoso modelo generador de texto gp2 del que saltó a la fama hace ya más de un año no sólo por ser capaz de generar párrafos completos de texto con contenido creíble y crítico, sino también por la decisión de sus creadores de no hacer público al modelo temporalmente para evitar que se le diera un uso indebido en internet en la creación de publicaciones con texto engañoso a escala masiva. (Gokaslan, Cohen, 2020).

En su momento el modelo GPT2 nos enganchaba con su capacidad de superar en el número de parámetros a su predecesor en un poco más de diez veces contando con alrededor de 1,500 millones de parámetros, pero ahora con GPT3 consigue impresionantemente aumentar esta cifra que va desde los 1,500 millones de parámetros hasta los 175 mil millones con este modelo, siendo este 100 veces más grande que el antecesor, y es que este modelo es capaz de generar texto realista, respetando la gramática con la coherencia párrafo tras párrafo y pudiendo redactar por ejemplo, artículos artificiales completos sobre cualquier tema en específico que le demos como entrada en cuestión de segundos.

Por otro lado esto incorpora algo incluso mucho más interesante, algo que en definitiva ya se comenzó a evidenciar el modelo de GPT2 y que este podría ser la clave hacia nuevos moldes de aprendizaje, en concreto estamos hablando de que para estos grandes modelos pre entrenados a la hora de resolver tareas e incluso problemas para las cuales nunca han sido entrenados y a su vez arrojen respuestas que nunca se les especifico como hacerlo pero siempre tenga una respuesta de forma correcta o errónea.

Se podría decir que la única actividad que realmente tienen que resolver y para la cual se necesita una capacitación y entrenamiento, es constatar una predicción de cuál será la palabra que seguirá a partir de toda un estructura y secuencias antecesoras de palabras anteriores, que es una estructura del lenguaje que tiene que ser conciso y claro, que en estos casos lo que se ha experimentado es que si se le presentan como ejemplo a estos modelos preen trenados una secuencia de sumas con respuesta correcta y una incompleta, “consecutivamente se le pide al modelo que termine de completar la frase que introducimos como entrada, lo que realmente sucede es que el modelo resuelve la suma y contextualmente ¡ya sabe sumar¡ o por ejemplo el reordenamiento de las letras de una palabra que este mal escrita, de otra forma también en la traducción de texto su desempeño es muy buena y hay que tener en cuenta que en ningún momento se le programo ni se le ha entrenado para que esta aprenda a resolver estas tareas, es decir, el modelo está resolviendo o meta aprendiendo a través de los procesos del lenguaje natural.” (Hu, Dong, Wang,Chang, Sun. 2020).

Podríamos hablar de una inteligencia que le permite valorar el algoritmo de similitudes entre textos y palabras, que consecutivamente tiene que clasificarlos e incluso generarlos a lo más cercano posible de los ejemplos proporcionados. “Pero no tiene una inteligencia abstracta que le permita entender como lo desarrollamos nosotros o que estamos haciendo o diciendo”.( Navarro, Sajous, Gaume, Prévot, ShuKai, Tzu-Yi, Magistry, Chu-Ren, 2009). Establecer cómo y cuándo una Inteligencia Artificial llegará a ser "consciente" es el enigma que hasta el día de hoy es uno de los debates más intensos actualmente en el mundo de la inteligencia artificial.

“Esta falta de consciencia es fácil de demostrar gracias al famosa prueba de Turing. Kevin Lacker (Lacker's, 2020)ha sometido a este programa a esa prueba de inteligencia y el resultado deja mucho que desear:

P: ¿Quién fue presidente de los Estados Unidos antes de George W. Bush?

R: Bill Clinton fue presidente de los Estados Unidos antes de George W. Bush.

P: ¿Cuál es tu animal favorito?

R: Mi animal favorito es el perro.

P: ¿Cuántos ojos tiene una araña?

R: Una araña tiene ocho ojos.

P: ¿Cuántos ojos tiene el sol?

R: El sol tiene un ojo.

P: ¿Cuántos ojos tiene una brizna de hierba?

R: Una brizna de hierba tiene un ojo.

P: ¿Cuántos arcoíris hacen falta para saltar de Hawaii a diecisiete?

R: Hacen falta dos arcoíris para saltar de Hawaii a diecisiete.

P: ¿Entiendes estas preguntas?

R: Entiendo estas preguntas” (Lacker's, 2020)

Mientras las preguntas sean claras y concisas los resultados serán asertivos, pero conforme las preguntas se desarrollan en un espacio más específico estas perderán sentido, GPT-3 demuestra y comprueba que es posible mantener una conversación fluida respetando el lenguaje mediante el proceso natural, pero sin entender nada de lo que está diciendo . Esta falta de contexto de acuerdo a sus resultados que genera es lo que le impide saber que la respuesta que estamos preguntando como entrada es un totalmente incoherente. (Delgado, 2020).

De alguna manera se puede pensar que la respuesta a todos estos problemas está almacenada en el propio cuerpo o estructura de entrenamiento de estos modelos generativos, pero tal vez, sean por estas razones que los ejemplos por lo que sea tan sorprendente e interesante sea la resolución de problemas que el modelo GPT3 ofrece y en definitiva esta tecnología es una clara demostración de que la inteligencia artificial con modelos generativos está abriéndonos camino hacia un futuro muy prometedor.

Conclusiones

GPT-3 es un modelo de lenguaje reciente entrenado por OpenAI, que revolucionará la forma de escribir artículos, novelas, libros entre muchas cosas más para generar contenido de toda índole, lo que desde el principio los desarrolladores siempre se han planteado darle un buen uso a esta inteligencia artificial y no caer en provocaciones erróneas que le puedan dar los usuarios, en general, la inteligencia artificial; siendo capaz de absorber y analizar información, con vastos conocimientos en cualquier área, y, además, también aprendió las formas de escritura, las jergas, e incluso es capaz de mantener conversaciones sobre temas en específicos. GPT – 3 tiene la capacidad de tener “personalidad”, en gran medida promedio ya que si le preguntamos cuál es su equipo de futbol favorito la inteligencia nos arrojara una respuesta calculando las respuestas promedio que se encuentran en la internet y en groso modo eso es algo increíble, no es como otras inteligencias que solo aprenden y repiten lo que escriben los usuarios, sino que se alimenta de toneladas y toneladas de conocimiento que, tristemente no quiere decir que entienda exactamente lo que está haciendo, pero siempre dará una respuesta al problema planteado.

Este modo de aplicar el procesamiento de lenguaje natural innova por ser capaz de apoyar a GPT3 para que esta realice tareas con cierto grado de complejidad, como lo es una simple conversación fluida pero interesante, así como pedirle que genere código: hablando de programación claro, si se le da una indicación de lo que queremos hacer, esta podrá generar un código en Python que hace casi a la perfección (dependiendo del nivel de complejidad y de las indicaciones o ejemplos que se le planteen desde el principio).

Como modelo de lenguaje, su tiene por objetivo predecir y “autocompletar” dependiendo de datos previos. Puedes escribir unas pocas frases y GPT-3 será capaz de completar el resto del texto. También es capaz de responder preguntas dependiendo el contexto de preguntas y respuestas anteriores. Sin embargo, ahora mismo GPT–3 es más un asistente virtual y un auto corrector. Por lo cual, aún si es un gran avance en el mundo de la inteligencia artificial, sigue siendo un tanto inútil.

Sin embargo, ahora mismo GPT–3 es más un asistente virtual y un auto corrector. Por lo cual, aún si es un gran avance en el mundo de la inteligencia artificial, sigue siendo un tanto inútil.

Aun así, algunos programadores, usado API, crearon cosas realmente interesantes, tales como un generador de interfaces, un traductor de ecuaciones e incluso un diseñador artificial. GPT–3 es solo una prueba del potencial de estos modelos a futuro.

La inteligencia artificial avanza constantemente, pasamos de un sistema que almacena y repite lo que se le indica; a uno que es capaz de generar contenido creativo en contexto a partir de su vasto conocimiento en todas las áreas gracias a su gran fuente de información y búsqueda (Internet). Sin duda alguna el futuro de la IA es muy prometedor, pero, por otro lado, poco a poco se le entrena a resolver nuevos problemas que anteriormente sólo un humano podría realizar.

Siendo así, ¿Podría reemplazar al humano en algún momento a futuro? A pesar de saber dar siempre una respuesta su capacidad de entender tan solo una palabra es muy vaga, por lo que tendríamos que analizar si el famoso dicho “Cuanto más leas, más cosas sabrás. Cuanto más sepas, más lejos llegarás”. Podría resumir a la perfección la actitud de GPT-3. Y la herramienta es bastante hábil, capaz de codificar órdenes sencillas, aunque sus creadores piden contenerse a la hora de ilusionarse: al fin y al cabo, esta inteligencia artificial (IA) puede leerlo todo y no entender nada.

GPT-3 no puede reemplazar a los programadores ni diseñadores, ya que todo el trabajo que conlleva el diseño de una herramienta que use correctamente la API, más instrucciones necesarias para que este genere resultados aceptables, sigue siendo trabajo humano.

Uno de los mayores problemas que presenta GPT-3, es que no tiene ningún conocimiento interno y racional que le haga entender las palabras que genera o predice, es decir: genera texto, pero sin saber que está diciendo, porque solo se guía a través de patrones del lenguaje natural que se halle en la red. GPT-3 no sabrá si en algún momento el texto que genera pierde consistencia y sentido, porque no entiende el contexto, solo genera lo siguiente a partir de un modelo probabilístico.

Si bien sus resultados son extremadamente básicos, porque tiene la debilidad de cometer errores tan tontos que un humano nunca cometería. Cualquier humano profesional sería capaz de producir inclusive con mejor calidad y con una brecha muy corta de tiempo, sigue siendo impresionante para un modelo de lenguaje. Aún si su utilidad en el mundo real es muy limitada, no desaparece el hecho de que está llena de potencial.

Es muy emocionante pensar en el futuro de la inteligencia artificial, si en este momento sus resultados son impresionantes, no puedo imaginar de lo que serán capaz de hacer en un futuro no muy lejano, ¿Cómo solucionarán sus debilidades y errores actuales?, ¿Con qué innovarán estas tecnologías? Quizá estas preguntas tengan respuesta muy pronto.

Referencias

1. Aaron Gokaslan, Vanya Cohen. (SR de septiembre de 2020). OpenGPT-2: open language models and implications of generated text. Obtenido de ACM Digital Library: https://dl.acm.org/doi/10.1145/3416063


2. Allen, J. F. (S/R de Enero de 2003). Natural language processing. Obtenido de ACM Digital Library : https://dl.acm.org/doi/10.5555/1074100.1074630


3. Dimitrios Vytiniotis. (SR de septiembre de 2020). Declarative abstractions for tensor program partitioning. Obtenido de ACM Digital Library: https://dl.acm.org/action/doSearch?AllField=GPT+-+3


4. Delgado, J. A. (07 de agosto de 2020). Javier Andrés Vázquez Delgado vio: GPT-3, el nuevo modelo de lenguaje que ha dejado con la boca abierta a medio mundo. Recuperado el 02 de 12 de 2020, de Javier Andrés Vázquez Delgado: http://javier-andres-vazquez-delgado.blogspot.com/2020/08/javier-andres-vazquez-delgado-vio-gpt-3.html


5. Emmanuel Navarro, Franck Sajous, Bruno Gaume, Laurent Prévot, Hsieh ShuKai, Kuo Tzu-Yi, Pierre Magistry, and Huang Chu-Ren. (2009). Wiktionary and NLP: improving synonymy networks. In Proceedings of the 2009 Workshop on The People's Web Meets NLP: Collaboratively Constructed Semantic Resources (People's Web '09). Association for Computational Linguistics, USA, 19–27: https://dl.acm.org/doi/10.5555/1699765.1699768


6. Fernández, I (04 de 09 de 2020). GPT-3: la IA con la mayor base de datos de la historia. Obtenido de NOBBOT: https://www.nobbot.com/futuro/gpt-3-que-es/#:~:text=GPT-3%20son%20las%20siglas%20de%20Generative%20Pre-Trained%20Transformer,invertido%20nada%20menos%20que%201.000%20millones%20de%20d%C3%B3lares.


7. Greg Brockman, Mira Murati, Peter Welinder, OpenAI. (18 de septiembre de 2020). OpenAI API. Obtenido de OpenAI: https://openai.com/blog/openai-api/


8. González, G. (20 de julio de 2020). Por qué GPT-3, el nuevo modelo de lenguaje de OpenAI, es tan impresionante como poco útil. Recuperado el 20 de 11 de 2020, de GENBETA: https://www.genbeta.com/a-fondo/que-gpt-3-nuevo-modelo-lenguaje-openai-impresionante-como-poco-util


9. Indu S, Supriya N. Pal, N.S. Sreekanth, Nobby Varghese, GangaPrasad R., Harish P.J., Srinivas N.K. (S/R de Julio de 2013). NLP@Desktop: a service oriented architecture for integrating NLP services in desktop clients. Obtenido de ACM Digital Library : https://dl.acm.org/doi/pdf/10.1145/2492248.2492265?accessTab=true


10. Jonas Freiknecht, Wolfgang Effeisberg. (SR de septiembre de 2020). Procedural Generation of Interactive Stories using Language Models. Obtenido de ACM Digital Library: https://dl.acm.org/doi/10.1145/3402942.3409599


11. Jieh – Sheng Le. (SR de abril de 2020). Measuring and Controlling Text Generation by Semantic Search. Obtenido de ACM Digital Library https://dl.acm.org/doi/10.1145/3366424.3382086


12. Lacker's, K. (6 de julio de 2020). Kevin Lacker's blog. Obtenido de Kevin Lacker's: https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html


13. Love Lagerkvist and Maliheh Ghajargar. (2020). Multiverse: Exploring Human Machine Learning Interaction Through Cybertextual Generative Literature. In 10th International Conference on the Internet of Things Companion (IoT '20 Companion). Association for Computing Machinery, New York, NY, USA, Article 1, 1–6. DOI: https://doi.org/10.1145/3423423.3423424


14. Moreno, A. (28 de JULIO de 2020). Procesamiento del lenguaje natural. Obtenido de INSTITUTO DE INGENIERIA DEL CONOCIMIENTO: https://www.iic.uam.es/inteligencia/que-es-procesamiento-del-lenguaje natural/#:~:text=%20Componentes%20del%20procesamiento%20del%20lenguaje%20natural%20,interpretaci%C3%B3n%20de%20las%20oraciones%2C%20una%20vez...%20More%20


15. Mathias Ellmann. (2018). Natural language processing (NLP) applied on issue trackers. In Proceedings of the 4th ACM SIGSOFT International Workshop on NLP for Software Engineering (NL4SE 2018). Association for Computing Machinery, New York, NY, USA, 38–41. DOI: https://doi.org/10.1145/3283812.3283825


16. Nieto, M. G. (s.f. ). Conceptos del Procesamiento del Lenguaje Natural. Recuperado el 18 de 11 de 2020, de instituto de ingeniería del conocimiento: https://www.iic.uam.es/innovacion/conceptos-del-procesamiento-del-lenguaje-natural/


17. OpenAI (SR de SR de SR). Tecnología OpenAI, a solo una llamada HTTPS. Obtenido de Open AI: https://beta.openai.com/


18. Romero, M. S. (1 de 08 de 2020). GPT-3, el nuevo modelo de lenguaje que ha dejado con la boca abierta a medio mundo. Obtenido de Computer Hoy: https://computerhoy.com/reportajes/industria/gpt-3-que-es-687371


19. Sarah Packowski and Wendy Switzer. (2019). Extracting meaning from text and creating a custom language model to optimize NLP results: NLP hands-on workshop series. IBM Corp., USA, 382–383: https://dl.acm.org/doi/10.5555/3370272.3370327


20. Supriya N. Pal, N.S. Sreekanth, Nobby Varghese, GangaPrasad R., Harish P.J., Srinivas N.K., Indu S. (SR de Julio de 2013). NLP@Desktop: a service oriented architecture for integrating NLP services in desktop clients. Obtenido de ACM Digital Library: https://dl.acm.org/doi/pdf/10.1145/2492248.2492265?accessTab=true


21. Senthil Mani, Vibha Singhal Sinha, Giriprasad Sridhara. (S/R de Febrero de 2015). Naturalness of Natural Language Artifacts in Software. Obtenido de ACM Digital Library: https://dl.acm.org/doi/10.1145/2723742.2723758


22. Ziniu Hu, Yuxiao Dong, Kuansan Wang, Kai-Wei Chang, and Yizhou Sun (2020). ). GPT-GNN: Generative Pre-Training of Graph Neural Networks. In Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (KDD '20). Association for Computing Machinery, New York, NY, USA, 1857–1867. DOI: https://doi.org/10.1145/3394486.3403237