Modelos de aprendizaje profundo para comprensión de textos y una implementación prototípica de GPT-2 para una tarea específica de generación de lenguaje natural

Since 2013, the connectionist paradigm in Natural Language Processing (NLP) has resurged in academic circles by means of new architectures to be adopted later by the software industry with the use of great computing power. It is a truly algorithmic revolution, known as Deep Learning. Several models...

Descripción completa

Guardado en:

Detalles Bibliográficos
Autores principales:	Balbachan, Fernando, Flechas, Natalia, Maltagliatti, Ignacio, Pensa, Francisco, Ramírez, Lucas
Formato:	Online
Lenguaje:	spa
Publicado:	Instituto de Lingüística, Facultad de Filosofía y Letras, Universidad Nacional de Cuyo 2021
Materias:	aprendizaje profundo ELMo BERT GPT-2 comprensión del lenguaje natural generación de texto Deep Learning BERT-2 Natural Language Understanding (NLU) Natural Language Generation (NLG)
Acceso en línea:	https://revistas.uncu.edu.ar/ojs3/index.php/analeslinguistica/article/view/5524

id	I11-R94article-5524
record_format	ojs
spelling	I11-R94article-55242022-02-23T13:30:21Z Deep Learning-based Natural Language Understanding Models and a Prototype GPT-2 Deployment Fine-Tuned for a Specific Natural Language Generation Task Modelos de aprendizaje profundo para comprensión de textos y una implementación prototípica de GPT-2 para una tarea específica de generación de lenguaje natural Balbachan, Fernando Flechas, Natalia Maltagliatti, Ignacio Pensa, Francisco Ramírez, Lucas aprendizaje profundo ELMo BERT GPT-2 comprensión del lenguaje natural generación de texto Deep Learning ELMo BERT BERT-2 Natural Language Understanding (NLU) Natural Language Generation (NLG) Since 2013, the connectionist paradigm in Natural Language Processing (NLP) has resurged in academic circles by means of new architectures to be adopted later by the software industry with the use of great computing power. It is a truly algorithmic revolution, known as Deep Learning. Several models have been offered in a speedy race in order to improve state-of-the-art metrics for general domain NLP tasks, according to the most frequentlly used standards (BLEU, GLUE, SuperGLUE). From 2018 onwards, Deep Learning models have attracted even more attention through the so-called Transformers revolution (ELMo, BERT y GPT-2). In this paper, we propose a brief yet exhaustive survey on the models that have been evolving during this last decade. We also describe in detail a complete from scratch implementation for the most recent open-source model GPT-2, fine-tuned for a specific NLG task of slogan generation for commercial products. Desde el año 2013, el paradigma conexionista en procesamiento de lenguaje natural (PLN) ha venido resurgiendo en ámbitos académicos a partir de nuevas arquitecturas para luego ser adoptado en la industria de software. Este paradigma hace uso de poderosos recursos de cómputo, en una revolución algorítmica conocida como aprendizaje profundo (Deep Learning). Numerosas y sucesivas propuestas superadoras se han ofrecido en una vertiginosa carrera por obtener métricas (benchmarking) que se acercaran al estado del arte para tareas generales de PNL, según diversos estándares (BLEU, GLUE, SuperGLUE). A partir de 2018, con la revolución de los transformers en los últimos dos años (ELMo, BERT y GPT-2), los modelos de Deep Leaning atrajeron aún más el interés de la comunidad científica, de la industria y de neófitos. En este artículo, proponemos una sucinta pero exhaustiva historización de los modelos que han venido evolucionando durante esta revolucionaria última década y ofrecemos, a modo de ejemplo ilustrativo, una arquitectura de implementación completa de Deep Learning para el modelo de código abierto más reciente GPT-2, entrenado para una tarea específica de generación de slogans comerciales en cualquier segmento de producto. Instituto de Lingüística, Facultad de Filosofía y Letras, Universidad Nacional de Cuyo 2021-12-21 info:eu-repo/semantics/article info:eu-repo/semantics/publishedVersion application/pdf https://revistas.uncu.edu.ar/ojs3/index.php/analeslinguistica/article/view/5524 Anales de Lingüística; Núm. 7 (2021): Dossier: Lingüística Computacional ; 145-174 2684-0669 0325-3597 spa https://revistas.uncu.edu.ar/ojs3/index.php/analeslinguistica/article/view/5524/4221 Derechos de autor 2021 Anales de Lingüística https://creativecommons.org/licenses/by/2.5/ar/
institution	Universidad Nacional de Cuyo
building	Revistas en línea
filtrotop_str	Revistas en línea
collection	Anales de Lingüística
journal_title_str	Anales de Lingüística
institution_str	I-11
repository_str	R-94
language	spa
format	Online
author	Balbachan, Fernando Flechas, Natalia Maltagliatti, Ignacio Pensa, Francisco Ramírez, Lucas
spellingShingle	Balbachan, Fernando Flechas, Natalia Maltagliatti, Ignacio Pensa, Francisco Ramírez, Lucas Modelos de aprendizaje profundo para comprensión de textos y una implementación prototípica de GPT-2 para una tarea específica de generación de lenguaje natural aprendizaje profundo ELMo BERT GPT-2 comprensión del lenguaje natural generación de texto Deep Learning ELMo BERT BERT-2 Natural Language Understanding (NLU) Natural Language Generation (NLG)
author_facet	Balbachan, Fernando Flechas, Natalia Maltagliatti, Ignacio Pensa, Francisco Ramírez, Lucas
author_sort	Balbachan, Fernando
title	Modelos de aprendizaje profundo para comprensión de textos y una implementación prototípica de GPT-2 para una tarea específica de generación de lenguaje natural
title_short	Modelos de aprendizaje profundo para comprensión de textos y una implementación prototípica de GPT-2 para una tarea específica de generación de lenguaje natural
title_full	Modelos de aprendizaje profundo para comprensión de textos y una implementación prototípica de GPT-2 para una tarea específica de generación de lenguaje natural
title_fullStr	Modelos de aprendizaje profundo para comprensión de textos y una implementación prototípica de GPT-2 para una tarea específica de generación de lenguaje natural
title_full_unstemmed	Modelos de aprendizaje profundo para comprensión de textos y una implementación prototípica de GPT-2 para una tarea específica de generación de lenguaje natural
title_sort	deep learning-based natural language understanding models and a prototype gpt-2 deployment fine-tuned for a specific natural language generation task
description	Since 2013, the connectionist paradigm in Natural Language Processing (NLP) has resurged in academic circles by means of new architectures to be adopted later by the software industry with the use of great computing power. It is a truly algorithmic revolution, known as Deep Learning. Several models have been offered in a speedy race in order to improve state-of-the-art metrics for general domain NLP tasks, according to the most frequentlly used standards (BLEU, GLUE, SuperGLUE). From 2018 onwards, Deep Learning models have attracted even more attention through the so-called Transformers revolution (ELMo, BERT y GPT-2). In this paper, we propose a brief yet exhaustive survey on the models that have been evolving during this last decade. We also describe in detail a complete from scratch implementation for the most recent open-source model GPT-2, fine-tuned for a specific NLG task of slogan generation for commercial products.
publisher	Instituto de Lingüística, Facultad de Filosofía y Letras, Universidad Nacional de Cuyo
publishDate	2021
url	https://revistas.uncu.edu.ar/ojs3/index.php/analeslinguistica/article/view/5524
topic	aprendizaje profundo ELMo BERT GPT-2 comprensión del lenguaje natural generación de texto Deep Learning ELMo BERT BERT-2 Natural Language Understanding (NLU) Natural Language Generation (NLG)
topic_facet	aprendizaje profundo ELMo BERT GPT-2 comprensión del lenguaje natural generación de texto Deep Learning ELMo BERT BERT-2 Natural Language Understanding (NLU) Natural Language Generation (NLG)
work_keys_str_mv	AT balbachanfernando deeplearningbasednaturallanguageunderstandingmodelsandaprototypegpt2deploymentfinetunedforaspecificnaturallanguagegenerationtask AT flechasnatalia deeplearningbasednaturallanguageunderstandingmodelsandaprototypegpt2deploymentfinetunedforaspecificnaturallanguagegenerationtask AT maltagliattiignacio deeplearningbasednaturallanguageunderstandingmodelsandaprototypegpt2deploymentfinetunedforaspecificnaturallanguagegenerationtask AT pensafrancisco deeplearningbasednaturallanguageunderstandingmodelsandaprototypegpt2deploymentfinetunedforaspecificnaturallanguagegenerationtask AT ramirezlucas deeplearningbasednaturallanguageunderstandingmodelsandaprototypegpt2deploymentfinetunedforaspecificnaturallanguagegenerationtask AT balbachanfernando modelosdeaprendizajeprofundoparacomprensiondetextosyunaimplementacionprototipicadegpt2paraunatareaespecificadegeneraciondelenguajenatural AT flechasnatalia modelosdeaprendizajeprofundoparacomprensiondetextosyunaimplementacionprototipicadegpt2paraunatareaespecificadegeneraciondelenguajenatural AT maltagliattiignacio modelosdeaprendizajeprofundoparacomprensiondetextosyunaimplementacionprototipicadegpt2paraunatareaespecificadegeneraciondelenguajenatural AT pensafrancisco modelosdeaprendizajeprofundoparacomprensiondetextosyunaimplementacionprototipicadegpt2paraunatareaespecificadegeneraciondelenguajenatural AT ramirezlucas modelosdeaprendizajeprofundoparacomprensiondetextosyunaimplementacionprototipicadegpt2paraunatareaespecificadegeneraciondelenguajenatural
_version_	1800220651490902016

Modelos de aprendizaje profundo para comprensión de textos y una implementación prototípica de GPT-2 para una tarea específica de generación de lenguaje natural

Ejemplares similares