ChatGPT as a linguist: can AI identify the grammatical category of available lexicon?
DOI:
https://doi.org/10.21814/diacritica.6700Keywords:
Lexical availability, Spanish as a foreign language, Antomated analysis, Large language models, Grammatical natureAbstract
This study focuses on lexical availability and explores the potential of artificial intelligence (AI) to automate the grammatical analysis of the available lexicon produced by learners of Spanish as a foreign language. Drawing on a sample of 876 university students from Portugal, Italy, and Egypt, the research is based on data collected through a lexical availability test consisting of 12 prompts, adapted to the aims of the study and the characteristics of the participant population. The main objective is to evaluate the performance of ChatGPT, specifically its GPT-4o model, in classifying lexical items according to their grammatical category. To this end, a custom model was developed using the few-shot technique, incorporating clear instructions and representative examples. The AI-generated classifications were then compared with a manually coded reference set, enabling an assessment of the model’s reliability, the identification of recurring errors, and the refinement of prompts to enhance performance. The results reveal a high degree of agreement between the two classifications, suggesting that AI-based tools can be valuable for optimising complex linguistic analysis. In addition, the study examines the grammatical distribution of the available lexicon across the different prompts, noting how it varies depending on the type of stimulus presented. The findings highlight the potential of AI as a methodological assistant, especially in contexts requiring the processing of large volumes of linguistic data, and they open new perspectives for its application in applied linguistics research.
References
Aabidi, L. (2019). La disponibilidad léxica en español como lengua extranjera: dos décadas de investigación científica. MarcoELE: Revista de Didáctica Español Lengua Extranjera, 28.
Brown, T., Mann, B., Ryder Nick, Subbiah, M., Kaplan, J., Dhariwal, P., Nellakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D., Wu, J., Winter, C., … Amodei, D. (2020). Language models are few-shot learners. En H. Larochelle, M. Ranzato, R. Hadsell, M. F. Balcan & H. Lin (Eds.), Advances in neural information processing systems (Vol. 33). https://doi.org/10.48550/arXiv.2005.14165
Carcedo González, A. (2000). Disponibilidad léxica en español como lengua extranjera: el caso finlandés (estudio del nivel preuniversitario y cotejo con tres fases de adquisición). Universidad de Turku.
Dao, X. Q., & Le, N. B. (2023). Investigating the effectiveness of ChatGPT in mathematical reasoning and problem solving: evidence from the Vietnamese National High School Graduation Examination. Cornell University. https://doi.org/10.48550/arXiv.2306.06331
Fernández Gómez, M. I. V. (2021). Estudio de disponibilidad léxica en estudiantes universitarios portugueses de ELE [Dissertação de mestrado, Universidade do Minho]. https://repositorium.uminho.pt/entities/publication/cce03ede-5029-4cda-b5d7-f46ecc1449d9
Fernández Juncal, C. (2013). Léxico disponible de Cantabria. Estudio sociolingüístico. Ediciones Universidad de Salamanca.
Fernández Smith, G., Rico Martín, A. M., Molina García, M. J., & Jiménez Jiménez, M. Á. (2008). Léxico disponible de Melilla: estudio sociolingüístico y repertorios léxicos. Arco Libros.
Gallego Gallego, D. J. (2014). Léxico disponible de estudiantes de español como lengua extranjera en la comunidad de Madrid [Tesis doctoral, Universidad de Alcalá]. https://hispanismo.cervantes.es/publicaciones/lexico-disponible-estudiantes-espanol-lengua-extranjera-comunidad-madrid
Galloso Camacho, M. V. (2003). El léxico disponible de Ávila, Salamanca y Zamora. Fundación Instituto Castellano y Leonés de la Lengua.
Gamazo Carretero, E. (2014). Estereotipos en el léxico disponible de universitarios portugueses. En A. M. Sainz García (Ed.), El español como lengua extranjera en Portugal: retos de la enseñanza de lenguas cercanas (pp. 30–41). Ministerio de Educación, Cultura y Deporte. https://www.educacionyfp.gob.es/dam/jcr:1db67ea5-d7c1-4dcc-8b53-30149a473d74/retos-ensenanza.pdf
Hernández Muñoz, N. (2005). Hacia una teoría cognitiva integrada de la disponibilidad léxica: el léxico disponible de los estudiantes castellano-manchegos [Tesis doctoral, Universidad de Salamanca]. https://dialnet.unirioja.es/servlet/tesis?codigo=142575
Hernández Muñoz, N., Tomé Cornejo, C., López García, M., & Bartol Hernández, J. A. (2023). Manual de LexPro. https://dispogram.usal.es/
Herreros Marcilla, M. (2020). Variación sociolingüística en el ámbito neorrural: una perspectiva integradora [Tesis doctoral, Universidad de Salamanca]. https://gredos.usal.es/handle/10366/144167
López-Chavez, J., & Strassburger, C. (2000). El diseño de una fórmula matemática para obtener un índice de disponibilidad léxica confiable. Anuario de Letras, 38, 227–251.
Mateo García, M. V. (1998). Disponibilidad léxica en el COU almeriense. Estudio de estratificación social. Servicio de Publicaciones de la Universidad de Almería.
Mendoza Puertas, J. D. (2018). El léxico disponible de 82 estudiantes coreanos de español como lengua extranjera. MarcoELE: Revista de Didáctica Español Lengua Extranjera, 26. https://marcoele.com/descargas/26/mendoza-lexico_disponible-coreanos.pdf
Nalesso, G. (2019). Disponibilidad y riqueza léxica en un grupo de estudiantes universitarios italianos de ELE [Tesis doctoral, Università degli Studi di Padova]. https://dialnet.unirioja.es/servlet/tesis?codigo=319076
Palapanidi, K. (2024). Estereotipos culturales sobre España en el léxico disponible de aprendices griegos de ELE. El Español Por El Mundo, 6(1), 99–108.
Palapanidi, K., & Mavrou, I. (2024). La naturaleza gramatical del léxico disponible en diferentes niveles lingüísticos en español como lengua extranjera. Revista Signos. Estudios de Lingüística, 57(114), 151–167.
Rodríguez Menduiña, P. (2010). Estereotipos culturales sobre España en estudiantes estadounidenses desde la disponibilidad léxica. Universidad de Salamanca.
Rodríguez-Echeverría, R., Gutiérrez, J. D., Conejero, J. M., & Prieto, Á. E. (2024). Analysis of ChatGPT performance in computer engineering exams. IEEE Revista Iberoamericana de Tecnologias Del Aprendizaje, 19, 71–80. https://doi.org/10.1109/RITA.2024.3381842
Ronan, P., & Schneider, G. (2023). Can ChatGPT solve a linguistics exam? Cornell University. https://doi.org/10.48550/arXiv.2311.02499
Rubio Lastra, M. (2018). Disponibilidad léxica de 52 estudiantes taiwaneses universitarios de ELE A1. MarcoELE. Revista de Didáctica Español Lengua Extranjera, 27. https://marcoele.com/descargas/27/rubio-disponibilidad_lexica_taiwanenes_a1.pdf
Rubio Sánchez, R. (2016). Estudio de disponibilidad léxica en 60 aprendices portugueses de español. En N. Domínguez García, C. Fernández Juncal, & J. L. García Alonso (Eds.), Innovación y desarrollo en español como lengua extranjera (pp. 107–128). Ediciones Universidad de Salamanca.
Rubio Sánchez, R. (2017). Acercamiento al léxico disponible de 173 estudiantes italianos preuniversitarios de Español como Lengua Extranjera. In F. Del Barrio de la Rosa (Ed.), Palabras vocabulario léxico. La lexicología aplicada a la didáctica y a la diacronía (pp. 143–161). https://doi.org/10.14277/6969-169-0/VP-1-9
Samper Hernández, M. (2001). Disponibilidad léxica en español como lengua extranjera [Memoria de licenciatura, Universidad de Salamanca].
Samper Padilla, J. A., Bellón Fernández, J. J., & Samper Hernández, M. (2003). El proyecto de estudio de la disponibilidad léxica en español. In R. Ávila (Ed.), Pautas y pistas en el análisis del léxico hispano(americano) (pp. 27–134). Iberoamericana - Vervuert. http://dialnet.unirioja.es/servlet/articulo?codigo=1703937
Sánchez Gómez, C. (2005). Naturaleza gramatical del léxico disponible en informantes del español como lengua extranjera. Interlingüística (Alacant, Spain), 16, 977–986.
Sánchez-Saus Laserna, M. (2011). Bases semánticas para el estudio de los centros de interés del léxico disponible. Disponibilidad léxica de informantes extranjeros en las universidades andaluzas [Tesis doctoral, Universidad de Cádiz]. https://rodin.uca.es/handle/10498/15862
Sánchez-Saus Laserna, M. (2016). Léxico disponible de los estudiantes de español como lengua extranjera en las universidades andaluzas. Editorial Universidad de Sevilla.
Santos Díaz, I. C. (2015). Evaluación de la competencia léxica bilingüe en estudiantes del Máster Universitario en Profesorado. Análisis de pruebas de disponibilidad léxica y de identificación de tecnicismos en español, inglés y francés [Tesis doctoral, Universidad de Málaga]. https://riuma.uma.es/entities/publication/148c2fbc-beb3-4981-86b5-d63cd3517523
Serfati, M. (2022). Comparación intralingüística de la disponibilidad léxica de español como lengua extranjera en Marruecos (niveles de enseñanza media y universitaria). Forma y Función, 35(1). https://doi.org/10.15446/fyf.v35n1.88892
Šifrar Kalan, M. (2009). Disponibilidad léxica en español como lengua extranjera: el cotejo de las investigaciones en Eslovenia, Salamanca y Finlandia. Verba Hispanica, 17(1). https://doi.org/10.4312/vh.17.1.165-182
Šifrar Kalan, M. (2014). Disponibilidad léxica en diferentes niveles de español/lengua extranjera. Studia Romanica Posnaniensia, 41(1), 63–85.
Tomé Cornejo, C. (2010). Aspectos metodológicos de los estudios de disponibilidad léxica. Los centros de interés. Universidad de Salamanca.
Tomé Cornejo, C. (2015). Léxico disponible. Procesamiento y aplicación a la enseñanza de ELE [Tesis doctoral, Universidad de Salamanca]. https://dialnet.unirioja.es/servlet/tesis?codigo=102596
Trigo Ibáñez, E., Dono López, P., & Fernández Gómez, I. V. (2025). Aproximación al léxico disponible en ELE de 42 estudiantes de la Universidade do Minho. En I. C. Santos Díaz & A. M. Ávila Muñoz (Eds.), Avances y desarrollo de los estudios sobre el léxico disponible: una aproximación desde la variación léxica. Peter Lang.
Wang, K. D., Burkholder, E., Wieman, C., Salehi, S., & Haber, N. (2024). Examining the potential and pitfalls of ChatGPT in science and engineering problem-solving. Frontiers in Education, 8. https://doi.org/10.48550/arXiv.2310.08773
Downloads
Published
Issue
Section
License
Copyright (c) 2026 Roberto Rubio Sánchez
This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.
