Abstract
<p>Este estudo investiga se LLMs com capacidade de processamento de áudio categorizam o sotaque em inglês-L2 de maneira semelhante a avaliadores humanos. Comparam-se avaliações do Google Gemini Flash e Gemini Pro com julgamentos de avaliadores nativos de inglês norte-americano, utilizando gravações de falantes brasileiros do CSLU: Foreign Accented English Corpus (Lander, 2007). A partir de 36 enunciados avaliados em uma escala de quatro pontos, as distribuições foram comparadas por meio de modelos mistos de ligação cumulativa (CLMM), coeficientes kappa e matrizes de confusão. A análise revelou divergências sistemáticas: ambos os LLMs superestimaram o grau de sotaque, recorrendo à categoria 4/sotaque forte em proporções ausentes na linha de base humana. O Gemini Pro apresentou o maior viés (OR = 8,25), contrariando a premissa de que maior sofisticação computacional produz avaliações mais alinhadas à percepção humana. Os baixos coeficientes de concordância confirmam que a variabilidade entre avaliadores supera a convergência entre eles. Os resultados indicam que os modelos analisados parecem carecer da tolerância sociofonética que caracteriza o julgamento humano, não devendo ser utilizados como substitutos na avaliação de sotaque em L2.</p>