Cando unha empresa decide integrar tradución automática (TA) nos seus procesos —xa sexa para localizar contido, atender clientes en varias linguas ou acelerar a produción de documentación—, tarde ou cedo xorde a mesma pregunta: como sabemos que o sistema traduce ben?
A resposta parece sinxela, pero non o é. Medir a calidade dunha tradución automática require decisións metodolóxicas que, se non se abordan adecuadamente, poden levar a conclusións erróneas. Este é o primeiro dunha serie de artigos nos que repasaremos os elementos clave que hai que ter en conta no proceso de avaliación da tradución automática.
1. Datasets de avaliación
1.1. Que quero medir?
Nun post anterior xa abordamos a importancia dos datasets como a base invisible sobre a que se sustenta a intelixencia artificial. Á hora de avaliar a tradución automática, escoller os datasets de avaliación non é unha decisión menor. O primeiro paso é ter clara unha cuestión: que nos interesa medir?
Non é o mesmo avaliar:
- a corrección lingüística dunha tradución (gramática, terminoloxía, fluidez);
- a súa coherencia discursiva ao longo dun texto completo;
o seu rendemento nun dominio específico (xurídico, médico, técnico etc.);
o seu comportamento ante fenómenos concretos (tradución de URL, códigos, topónimos etc.).
Cada un destes obxectivos require un tipo de dataset diferente. Unha empresa que traduce contratos legais non ten as mesmas necesidades que outra que traduce descricións de produtos para un catálogo. Definir con claridade o obxectivo da avaliación é o primeiro paso e, moitas veces, tamén un dos que máis se pasa por alto.
1.2. Tipos de datasets
1.2.1. A nivel de frase
Historicamente, os datasets de avaliación en TA construíronse a nivel de frase: conxuntos de frases orixinais coas súas traducións de referencia, avaliadas de forma independente unhas das outras (Costa-jussà, 2022; Federico et al., 2012; Tiedemann, 2020).
Este enfoque leva décadas empregándose por razóns prácticas e históricas. Desde a tradución estatística (en inglés Statistical Machine Translation, SMT) nos anos noventa, os corpus de adestramento dos sistemas de TA estaban divididos en frases. Mesmo coa chegada dos primeiros Transformers (Vaswani et al., 2017), a capacidade de tradución dos modelos estaba limitada, en boa medida, a este nivel. Porén, este enfoque ten un problema fundamental: ao avaliar frases illadas, pérdese toda a información de contexto (Castilho, 2021).
Isto significa que un sistema pode obter puntuacións moi boas frase a frase e, aínda así, producir un texto final incoherente, con pronomes mal resoltos, terminoloxía inconsistente entre parágrafos ou un rexistro que cambia sen motivo ao longo do documento. En definitiva, a avaliación a nivel de frase pode facer parecer "bo" un sistema que, no uso real, xera textos pouco naturais ou difíciles de ler cando se consideran no seu conxunto.
1.2.2. A nivel de parágrafo
Nos últimos anos, o paradigma de avaliación está cambiando. Como solución intermedia entre a frase illada e o documento completo, existen datasets de avaliación a nivel de parágrafo. Este formato permite capturar parte do contexto discursivo —como a coherencia entre frases próximas ou a resolución de correferencias a curto alcance— sen requirir a complexidade de avaliar documentos enteiros (Andrews et al., 2025).
É unha opción especialmente útil cando se traballa con contido estruturado en unidades relativamente autocontidas, como parágrafos dunha ficha de produto ou seccións dunha FAQ, e permite obter unha avaliación máis realista que a nivel de frase.
1.2.3. A nivel de documento
Avaliar a nivel de documento significa observar como se comporta o sistema ante un texto completo, con toda a súa estrutura, coherencia interna e dependencias entre frases (correferencias, tempo verbal, terminoloxía consistente etc.).
Como se comentou anteriormente, hai erros na tradución que só son detectables cando se avalía o documento completo e non frases illadas. Fenómenos como a resolución de anáforas, a consistencia terminolóxica ao longo do texto ou a coherencia estilística desaparecen —ou simplemente non se poden avaliar— cando se traballa con frases soltas.
As avaliacións baseadas unicamente en frases individuais tenden a sobreestimar a calidade real dos sistemas, xa que ocultan erros que só emerxen no contexto máis amplo do documento (Barrault et al., 2019; Castilho, 2020; Toral et al., 2018).
Para unha empresa, isto é especialmente relevante: se o contido que se traduce son manuais, artigos, correos, páxinas web, documentos ou calquera texto con continuidade, unha avaliación a nivel de documento dará unha imaxe moito máis fiel da calidade que realmente recibirán as persoas usuarias finais.
1.2.4. Test-suites
As test-suites son un tipo de recurso de avaliación diferente dos anteriores. En lugar de intentar medir a calidade xeral dun sistema, están deseñadas especificamente para detectar como se comporta ante fenómenos lingüísticos concretos: concordancia de xénero, tempos verbais, expresións idiomáticas, ambigüidade léxica, negación, unidades de medida etc.
Cada exemplo dunha test-suite constrúese de forma controlada para illar un fenómeno moi específico, de xeito que se poida determinar con precisión se o sistema o resolve correctamente ou non. Isto fai que sexan especialmente útiles para:
- diagnosticar debilidades concretas dun sistema (por exemplo, se traduce mal as URL, os códigos, os nomes propios etc.);
- comparar sistemas en aspectos específicos relevantes para un dominio ou lingua determinada;
- facer seguimento da evolución dun sistema tras actualizacións ou novos adestramentos.
As test-suites poden estar deseñadas tanto a nivel de frase como de parágrafo (Balkan, 1994; Savoldi et al., 2023; Kocmi et al., 2025). Non substitúen os datasets xerais, senón que os complementan: mentres un dataset xeral ofrece unha visión global de calidade, unha test-suite permite entender como se comporta o sistema ante casos concretos e diagnosticar posibles debilidades.
2. Problemas derivados dunha mala construción dos datasets
Ter datasets de avaliación non abonda: se están mal construídos, os resultados poden ser enganosos e levar a decisións erróneas. Algunhas afirmacións sobre a paridade entre a calidade da tradución automática e da tradución humana estiveron relacionadas con deseños inadecuados dos datasets de avaliación (Hassan et al., 2018).
2.1. O texto orixinal e o problema do translationese
Unha regra básica, pero frecuentemente ignorada, é que o texto orixinal dun dataset de avaliación debe estar escrito directamente na lingua de orixe, e non ser xa unha tradución desde outra lingua.
Cando isto non se cumpre, aparece o fenómeno coñecido como translationese (Baker, 1993): un texto traducido —aínda que sexa por persoas expertas— tende a presentar padróns lingüísticos distintos dos dun texto orixinal escrito por unha persoa nativa, como estruturas sintácticas máis simples, calcos da lingua de partida ou unha menor variedade léxica.
Se o "orixinal" empregado nun dataset de avaliación é, en realidade, unha tradución doutra lingua, o sistema de TA está a traducir un texto que xa presenta trazos propios da tradución. Isto pode facer que o dataset resulte máis sinxelo para os sistemas de tradución automática (Graham et al., 2020; Zhang et al., 2019). Por iso, para realizar unha avaliación fiable, é imprescindible verificar a procedencia real dos textos orixinais.
2.2. As referencias non deberían ser postedicións de TA
Outro erro habitual e potencialmente problemático é utilizar como "referencia humana" un texto que, en realidade, é unha tradución automática posteditada por unha persoa.
Aínda que unha postedición implica intervención humana, o texto resultante pode conservar decisións e estruturas propias do sistema automático que o xerou. Se esa referencia se utiliza posteriormente para avaliar sistemas de TA —incluído, potencialmente, o mesmo sistema que a xerou orixinalmente—, pode introducirse un nesgo sistemático: os sistemas cuxas saídas se parecen máis ao estilo do sistema que produciu a postedición poden obter puntuacións artificialmente máis altas, non necesariamente porque traduzan mellor, senón porque a "referencia" xa está máis próxima ao seu propio estilo.
Por iso, as referencias empregadas nunha avaliación deberían ser sempre traducións realizadas por persoas expertas desde cero, sen partir dunha saída de tradución automática. Se iso non é posible, o nesgo introducido debe terse en conta antes de extraer conclusións ou tomar decisións a partir dos resultados.
3. Conclusións
Medir a calidade da tradución automática non consiste simplemente en executar unha métrica e obter un número. Require:
- Ter claro que se quere medir antes de escoller un dataset.
- Escoller o nivel de granularidade adecuado (frase, parágrafo ou documento) en función do uso real que se lle vai dar á tradución.
- Complementar a avaliación con test-suites cando sexa necesario diagnosticar fenómenos lingüísticos concretos.
Avaliar o sistema no dominio específico no que se vai empregar, xa que un mesmo sistema pode ofrecer resultados moi diferentes segundo o ámbito. Por exemplo, pode ir moi ben no dominio legal e presentar máis problemas no xornalístico.
- Garantir que os datasets están ben construídos: textos orixinais realmente orixinais (non translationese) e referencias humanas xenuínas, non postedicións de TA.
Para unha empresa que depende da tradución automática para comunicarse cos seus clientes, investir tempo nunha avaliación rigorosa non é un exercicio académico: é o que permite comprobar que a tecnoloxía empregada responde realmente ás necesidades do seu uso, e non só ofrece bos resultados sobre o papel.
BIBLIOGRAFÍA
Costa-Jussà, Marta R., et al. "No language left behind: Scaling human-centered machine translation." arXiv preprint arXiv:2207.04672 (2022).
Tiedemann, Jörg. "The tatoeba translation challenge–realistic data sets for low resource and multilingual MT." Proceedings of the fifth conference on machine translation. 2020.
Federico, Marcello, et al. "Overview of the IWSLT 2012 evaluation campaign." Proceedings of the 9th International Workshop on Spoken Language Translation: Evaluation Campaign. 2012.
Vaswani, Ashish, et al. "Attention is all you need." Advances in neural information processing systems 30 (2017).
Castilho, Sheila. "Towards document-level human MT evaluation: On the issues of annotator agreement, effort and misevaluation." Proceedings of the workshop on human evaluation of NLP systems (HumEval). 2021.
Andrews, Pierre, et al. "BOUQuET: dataset, benchmark and open initiative for universal quality evaluation in translation." Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing. 2025.
Castilho, Sheila, Maja Popović, and Andy Way. "On context span needed for machine translation evaluation." Proceedings of the Twelfth Language Resources and Evaluation Conference. 2020.
Toral, Antonio, et al. "Attaining the unattainable? reassessing claims of human parity in neural machine translation." Proceedings of the third conference on machine translation: Research papers. 2018.
Barrault, Loïc, et al. "Findings of the 2019 conference on machine translation (WMT19)." Proceedings of the Fourth Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1). 2019.
Balkan, Lorna. "Test Suites: some issues in their use and design." Proceedings of the Second International Conference on Machine Translation: Ten years on. 1994.
Kocmi, Tom, et al. "Findings of the wmt25 general machine translation shared task: Time to stop evaluating on easy test sets." Proceedings of the tenth conference on machine translation. 2025.
Hassan, Hany, et al. "Achieving human parity on automatic chinese to english news translation." arXiv preprint arXiv:1803.05567 (2018).
Graham, Yvette, Barry Haddow, and Philipp Koehn. "Statistical power and translationese in machine translation evaluation." Proceedings of the 2020 conference on empirical methods in natural language processing (EMNLP). 2020.
Zhang, M., & Toral, A. (2019). The effect of translationese in machine translation test sets. Proceedings of the Fourth Conference on Machine Translation (Volume 1: Research Papers).
Baker, M. (1993). Corpus: Linguistics and Translation Studies: Implications and Applications. In M. Baker, G. Francis, & E. Tognini-Bonelli (Eds.), Text and Technology: In honor of John Sinclair. Amsterdam (pp. 233-250). John Benjamins.
Savoldi, Beatrice, et al. "Test suites task: Evaluation of gender fairness in MT with MuST-SHE and INES." Proceedings of the Eighth Conference on Machine Translation. 2023.
