Vera: como avaliar, comparar e mellorar modelos de tradución automática con máis confianza

A tradución automática avanza moi rápido. Vera axuda a converter a avaliación de modelos en evidencia útil para decidir que sistema usar, mellorar ou despregar.

 

A avaliación da tradución automática xa non pode depender dunha única métrica

A tradución automática avanzou de xeito extraordinario nos últimos anos. Os modelos neuronais, os sistemas personalizados e, máis recentemente, os grandes modelos de linguaxe (LLM) ampliaron enormemente as posibilidades de automatizar procesos de tradución en empresas, administracións públicas, medios de comunicación, universidades e organizacións multilingües.

Pero este avance tamén presenta unha pregunta cada vez máis importante: como sabemos que modelo de tradución automática funciona mellor?

A resposta non sempre é sinxela. Un modelo pode obter unha boa puntuación automática e, aínda así, cometer erros relevantes en terminoloxía, estilo, omisións, fluidez ou adecuación ao contexto. Outro pode parecer peor nunha métrica global, pero comportarse mellor nun dominio concreto. E cando os modelos se actualizan ou se adaptan a novos datos, poden aparecer melloras, pero tamén degradacións difíciles de detectar.

Neste escenario, avaliar a calidade da tradución automática xa non consiste só en obter unha puntuación, senón en tomar mellores decisións.

 

O problema: moitas métricas, pouca evidencia accionable

A avaliación de modelos de tradución automática adoita estar fragmentada. En moitos equipos conviven scripts independentes, follas de cálculo, métricas automáticas, revisións humanas, informes manuais e comparacións difíciles de reproducir. 

Isto xera varios problemas. Por un lado, as métricas automáticas permiten analizar grandes volumes de datos, pero non explican por que un modelo falla. Por outro, a avaliación humana achega criterio lingüístico, pero pode resultar custosa, difícil de organizar e complexa de comparar se non existe un fluxo de traballo estruturado.

O resultado é que moitas organizacións teñen datos, pero non sempre teñen unha visión clara para responder a preguntas clave: que modelo ofrece mellor calidade para un dominio concreto, se unha nova versión mellora realmente á anterior, que erros son máis frecuentes, se as métricas automáticas coinciden coa avaliación humana ou se un sistema é fiable dabondo antes de levalo a produción.

Para responder a estas preguntas fai falta algo máis que unha métrica illada. Fai falta unha plataforma que permita avaliar, comparar, analizar e decidir.

 

Vera: avaliación automática e humana nun único fluxo

Vera é unha plataforma web para a avaliación, a comparación e a mellora de modelos de tradución automática.

O seu obxectivo é integrar nun mesmo contorno os elementos principais do proceso de avaliación: métricas automáticas, revisión humana baseada en MQM (Multidimensional Quality Metrics), comparación de modelos, análise de erros, correlacións e informes.

Con Vera, un equipo pode cargar un conxunto de datos, comparar as saídas de diferentes modelos, calcular métricas automáticas, revisar segmentos mediante avaliación humana, filtrar erros e analizar os resultados de forma visual. Todo dentro dun fluxo máis ordenado, reproducible e orientado á toma de decisións.

A idea é sinxela: pasar dunha avaliación dispersa a unha avaliación estruturada.
 

vera workflow

 

 

Avaliación automática para comparar modelos a escala

A primeira capa de Vera é a avaliación automática. A plataforma permite calcular métricas que axudan a comparar modelos, versións ou configuracións de tradución automática de forma rápida e consistente.

Esta avaliación é especialmente útil cando se traballa con grandes volumes de datos ou cando se necesita unha primeira aproximación obxectiva ao rendemento de varios sistemas. Permite detectar diferenzas, observar tendencias e seleccionar que casos requiren unha revisión máis detallada.

Ademais, Vera incorpora análises estatísticas para axudar a determinar se as diferenzas entre modelos son realmente significativas. Isto evita tomar decisións baseadas unicamente en pequenas variacións de puntuación que poden non ser relevantes.

metrics vera

 

Avaliación humana para entender os erros

As métricas automáticas son necesarias, pero non suficientes. Por iso Vera incorpora avaliación humana baseada no marco MQM, que permite identificar e clasificar erros con maior precisión lingüística.

A través da anotación humana, as persoas avaliadoras poden revisar segmentos, marcar e clasificar erros e asignar niveis de gravidade. Isto permite entender mellor que está a ocorrer: se un modelo falla en terminoloxía, se omite información, se produce traducións pouco naturais ou se presenta problemas específicos en determinados dominios ou pares de linguas.

Ademais da avaliación MQM, Vera tamén permite asignar unha puntuación do 1 ao 10 a cada segmento por cada persoa avaliadora, e adapta o método de avaliación Direct Assessment (DA) a unha escala máis manexable.

Esta capa de avaliación é clave para pasar do «que modelo puntúa mellor» ao «por que un modelo é más fiable ca outro».

evaluación humana

 

Análise para converter resultados en decisións

O valor de Vera non está só en calcular métricas ou permitir anotacións. Está en conectar toda esa información para facilitar a toma de decisións.

A plataforma permite analizar correlacións entre avaliación automática e humana, filtrar erros por tipo ou severidade, comparar modelos visualmente e xerar resultados que poden utilizarse en procesos de investigación, validación, mellora continua ou despregamento en produción.

Isto resulta especialmente útil cando unha organización necesita decidir que modelo utilizar, xustificar unha elección técnica, controlar a evolución dun sistema ou detectar regresións tras unha actualización.

En lugar de limitarse a dicir que modelo obtén unha puntuación máis alta, Vera axuda a entender en que modelo se pode confiar nun contexto determinado.

graphics vera

 

Para quen é Vera?

Vera está pensada para equipos que traballan con tradución automática e precisan avaliar a calidade con rigor.

Pode ser útil para grupos de investigación, universidades, equipos de tradución, empresas tecnolóxicas, administracións públicas, provedores de servizos lingüísticos ou organizacións que despregan tradución automática en fluxos reais de traballo.

Tamén resulta especialmente relevante en contextos onde a calidade lingüística, a rastrexabilidade e a capacidade de xustificar decisións son críticas: localización de software, medios de comunicación, documentación institucional, servizos públicos, tradución especializada ou avaliación de sistemas multilingües.

 

Vera na EAMT 2026: interese da comunidade investigadora e da industria

Vera foi presentada na conferencia da EAMT (European Association for Machine Translation) 2026, un dos principais encontros internacionais especializados en tradución automática e tecnoloxías de tradución. A presentación permitiu compartir a proposta da plataforma cunha audiencia formada por investigadores, universidades, empresas tecnolóxicas, equipos de tradución e profesionais que traballan directamente coa avaliación e co despregamento de sistemas de tradución automática.

O interese xerado durante o evento confirmou unha necesidade cada vez máis visible no sector: contar con ferramentas que non se limiten a calcular métricas, senón que axuden a comparar modelos, validar resultados, detectar erros e tomar decisións con maior confianza. Tanto desde o ámbito investigador como desde a industria, Vera espertou conversas arredor da avaliación híbrida, da combinación de métricas automáticas e revisión humana, da rastrexabilidade dos resultados e da necesidade de controlar a calidade de modelos que evolucionan de forma continua.

Esta recepción reforza o enfoque de Vera como unha plataforma pensada para conectar investigación, validación lingüística e aplicación práctica. O seu valor non está só en avaliar modelos, senón en facilitar que os equipos poidan entender mellor o seu comportamento, xustificar as súas decisións e avanzar cara a procesos de mellora continua en tradución automática.

 

 

Da avaliación á mellora continua

A tradución automática xa non é unha tecnoloxía estática. Os modelos cambian, os datos cambian e as necesidades das persoas usuarias tamén. Por iso a avaliación non debería entenderse como unha acción puntual, senón como un proceso continuo.

Vera axuda a construír ese proceso. Permite comparar, validar e analizar modelos de forma máis sistemática, combinando a velocidade da avaliación automática coa profundidade da revisión humana.

En definitiva, Vera permite responder con máis evidencia a unha pregunta esencial: en que modelo de tradución automática podemos confiar para este caso de uso?

 

Reserva unha demo de Vera

Se a túa organización traballa con tradución automática e precisa comparar modelos, validar a calidade ou mellorar os seus sistemas, accede á páxina de Vera, solicita unha demo e descubre como Vera pode axudarche a converter a avaliación en decisións máis fiables.

Tes un proxecto?

Pídenos orzamento sen compromiso.