Qué cambia en la tabla
La pestaña de evaluaciones privadas permite consultar resultados por variedad y compararlos con el desglose del inglés estadounidense. Los nuevos conjuntos contienen 1,34 horas de conversación con acento egipcio y 1,55 con acento nigeriano. Las referencias conservan la puntuación y las disfluencias, como interrupciones o muletillas. Ese detalle importa porque distintos usos de una transcripción exigen conservar distintos rasgos de la conversación. [1] [2]
En una entrevista para redactar una noticia, puede interesar recuperar una cifra, un nombre o una cita exacta. En un resumen interno, quizá importe más identificar una decisión que conservar cada vacilación. En cambio, si la transcripción se usa para estudiar cómo habla la gente, quitar las vacilaciones puede eliminar parte de lo que se quiere observar. El mismo texto automático puede ser suficiente para el segundo caso y exigir bastante corrección para los otros dos.
Cómo usar los resultados para elegir
Pensemos en una redacción que graba entrevistas a distancia. Su primera decisión no tiene por qué ser contratar el sistema que encabeza la tabla general. Puede usar el desglose para escoger dos o tres candidatos y probarlos con fragmentos propios representativos, obtenidos con permiso. Conviene incluir nombres poco frecuentes, cifras y algún tramo donde dos personas se interrumpan. Así se prueba el trabajo que después tendrá que hacer quien revise la transcripción.
Una comparación útil mantiene el audio y las instrucciones iguales para todos. Separaría los errores que cambian el sentido de los que solo afectan al estilo. Confundir un apellido o transcribir mal una cantidad puede obligar a volver al audio. Perder una coma quizá solo requiera una edición rápida. También anotaría cuánto tarda una persona en dejar el texto listo. Para una redacción pequeña, ese tiempo puede ser más útil que una diferencia modesta en la clasificación.
Para una compra de software, repetiría la prueba con el canal que se vaya a utilizar. Un micrófono de estudio y una llamada desde un teléfono no generan el mismo audio. Si el producto se va a usar en reuniones con varias personas, incluiría un ejemplo con voces que se solapen. Si se usará con entrevistas individuales, daría más peso a los nombres propios y a la fidelidad de las citas. Son criterios de evaluación que propone Actualiza2 a partir de la documentación.
Disponibilidad y límites
La tabla se puede consultar en Hugging Face Spaces. Egipto y Nigeria identifican los acentos representados en estas pruebas. La novedad es un desglose en una herramienta de evaluación, y las grabaciones de ambos conjuntos son privadas. La tabla tampoco establece el precio, las condiciones comerciales ni la disponibilidad regional de cada sistema evaluado. Esas condiciones se consultan por separado para el producto que se quiera utilizar. [1] [2]
El tamaño de las dos colecciones limita lo que cabe concluir. Los resultados describen esos ejemplos, con sus hablantes, temas y condiciones de grabación. Una llamada con ruido, otro tipo de micrófono o una conversación que alterna idiomas puede producir errores distintos. Para decidir si un sistema sirve para publicar citas o automatizar actas, usaría la tabla para acotar la búsqueda y reservaría la decisión final a una prueba con audio propio. Actualiza2 ha revisado el anuncio y la tabla para este artículo. La comparación de sistemas con audio propio es una prueba propuesta.