Gadgetshowto
Avec la popularité de tant de plates-formes de streaming, le contenu devient assez diversifié et différent. De plus en plus de gens regardent des émissions en langue étrangère comme «Money Heist» et «Dark» car ce sont de bonnes émissions et sont disponibles dans le monde entier. Cependant, certains d'entre nous aiment regarder nos émissions dans une langue que nous comprenons. Parfois, les sous-titres ne suffisent pas. Cela dit, doubler des émissions étrangères dans une autre langue peut devenir chronophage et coûteux pour les sociétés de production. C'est la principale raison pour laquelle de nombreuses émissions ne sont pas doublées en langues étrangères. Eh bien, les chercheurs d'Amazon peuvent avoir une solution à ce problème.
Dans un article publié sur le serveur de pré-impression Arxiv.org, les chercheurs d'Amazon ont théorisé et testé une nouvelle technologie de «parole à parole». Il utilise L'IA pour convertir le discours original en discours traduit et affiner le discours traduit pour le rendre plus humain. Il ne s'agit que d'une première étape vers le développement d'un moyen plus simple et beaucoup moins coûteux de doubler des émissions et des films..
Comment ça fonctionne
Cette technologie «speech-to-speech» est beaucoup plus compliquée qu'il n'y paraît. Traduire un discours original en un discours étranger à l'aide d'ordinateurs est une tâche ardue. Il ne s'agit pas de traduire une langue vers une autre uniquement à partir de la ressource audio, mais plusieurs étapes sont impliquées.
Le processus de doublage automatisé comprend essentiellement 3 étapes. Tout d'abord, le discours original doit être converti au format texte. La deuxième étape consiste à traduire le texte dans la langue souhaitée. Enfin, le texte traduit génère le nouveau discours.
Maintenant, il y a des complications à développer le nouveau discours à partir de la synthèse vocale traduite. Le discours traduit doit correspondre à la vitesse et à l'émotion du discours original. Il devrait également transporter les sons de fond et éliminer la réverbération.
Pour faire fonctionner ce processus compliqué, les chercheurs d'Amazon ont confirmé que leur technologie de parole-parole a été formée sur plus de 150 millions de paires anglais-italien de phrase pour déterminer la vitesse d'un segment de parole de la parole traduite pour correspondre à la vitesse de la parole d'origine. Cette étape garantit que les pauses et les pauses dans le discours traduit correspondent au discours original.
Un modèle en phase de synthèse vocale s'est entraîné sur 47 heures d'enregistrements vocaux. Ce modèle génère une séquence de contexte à partir du texte qui est introduit dans un vocodeur pré-entraîné, qui transforme la séquence en une forme d'onde de parole.
Cette technologie est également capable d'extraire les sons de fond de l'audio d'origine et de les mettre dans l'audio traduit pour le rendre plus similaire à l'audio d'origine. Enfin, une étape distincte appelée étape de réverbération est appliquée pour ajouter la réverbération de l'audio d'origine à l'audio traduit..
Sera-ce utile?
Le processus est sûrement compliqué, mais les chercheurs ont écrit que leurs futurs travaux seront consacrés aux améliorations du doublage automatique. Cela peut éliminer la nécessité pour les acteurs de doubler un spectacle ou un film dans une autre langue. Il deviendra moins chronophage et beaucoup moins coûteux de doubler le contenu dans la langue souhaitée. Et oui, cela profitera aux maisons de production pour offrir plus de spectacles et de films aux téléspectateurs en rendant la liste beaucoup plus diversifiée.
