«AutoFlip» de Google est conçu pour recadrer les vidéos de manière intelligente

Traditionnellement, les gens utilisaient des téléviseurs au format 16: 9 ou 4: 3 pour regarder des vidéos. Cependant, avec les appareils récents, les gens regardent et créent des vidéos dans un éventail de proportions. Recadrer des vidéos pour les adapter aux écrans de ces appareils est une tâche fastidieuse pour les conservateurs vidéo. Heureusement, Google est prêt à recadrer les vidéos en douceur.

Récemment, dans un article de blog, Google a annoncé un outil open source pour recadrer et recadrer des vidéos pour les adapter à n'importe quel écran. AutoFlip est l'outil qui utilise la technologie de détection et de suivi d'objets basée sur l'apprentissage automatique (ML) pour recadrer automatiquement les vidéos.

AutoFlip - Pour un recadrage vidéo intelligent

Google a créé cet outil se débarrasser de la méthode conventionnelle de culture statique pour recadrer des vidéos. La méthode de recadrage statique implique des techniques peu fiables de recadrage vidéo, c'est-à-dire la spécification d'une fenêtre de caméra pour la vidéo, puis le recadrage de tout ce qui se trouve en dehors de cette zone. Cette méthode produit une sortie indésirable des vidéos.

Le Google Autoflip est capable de nombreuses fonctionnalités avancées qui incluent détection de coup, analyse de contenu vidéo et enfin recadrage. Permettez-moi de résumer brièvement chacune de ces stratégies de recadrage.

Détection de prise de vue (scène)

Une scène ou un plan dans une vidéo est une séquence continue d'images sans aucune coupure. S'il y a un changement dans le plan ou la scène d'une vidéo, L'AutoFlip de Google peut détecter le changement en comparant l'histogramme des couleurs des cadres précédents avec les nouveaux. Un changement de prise de vue est détecté lorsque la distribution de la couleur de l'image change à une vitesse différente de celle d'une fenêtre historique glissante. L'outil, pour optimiser le processus de recadrage, met en tampon toute la vidéo avant de prendre des décisions de recadrage.

Analyse du contenu vidéo

En utilisant cette stratégie, l'outil détecte les objets et les personnes importants dans la vidéo. Il utilise des modèles de détection d'objets basés sur l'apprentissage en profondeur pour identifier les objets. Avec ce modèle, l'outil peut même détecter les superpositions de texte ou les logos de marque et d'autres éléments tels que le mouvement ou la balle pour les vidéos de sport. Les modèles de détection de visage et d'objet sont intégrés dans l'outil via MediaPipe. Il s'agit essentiellement d'un cadre de traitement de données multimodales en développant des pipelines. Ce framework utilise le framework TensorFlow Lite ML de Google sur les processeurs.

Recadrage

Après avoir identifié les personnes et les objets dans les vidéos, l'outil prend des décisions logiques sur la façon de recadrer la vidéo. AutoFlip choisit l'une des trois stratégies de recadrage pour recadrer le contenu - stationnaire, panoramique ou suivi. L'outil choisit la stratégie optimale en fonction du contenu de la vidéo. Par exemple, en mode stationnaire, la fenêtre de la caméra recadrée reste fixe dans une position stationnaire où la plupart des scènes importantes de la vidéo sont présentes. Pour les vidéos contenant du mouvement, il utilise le panoramique en déplaçant la fenêtre de la caméra recadrée à une vitesse constante. Lorsqu'il y a des sujets intéressants dans le cadre, le mode Tracking entre en vigueur.

En fonction de la stratégie de recadrage choisie par l'algorithme, une fenêtre de recadrage optimisée pour chaque image est définie par AutoFlip. Cela préserve le contenu important de la vidéo de la meilleure façon possible.

Google a diffusé cet outil directement aux développeurs et aux cinéastes dans le but de "réduire les barrières à leur créativité de conception et atteindre grâce à l'automatisation du montage vidéo«. Du paysage au portrait ou du portrait au paysage, quel que soit le cas, AutoFlip est conçu pour offrir le meilleur résultat possible.