Cherche outils vidéo pour faire du compositing en temps réel

Salut,

Voilà peut être que vous connaissez des outils vidéo open source ou freeware qui font le job.

C'est souvent surprenant de voir que l'on trouve des outils plus développés que des logiciels payants.
Par exemples les options d'export de ShotCut ou de Kdenlive sont impressionnantes, 100% customisable grâce à FFmpeg qui est la référence des encodeurs logiciels. On peut faire du lossless avec.

Je fais des tests de logiciels pour le compositing en temps réel
J'adore Resolve mais pour créer il faut parfois des logiciels plus simples. J'avais eu un bon feeling avec des petits logiciels comme Magix 2004, il était super pour mettre en place des effets vidéos en temps réel classiques basés sur la superposition de couches, les keys en luma ou chroma et les détections des contours, ses limites étaient très bien car cela m'évitait de me perdre. J'arrive à faire la même chose avec Resolve mais cela prend plus de temps de gérer les nodes, c'est beaucoup moins rapide dans un processus de création, trop technique.
Peut être qu'il faut je trouve un logiciel plus orienté VJ.

J'avais fait cette vidéo avec Magix 2004 en 2017 avec des plans filmés avec un portable:

Je comprends mieux tes besoins. Je te conseille dans ce cas des softs de vjing. J'y ai pas touché depuis des années mais déjà certaines solutions étaient bien optimisées. Sinon et si tu as la patience je te conseille de regarder VVVV, outil de programmation graphique nodale un peu dans le genre de max/msp pure data. Il est surpuissant et tu peux faire faire un peu près tout mais c'est de la programmation (qui reste accessible mais demande beaucoup de temps). Voilà bon courage

Oui, je connais VVV, j'ai même essayé le mapping vidéo de Blender  mais c'est trop long à mettre en place.
Soit les logiciels sont puissants mais se sont des usines à gaz, soit on ne peut pas faire grand chose avec un minimum de qualité et de complexité.
Pour l'instant il n'y a que Resolve et Kdenlive qui peuvent faire l'affaire pour le temps réel mais Resolve lag souvent en temps réel avec une timeline multicouches bien garnie et Kdenlive est beaucoup moins optimisé. L'option du cache de Resove n'est pas pratique et il  n'est pas capable de supprimer les images pour une lecture en temps réel fluide malgré une bonne config. Je vais peut être passer aux anciennes versions qui étaient seulement pour le montage vidéo, sans Fusion. C'est important pour un montage sur la musique que les images soient synchro en lecture même si on en voit que 10 sur 25 ou 50. Avec ces deux logiciels on peut réduire la résolution du moniteur pour le preview mais avec les filtres pour la détection de contour, genre sobel , on ne se rend pas compte du résultat final.
Il faut que je me fixe sur une méthode de travail mais j'ai quand même l'espoir de trouver un outil simple de manipulation des couches vidéos en temps réel.

a+

J'avais un bon souvenir de Resolume, l'as tu testé ?
Sinon peut être du hardware vidéo, genre mélangeur vidéo

Je prends le sujet au vol mais c’est une question que je me suis toujours posée de pouvoir mettre sur YouTube par exemple avec de la musique ou du podcast des animations aléatoires ou bien style fractal.

J’ai un peu regardé mais tout est fait à partir de vidéos, j’aimerais simplement avec une photo dont l’image se dégrade très progressivement, un peu comme on fait avec nos modules à partir d’une onde de base, mais pas forcément générée à partir du son ce qui compliquerait encore plus l’affaire, Uniquement avec des paramétrages de couleurs, de temporisation, de ratios de déformation, etc... Pas de programmation, juste des tirettes à ajuster.

Mais peut-être ça n’existe pas, j’ai toujours des idées bizarres. De plus je suis OS X et iOS

Si je viens perturber votre idée de départ dites-le-moi j’ouvre un sujet nouveau

@Franz, regarde OBS studio. Il me semble que tu peux avoir ce genre de résultat

Ah merci Sidiblue ! je viens d’aller voir en vitesse et ça pourrait correspondre en effet, je vais aller voir en profondeur ce qu’il fait pour l’image car pour le son ça ne m’intéresse pas

@Franz, ah si c'est juste pour la vidéo il y'a mieux peut être. OBS est une solution de streaming gratuite et multiplateforme pour la diffusion. Ca a l'avantage de tout centraliser et de ne pas passer par 2-3 softs en tout. Tiens nous au courant

Il y a des externals pour Pd qui permettent de traiter video en temps réel, mais je n'ai aucune expérience de ça. Est-ce que tu veux faire de video interactive ? Autrement je n'y vois pas la nécessité, à part que ça pourrait être pratique. Je connais bien la difficulté autant que l'importance de la synchronisation d'image et son, il faut avoir un bon plan et un peu de patience pour faire quelques essais.

Dans mes animations je me suis restraint aux outils simples et puissants (les outil sont simples, pas leur utilisation !) : programmation en C++ avec pngwriter pour exporter les images, parfois gimp et image magick et enfin ffmpeg pour créer le video.

@Franz : Le truc d'une image qui se déforme est très intéressant, voici comment je l'ai fait avec la télé.
[Vous devez être inscrit et connecté pour voir ce lien]

Oulala ! Là vous faites tous de l’art graphique

Je ne suis pas du tout là-dedans, j’en suis bien incapable. Ce qu’il me faut c’est uniquement à partir d’une photo quelconque des déformations de tous ordres aléatoires et automatiques.

J’ai plusieurs app dans le genre mais on ne peut pas y introduire ses images personnelles, ce sont en général des cubes, des carrés, des bulles etc... qui se baladent en tous sens et bien entendu ce sont  toujours les mêmes objets alors qu’avec une photo il y aurait des couleurs un peu éparses et des formes différentes qui généreraient une plus grande diversité

J’en ai une aussi pas mal mais qui fonctionne avec des vidéos et qui déforme toutes les images. Il faudrait que je crée une vidéo avec une image fixe peut-être

J’ai mis un jour une composition sur YouTube avec une espèce de vidéo faite avec des images que j’avais prises en Bretagne. Mais pour ça il faut des images et je ne suis pas un grand chasseur d’images, j’ai mis un temps fou pour faire ce montage... deux fois plus que pour créer la musique  

Je vous montre l’exemple tout de même pour votre écoute mais ce n’est pas du modulaire c’est juste une rêverie car je suis un grand rêveur  



Pour ma musique rêverie les images ici vont bien mais pour du modulaire... ?  

Mais là je suis en train de bouffer le sujet qu’a lancé KX77free  

Il y a des logiciels de montage libres comme Openshot (moyen) et ShotCut (mieux) qui ont l'avantage d'être plus simples que DaVinci Resolve mais qui offrent moins de possibilités.

Sinon, je pense que pour du vrai bricolage vidéo/audio, Pure Data, Max MSP ou encore Processing, sont effectivement l'idéal mais c'est de la programmation plus ou moins graphique.

Sinon voir eut-être su côté des logiciels de création de jeux vidéo comme Unreal Engine ?

++

Edit : Des petits trucs sympas qui peuvent servir : Puce Muse

satrama a écrit:

Il y a des logiciels de montage libres comme Openshot (moyen) et ShotCut (mieux) qui ont l'avantage d'être plus simples que DaVinci Resolve mais qui offrent moins de possibilités.

Sinon, je pense que pour du vrai bricolage vidéo/audio, Pure Data, Max MSP ou encore Processing, sont effectivement l'idéal mais c'est de la programmation plus ou moins graphique.

Sinon voir eut-être su côté des logiciels de création de jeux vidéo comme Unreal Engine ?

++

Edit : Des petits trucs sympas qui peuvent servir : Puce Muse

salut,

Tu m'as coupé l'herbe sous le pied.

Exactement Shotcut je voulais le conseiller à Franz car il est ultra simple à prendre en main, il est vraiment idéal pour les débutant(e)s. De plus il permet vraiment de faire des vidéos avec une très bonne qualité au final dans tous les formats.

Les raisons pour lesquelles je vais l'utiliser seulement pour faire des trucs simples est qu'il ne peut pas imbriquer les plans et qu'il ne gère pas le in et out sur la timeline, surtout pour l'export mais c'est un détail qui gène seulement les habitué(e)s du montage.

Pour Resolve je suis repassée à la dernière release 16 et j'ai compris pourquoi il laguait, c'était les filtres grand angle OpenFX.
Enfin je suis quand même obligée de voir le résultat en demie résolution si je lis pleins de couches en même temps et que je veux un défilement fluide par rapport au montage.
C'est embêtant seulement pour les personnes comme moi qui utilisent pleins de filtres sobels pour générer des contours assez fins.
Mais la gestion du cache est assez mal fichue si on compare à Kdenlive qui peut générer des previews et des proxy en mp4 pour réduire le débit du disque.
Il faut que je check ce truc là dans les préférences de Resolve.
Sinon je sais comment compiler des filtres optimisés CUDA mais je n'ai pas le temps d'apprendre le language DSP graphique c++ cuda, on verra plus tard.

Et pour mes tests j'ai réussi à configurer Kdenlive, il ne gère que le disque C: pour le cache et les fichiers proxy...

J'ai trouvé petit programme GLmixer qui permet de créer des couches graphiques opengl en temps réel mais il ne gère pas le son.

[Vous devez être inscrit et connecté pour voir ce lien]

Je vais tester plane9 ce wk.

[Vous devez être inscrit et connecté pour voir ce lien]

edit: le lien de puce muse renvoi vers un 404

a+

Pour les vidéos j'ai Lumafusion, pour le montage vidéo c’est très bien. Par contre ça ne fait pas les photos qui se déforment comme ce que je voudrais... en tout cas je n’ai pas cherché outre mesure dessus et ce n’est pas fait pour ça de toute façon

Pour la pseudo vidéo que j’ai mise plus haut j’ai utilisé "Perfect Video" qui se contente là de passer juste des images les unes après les autres avec des transitions c’est pratique. Aussi ça accepte une bande musicale si vous avez regardé les beaux paysages bretons avec la maison d’Asterix...

Kx77free a écrit:

edit: le lien de puce muse renvoi vers un 404

Bizarre ! Je viens de cliquer dessus et je n'ai pas eu de problème.
Sinon essaie ça :
- [Vous devez être inscrit et connecté pour voir ce lien]
- [Vous devez être inscrit et connecté pour voir ce lien]

J'aime bien le démarche de Puce-Muse.

++

Salut,

Merci satrama, je vais voir, il faut d'abord créer un compte pour pouvoir essayer la version gratuite limitée.

J'ai essayé Plane9, il n'y a que la version 1.8 qui possède un éditeur avec des nodes mais elle fonctionne bien sur mon PC pour la musique sous Win 10 en OpenGL.

Je continue mes recherches. Après je prendrais une décision.

Ps
Si cela vous intéresse je suis passée à Linux Mint pour remplacer mon Vista sur une vieille tour dual core et c'est nickel contrairement à ce truc à éviter absolument qui est Ubuntu.

Bises

J'utilise maintenant depuis quelques années maintenant... avec l'environnement mate, basé sur gnome 2...
J'en suis très content !

Je sais pas si dans le sujet du thread mais j'ai découvert ça hier sur FB
[Vous devez être inscrit et connecté pour voir ce lien]

Je suis tombé de ma chaise tellement je trouve ça génial

J'ai pas trop pigé comment ça marche en pratique mais j'ai pas encore étudié la question en profondeur

Voici un extrait des explications :

Citation :

Sur oscilloscope tu dessines des choses qui sont impossibles à faire passer (en théorie) sur un déplacement "video" . Le raster video c'est colonne , colonne , etc, ligne, colonne ... ainsi de suite. Ici je peux créer mes propres rasters je fait ce que je veux de ma trame. Si je veux "accorder" une video avec mon raster ou simplement la faire apparaître sur l'oscilloscope, je sépare le signal vidéo, les syncros H/V et le luma , j'amplifie et je travaille avec ces éléments.

Wahou, impressionnant ...

Wahouccccccchhhhhh pfuiiit je comprends plus rien à ce que vous écrivez héhé !!!
Mais j'aime ça, purée ça fait chauffer mes neurones !!!! ouf ça va mieux .

Hello,

y'a millumin aussi, vidéo mapping et vjing (et dmx) [Vous devez être inscrit et connecté pour voir ce lien] qui peut accueillir des shader isf [Vous devez être inscrit et connecté pour voir ce lien]
Malheureusement payant.

Salut,

Un oscillo c'est une télé cathodique donc en théorie on peut afficher ce que l'on veut avec.

Merci pour les liens.
En fait c'est très bien qu'on liste les applis, on finira bien par trouver une appli qui allie simplicité et efficacité.

Pour l'instant je vais rester sur Resolve mais essayer de préparer les plans en amont avec des applis plus simples, essayer de tout faire avec une seule appli c'est sans doute cela mon erreur de départ.

Bises