Virtual Production est un pipeline de création de personnage avec capture de mouvement, facial et corporel. Il couvre la modélisation, les blendshapes, le rig, la physique des vêtements, le retargeting et la visualisation, et les données passent d’un logiciel à l’autre par FBX puis Live Link.

Je l’ai monté en 2026 comme socle pour ma recherche personnelle. Elle vise à fluidifier ce type de workflows et à les accélérer.

Ce que je veux ajouter :

• une scène cliente Unreal préparée à recevoir les données, et un script Houdini qui envoie la scène vers cette scène Unreal automatiquement, pour ne pas refaire le même setup à chaque projet
• une fois la previs actée (caméras animées, mocap enregistré), un envoi automatique de tout ça vers un DCC plus classique pour le rendu et le lighting finaux. Sauf si le projet est temps réel, auquel cas on s’arrête à Unreal

Le pipeline repose sur Houdini et Unreal. La préparation amont (modélisation, traitement du scan facial, création des 52 blendshapes au standard ARKit) peut se faire dans n’importe quel DCC, tant que l’export FBX porte les bonnes données : géométrie, blendshapes et squelette. Pour ma part, je le fais sur Blender.

À partir du FBX, chacun a son rôle :

• Houdini : rig, physique des vêtements, retargeting des données mocap vers le squelette. L’approche nodale évite d’avoir à poser des contrôleurs explicites pour le rig
• Unreal Engine : visualisation finale via Live Link, qui reçoit le squelette piloté en temps réel depuis Houdini

On peut aussi visualiser directement dans le viewport Houdini, c’est pratique pour itérer pendant la mise en place du pipeline.

La capture est double :

• ARKit pour le facial : un iPhone capte les expressions et envoie les valeurs des 52 blendshapes en temps réel. C’est le format de Live Link Face (Apple/Epic), et c’est celui préparé en amont
• OptiTrack pour le corporel : système de caméras à marqueurs qui sort les positions des joints du squelette

Les deux flux arrivent dans Houdini, qui les mappe sur le rig du personnage et pousse le résultat vers Unreal via Live Link.

MotionBuilder est l’outil que la plupart utilisent pour le retargeting mocap, et c’est ce que j’utilise habituellement. Je passe pourtant par Houdini : avec le flow nodal, on a le feedback du retargeting en temps réel et on voit tout de suite les ajustements à faire.

Avec MotionBuilder, valider un setup de retargeting demande souvent des allers-retours. Dans Houdini, je modifie un noeud du graphe et je vois le résultat en direct sur le squelette piloté. Sur un pipeline à reproduire pour plusieurs personnages, cela permet aussi de prendre les décisions de rig plus tôt.

Virtual Production is a character creation pipeline with motion capture, facial and body. It covers modeling, blendshapes, rigging, cloth physics, retargeting and visualization, and the data moves from one tool to the next through FBX and then Live Link.

I built it in 2026 as a foundation for my own research. It aims to streamline this kind of workflow and speed it up.

What I want to add:

• a prepared Unreal client scene ready to receive the data, plus a Houdini script that sends the scene to that Unreal scene automatically, so I don’t have to redo the same setup on every project
• once previs is locked (cameras animated, mocap recorded), automatic export of all that to a more traditional DCC for final rendering and lighting. Unless the project is real-time, in which case we stop at Unreal

The pipeline rests on Houdini and Unreal. Upstream prep (modeling, facial scan cleanup, creation of the 52 ARKit-standard blendshapes) can happen in any DCC, as long as the FBX export carries the right data: geometry, blendshapes and skeleton. For my part, I do it in Blender.

From the FBX, each tool has its own role:

• Houdini: rigging, cloth physics, retargeting of mocap data onto the skeleton. The nodal approach removes the need for explicit rig controllers
• Unreal Engine: final visualization via Live Link, which receives the driven skeleton in real time from Houdini

You can also visualize directly in the Houdini viewport, handy when iterating on the pipeline itself.

Capture happens on two channels:

• ARKit for the face: an iPhone reads expressions and streams the 52 blendshape values in real time. It’s the format Live Link Face (Apple/Epic) uses, and the one prepared upstream
• OptiTrack for the body: a marker-based camera system that outputs the joint positions of the skeleton

Both streams land in Houdini, which maps them onto the character’s rig and pushes the result to Unreal through Live Link.

MotionBuilder is the tool most people reach for when doing mocap retargeting, and it’s what I usually use. I still go with Houdini: with the nodal flow, you get real-time feedback on the retargeting and see right away what needs adjusting.

With MotionBuilder, checking a retargeting setup usually takes several rounds of back-and-forth. In Houdini, I tweak a node in the graph and see the result live on the driven skeleton. On a pipeline that has to be reproduced for several characters, it also means rig decisions get made earlier.