VFXにおけるMLの未知なる可能性

Foundryのマシンラーニングプロダクトマネージャー、Adam Cherbetjiが解説――『デューン砂の惑星 PART2』（アカデミー賞受賞）を支えたNuke CopyCat活用の事例（Animation World Network 寄稿記事）

1920年代、サイレント映画『メトロポリス』が人工知能（AI）をスクリーンに描いて以来、このテクノロジーはエンターテインメント作品に繰り返し描かれてきた。それから約100年、かつてはSFの世界にしか存在しなかったAI――とりわけ生成AI――はいまや現実の技術となり、日常的に使う多くのデバイスにアシスタント機能として組み込まれている。AIは私たちの生活やさまざまな産業を大きく進化させているが、とりわけクリエイティブな分野においては、その登場をめぐって懐疑的な見方も少なくない。

今日では、AIはそれなりの脚本や、十分に説得力のあるビジュアルを生成できるようになっている。しかしストーリーテリングに関しては、優れた物語を紡ぐために欠かせない感情や想像力が欠けている。一方で、生成AIではない機械学習（ML）は、倫理面や著作権の懸念を招くことなく、大幅な効率化を実現できる。生成AIがインターネット上の膨大なデータを学習し、その影響を受けて新しいコンテンツを生み出すのに対し、機械学習モデルは、より小規模なデータセットを用い、既存のパターンを認識して再現するよう設計されていることが多い。

VFXの制作工程は膨大な手間がかかるが、適切な機械学習（ML）ツールとトレーニングを取り入れることで、アーティストは繰り返し発生する作業を減らし、その分、作品の核心となる要素を磨くことに専念できる。また、汎用的な事前学習モデルに頼るのではなく、自らのスキルや知識を活かしてMLシステムをトレーニングすることで、日常的な作業を効率的に進められる。最良のショットを仕上げるうえで、アーティストの創造性と洞察力は欠かせないが、MLを賢く活用すれば、繰り返しの調整やクリエイティブな作業に専念する時間を確保することができる。

『DUNE／デューン砂の惑星』制作におけるCopyCatの活用

SFシリーズ『DUNE／デューン砂の惑星』では、アラキスに暮らすフレメンの人々の鋭く輝く青い瞳がひときわ印象的だが、2021年公開の映画『DUNE／デューン砂の惑星 (PART 1)』でこの瞳を再現するために、VFXアーティストたちが俳優一人ひとりの目を手作業でロトスコープし、瞳孔・虹彩・強膜・反射といった複数のマットレイヤーを作成していたということは、あまり知られていない。衣装によるオクルージョンやモーションブラーが加わり、その作業は非常に骨の折れるものとなった。その細部へのこだわりが評価され、『DUNE／デューン砂の惑星 (PART 1)』は2022年のBAFTA賞とアカデミー賞で視覚効果賞を獲得した。

『デューン砂の惑星 PART2』の制作では、フレメンの登場数が前作の約4倍に増え、大規模な群衆シーンも数多く描かれることになった。そこでVFXスーパーバイザーのPaul Lambert氏は、業界標準のコンポジットソフトNukeに新たに搭載された機械学習ツールセット「CopyCat」を提供するFoundryに注目した。

多くの機械学習ツールがソース不明のデータでトレーニングされるのに対し、NukeのCopyCatはアーティスト自身の素材を使って学習させるため、データの真正性に関する懸念がなく、より信頼性の高い結果が得られる。CopyCatを使用する際は、アーティストが自ら作り込んだ少数のフレームを入力し、トレーニングプロセスを実行するだけで、その素材から学習が行われる。こうして得られた機械学習モデルは、予測可能で狙い通りの特性を持ち、さまざまなショットに適用できるため、アーティストは煩雑な作業に費やす時間を大幅に削減できる。さらに自身のデータを追加してモデルを洗練させれば、シークエンスや作品ごとに異なるルックにも柔軟に対応できる。

Lambert氏は、『DUNE／デューン砂の惑星 (PART 1)』のデータと、FoundryのコンポジットソフトNukeに搭載されたCopyCatツールセットの最新版を用いて、独自の目の置き換えモデルをトレーニングした。CopyCatのスケーラビリティを検証するため、制作チームは既存のフレメンのショット280点と対応するマットを用い、画像をクロップおよび拡張して3万の目を含むデータセットを構築した。これほど大規模にCopyCatが活用されたのは初めてだった。モデルをトレーニングした後、それを『デューン砂の惑星 PART2』のショットに適用。手作業での修正が必要になったショットは再度データセットに取り込み、出力精度の改善につなげた。最終的に、目のショット1,000カットのうち40％は追加の修正を必要とせず、アーティストは数千時間分に及ぶロト作業を省くことができた。

さらに『デューン砂の惑星 PART2』の制作チームは、CopyCatを使ってギエディ・プライムの白黒シーンに映る俳優のタトゥーを除去した。このシーンは、独特のルックを出すために通常のカメラと赤外線カメラの両方で撮影されたが、スクリーンテストの結果、メイクで隠していたはずのタトゥーが赤外線カメラではなお映り込んでしまうことが分かった。そこでチームはモデルをトレーニングし、タトゥーをデジタル的に除去。手作業による3Dオブジェクトトラッキングを行うことなく処理できたことで、大幅な時間と労力の削減につながった。

『デューン砂の惑星 PART2』は、前作に続き、2025年のBAFTA賞とアカデミー賞で視覚効果賞を受賞した。

安心×効率的なVFXワークフロー

VFXアーティストはしばしば、映像全体にわたって細かな修正を加えることを求められるが、それは重要である一方で非常に手間のかかる作業となる。例えば、俳優の顔からタトゥーや口ひげ、あざを消したり、デジタルメイクを施したりするようなケースだ。しかし、CopyCatで自分のデータを使ってモデルをトレーニングすれば、こうした作業を機械学習によって大幅に効率化できる。さらに、著作権侵害の心配や、自分のデータが大規模な学習データセットに取り込まれてしまうといった懸念もない。

最初のステップは、安全なMLフレームワークに「処理前」と「処理後」の画像を入力することから始まる。これによってニューラルネットワークが学習し、望ましい出力を生成できるようになる。どのMLアプリケーションにも言えるように、トレーニングデータの質が高いほど結果も良くなる。戦略的に活用すれば、MLはVFXワークフローの煩雑な工程を大幅にスピードアップさせる可能性を秘めており、その効果は大作映画だけにとどまらない。

スーパーヒーローものやファンタジーといったジャンルの作品では、VFXが使われていることは一目で分かる。どれほど優れたデジタル技術が駆使されていても、観客は人間の身体的な限界を知っており、一時的に現実を忘れようとしてもその意識は拭えない。一方、時代劇や歴史ドラマでもVFXは広く用いられているが、その役割は派手な視覚効果を生み出すことではなく、現代のロケーションを当時の風景に変えるといった使い方が中心となっている。

2024年末に公開されたイタリアの時代劇『Naples to New York』では、戦後のニューヨークを描くうえでデジタルアートが欠かせなかった。VFXスーパーバイザーのVictor Perez氏は機械学習（ML）を活用し、物語の鍵となるシーンで床の排水口を置き換える作業に取り組んだ。この処理を手作業で行えば、3人のアーティストが約1か月を費やすことになり、多大な時間とリソースが必要となっただろう。しかしMLを活用したことで、その分を、1949年当時のニューヨークのスカイライン再現といった、よりクリエイティブなタスクに充てることができた。CopyCatを用いることで、Perez氏とチームは撮影したショットを活かしつつ監督のビジョンに沿った仕上がりを実現し、制作予算とスケジュールの両立を可能にした。

MLが切り拓くクリエイティブの未来

AIはすでに現実のものとなったが、そのクリエイティブ業界への影響はまだ定かではない。一方で、機械学習（ML）がVFX業界にもたらす思いがけない新たなメリットは、すでに明らかになりつつある。AIは人間の創造性を置き換える存在ではなく、またそうあるべきでもない。だが、クリエイティブプロセスを強化するうえでの価値は、探求に値するものだ。

最終的に、機械学習（ML）の根本にある理念は「アーティストの力を引き出すこと」にある。アーティストは、あらゆる用途に対応できるよう大規模データセットで事前学習された汎用ツールに頼るのではなく、自らのスキルや知識、そしてこれまでの作品をトレーニングに活かすことができる。CopyCatはまさにこの発想を基盤に設計されており、アーティストが求める高品質なアウトプットを可能にしている。MLの機能は今後、デジタルコンテンツ制作ツールにますます浸透していくだろう。そして、それを積極的に取り入れるアーティストこそが、常に最前線を走り続けることになる。

本記事は、AWN (Animation World Network) での掲載記事を再掲したものです。

CopyCatマスタークラス（日本語字幕付き） から、CopyCatの使い方を短い動画シリーズで手軽に学ぶことができます。