CopyCat：Nukeのツールセットに機械学習を導入
更新情報：Nuke 13でのリリース以来、CopyCatは多くのスタジオのコンポジティングワークフローで重要な役割を果たしています。アカデミー賞受賞作『デューン 砂の惑星 PART2』から、終末世界を描いたHBOのドラマ『THE LAST OF US』まで、Nukeの機械学習ツールセットがアーティストの貴重な時間をどのように節約してきたのかをご紹介します。
さらに、CopyCatのリリース以降に追加されたアップデートについても、この記事の後半で詳しくご紹介します。
ここ数年、VFX業界で機械学習（ML）の活用が広がっていることは、もはや周知の事実です。その普及に伴い、ワークフローをさらに効率化し、合理化する新たな可能性も生まれています。
制作スケジュールがますます厳しくなり、プロジェクトも複雑化する中、こうした効率化はこれまで以上に重要になっています。アーティストは新たな課題に直面しており、こうした変化に対応できる新たな作業手法やツールが求められています。
MLは多くのVFX制作を支える存在となり、世界中のVFXパイプラインに欠かせない要素になりつつあります。
こうした背景を踏まえ、FoundryはNuke 13.0のリリースに合わせて、CopyCatをはじめとする新しい機械学習ツール群をNukeに統合しました。CopyCatは、アーティストがニューラルネットワークをトレーニングし、独自の画像ベースのタスク向けにカスタムエフェクトを作成できるプラグインです。
CopyCatは、アーティストの作業時間を大幅に短縮できるよう設計されています。たとえば、ガベージマットの作成など、複雑で時間のかかるエフェクトをシークエンス全体に適用する必要がある場合でも、アーティストはわずか数枚のサンプルフレームをCopyCatに入力するだけです。CopyCatはそれらをもとに、処理前から処理後への変換を再現するようニューラルネットワークをトレーニングし、そのエフェクトを残りのシークエンス全体に適用できます。
本記事では、この注目の新しいツールセットを詳しく紹介するとともに、Foundryのリサーチエンジニアリングマネージャー 兼 AIリサーチチームリーダーであるBen Kentに話を聞きました。
アイデアが生まれた瞬間
当初、Foundryのリサーチチームが開発した初期のML Serverは、ユーザーがNuke内で手軽にMLを試せるようにするとともに、社内でネットワークのプロトタイピングをすばやく行うためのツールとして開発されました。しかし、これがVFXにおける機械学習の捉え方そのものを大きく変えるきっかけになるとは、当時のチームは想像もしていませんでした。
従来の考え方では、ML Serverを効果的に機能させるには、学習用として数万枚規模の大量の画像データが必要だと考えられていました。処理前と処理後の画像からなるこのデータセットをもとに、ニューラルネットワークをトレーニングし、画像のブラー除去など、ユーザーが求めるタスクを実行できるようにするというものです。
しかし、BenがML Serverのテストを始めると、その考えは一変しました。トレーニングの始め方を模索していたBenは、自身が制作した映画のピントが外れたショットを使い、わずか11枚の小さなクロップ画像だけでピントを復元できるか試してみました。データセットがあまりにも小さかったため多くは期待していませんでしたが、驚いたことにうまくいったのです。
「そのとき、VFXにおける機械学習は、一般的な機械学習とは違うのだと気づいたんです」とBenは語ります。「一般的な機械学習では、ユーザーがどのような映像素材を使うか分からないため、幅広いデータセットを使う必要があります。ユーザーはすぐに結果が得られることを求めますし、スマートフォンのような性能の低いハードウェアで実行する場合もあります。また、ユーザーが高いスキルや技術的な知識を持っているとも限りません［中略］。ところがVFXでは、事情はまったく逆なのです」
基盤となる技術は同じでも、VFXでは、汎用的な事前学習済みツールに頼るのではなく、アーティスト自身のスキルや知識を生かしてネットワークをトレーニングすることができます。結果が得られるまでに多少時間がかかったとしても、可能な限り最良の結果が得られるのであれば、アーティストは時間をかけてでも自分のショットに特化したトレーニングを行う方を選びます。
こうした気づきから、CopyCatは誕生しました。
NukeとMLがワークフローにもたらすもの
CopyCatは、NukeXに統合された機械学習ツールセットのひとつです。CopyCatノードの主な目的は、アーティストが機械学習の力を活用し、高品質なカスタムエフェクトやツールを比較的短時間で作成できるようにすることです。
CopyCatを使用すると、アーティストはわずか数枚のリファレンスフレームを使って、幅広いタスクを実行できるようニューラルネットワークをトレーニングできます。さらに、そのエフェクトを再現するようネットワークをトレーニングし、作品全体の類似するシークエンスに適用することも可能です。
さらに、使いやすさを重視したこのツールは、大規模な作業にも容易に対応できます。また、シンプルなインターフェースとグラフを備えているため、MLのトレーニングの進捗も的確に把握できます。KalderaのCEO兼VFXスーパーバイザーであるHendrik Proosa氏は、次のようにコメントしています。
「CopyCatはNukeにとって非常に有望な新機能です。機械学習をVFXに導入するうえで、決められた処理を実行するだけの『魔法のボタン』式のアプローチではなく、拡張性がありながらアーティストにとって使いやすいツールセットになっています。CopyCatを使ったさまざまな試みはNukeコミュニティでも大きな盛り上がりを見せており、すでに素晴らしいアイデアや解決策がが次々と生まれています」
BannisterPostのVFXスーパーバイザー、Rob Bannister氏も次のように語っています。
「新しいCopyCatノードを使い始めてまだ間もないですが、すでに何度か徹夜をせずに済み、厳しい締め切りにも間に合わせることができました。新しいMLツールセットは非常に優れていて、マット作成のような反復的な作業を減らすのに役立ちます。自分は単発のショットやルックデベロップメントに集中し、その間、バックグラウンドではネットワークをトレーニングして、シークエンス内の類似ショットを処理させることができます」
シークエンスに特化した独自の高品質なエフェクトを作成して適用できることは、アーティストにとって大きな前進です。作業時間を大幅に短縮できるだけでなく、制作におけるクリエイティブなコントロールもさらに高めることができます。
Benは次のように説明します。「決められた処理しかできない機械学習ツールとは異なり、CopyCatでは、アーティストがそれぞれのニーズに合わせて機械学習をカスタマイズできるため、より大きな自由度と柔軟性が得られます。CopyCatの可能性をどこまで引き出せるかは、ツールの設計者ではなく、アーティスト自身の創造力にかかっています」
MLとNukeのこれから
NukeおよびNukeXに導入されたMLツールは、CopyCatだけではありません。Nuke 13.0では、CopyCatと連携して使用するInferenceノードも追加されました。
Inferenceノードは、CopyCatで作成したニューラルネットワークを実行するためのノードです。CopyCatでネットワークのトレーニングが完了すると、その重みがチェックポイントとして保存されます。これをInferenceノードに読み込むことで、シークエンスの残りの部分に処理を適用できます。
Nuke 13.0では、コンポジットでよくある作業を効率化するため、さらに2つの新しいノードが導入されました。
UpscaleノードとDeblurノードは、CopyCatと同じML手法を用いて最適化されています。Upscaleノードではフッテージを2倍に拡大でき、Deblurノードではフッテージからモーションブラーを除去できます。特に、スタビライズ処理を施したフッテージのブラーを軽減するのに適しています。UpscaleとDeblurのモデルは事前トレーニング済みのため、CopyCatを使用する必要はありませんが、CopyCatで追加トレーニングを行う際のベースとして利用することもできます。
Nukeと機械学習には、今まさに新たな可能性が広がっています。そして、これはまだ始まりにすぎません。Foundryのリサーチチームとプロダクトチームは、自社製品における機械学習の革新的な活用法を継続的に追求するとともに、アーティストにとって可能な限り優れた体験を提供できるよう取り組んでいます。
最後に、Nuke 13.0のリリース以来、機械学習ツールセットを幅広くテストしてきたシニアコンポジター兼コンポジティングスーパーバイザーのRichard Servello氏の言葉をご紹介します。
「Nukeの機械学習は、用途がひとつに限定されていない初めてのツールです。制作向けに作られたツールの中でも、これほど使い方の可能性が開かれたものはありません。ロト作業のアシスタントにも、ペイント作業のアシスタントにもなります……アニメーションのアシスタントにさえなれるのです。どんなクリエイティブな使い方が生まれるのか、今から楽しみです。これから本格的に活用し、さらに進化していくところを見たいと思っています。VFXはいま、大きな変化を迎えようとしています」とRichardは続けます。「これから私たちは、多くの技術的なハードルが取り払われ、課題に対してこれまで以上にクリエイティブなソリューションを生み出せる、次の段階に入ろうとしています」
CopyCatは継続的にアップデートされています。Nuke 13でのリリース以降、以下の機能が追加されました。
- トレーニングの高速化
- 複数のマシンにトレーニングの負荷を分散し、より高い処理能力を活用
- マルチ解像度トレーニングにより、高い画質が必要ない場合はCopyCatが画像の解像度を自動的に下げ、ファイルサイズを削減するとともに、初期段階のトレーニングを高速化
- リモートマシンでトレーニングを実行し、手元のマシンで作業を継続
- 高度なトレーニング
- マルチチャンネルトレーニング
- BigCatを使用して、より大規模にモデルをトレーニング、デプロイ
- CopyCatで使用できる形式に変換された無料のオープンソースモデルライブラリ「Cattery」から、事前トレーニング済みの機械学習モデルを利用できます。
- コンフォームやレビューの際、Inference Soft Effectを使用してタイムラインからショットやシークエンスに.catファイルを直接適用し、結果を確認
CopyCatの使い方をもっと詳しく知りたい方は、CopyCatマスタークラスの動画シリーズ をご覧ください。
