SmartRoto：アーティスト支援型の機械学習でロトスコープを効率化
更新情報：長年にわたる開発と改良を経て、Nuke向けSmartRotoがついにリリースされました。手作業によるロトスコープと比べて、最大4倍の高速化を実現します。SmartRotoは、ユーザーの入力に基づいて、シークエンス全体にわたるロトスコープ作業の自動化を支援するAI搭載のNukeプラグインです。詳しくは、SmartRotoページをご覧ください。
テクノロジーの進化に伴い、機械学習（ML）はさまざまな業界に変革をもたらし続けています。VFX、アニメーション、コンテンツ制作も例外ではなく、MLの活用によって作業時間の短縮が進んでいます。
Foundryは、MLの役割はアーティストの作業を加速させることにあると考えています。これまで実現できなかったことを可能にし、単調で手間のかかる作業を減らすことで、アーティストがより早く最終的なクリエイティブにたどり着けるよう支援する。そのためには、アーティストとアルゴリズムが対立するのではなく、互いに連携することが重要です。
こうした考えのもと、Foundryは2019年、世界有数のVFX制作会社DNEGおよびバース大学（UoB）と共同でSmartROTOプロジェクトを開始しました。目指したのは、従来、多大な労力と時間を要していたロトスコープ作業を、アーティスト支援型の機械学習によって高速化することでした。
具体的には、まずアーティストが複数のシェイプと少数のキーフレームを作成し、SmartROTOの基盤となるML技術を使って、シークエンス全体の中間キーフレーム設定を高速化するという仕組みです。
しかし、プロジェクトを進める中では、さまざまな課題にも直面しました。近年の機械学習は、機械中心からデータ中心のアプローチへと重点が移っており、ツールが期待どおりの成果を上げ、十分な性能を発揮できるかどうかは、データセットの品質、バリエーション、サイズに大きく左右されます。VFXパイプラインへのMLツールの導入やデータ共有、アーティストの参加などは、このプロジェクトが解決を目指して取り組んだ数ある課題の一部です。
そして2年を経て、SmartROTOプロジェクトが終了を迎える今、私たちは何を学んだのでしょうか。こうした課題を乗り越え、プロジェクトはどこまで到達したのでしょうか。そして、MLとロトスコープにはどのような未来が待っているのでしょうか。今回は、Foundryのリサーチエンジニアリングマネージャー、Ben Kentをはじめ、DNEGとバース大学の主要メンバーに話を聞き、SmartROTOのこれまでを振り返るとともに、MLとロトスコープの今後について探ります。
プロジェクトを通じて得たもの
2019年のプロジェクト発足時からSmartROTOに携わってきたBenは、FoundryのA.I.R（AI Research）チームの中心メンバーの一人です。SmartROTOがこの2年間でどのように進展し、進化してきたのか。その過程を間近で見てきたBenに、プロジェクトを通じて得られた知見を聞きました。
「本当に多くのことを学びました」とBenは振り返ります。「何より実感したのは、ロトスコープは非常に難しい作業だということです。少なくとも当面は、人の手が欠かせないでしょう。ロトスコープにはさまざまな要素が絡んでおり、SmartROTOのようなプロジェクトに取り組むのであれば、まずそれらを十分に考慮する必要があります。」
「たとえば、アーティストは必ずしもシェイプのすべての頂点やエッジを、画像内の対応する特徴やエッジに沿って描くわけではありません。シェイプの中心も、画像上の対応する位置からずらして配置することがあります。そのため、トラッキングが難しくなるさまざまなケースが生じます。さらに、モーションブラーがかかったオブジェクトのロトスコープや、途中でほかのオブジェクトに隠れてしまうシェイプなどが加わると、トラッキングはさらに難しくなります。」
「最終的にわかったのは、アーティストのニーズに応えるには、実際の作業方法に合わせる必要があるということです。その結果、アーティストが実際にどのように作業しているのかについても、より深く理解することができました。」
こうした発見がプロジェクトにどのような影響を与えたのか、Benは次のように続けます。「最終的に採用したアプローチは、当初の計画とそれほど変わっていません。機械学習をベースにトラッキングを行い、シェイプの一貫性を保つというモデルであることに変わりはなく、ユーザーが最初にシェイプといくつかのキーフレームを設定するという考え方も同じです。SmartROTOでは、このモデルを使って、補間やトラッキングよりも精度の高い中間キーフレームを予測することで、途中の調整にかかる時間を減らすことを目指しています。」
「ロトスコープはVFX制作のあらゆる場面で必要になる作業です。だからこそ、アーティストの作業時間を25％でも短縮できれば、それだけでも非常に大きな価値があると考えています。」
チームワークの重要性
SmartROTOの開発を進め、目標を実現するうえで欠かせなかったのが、DNEGとUoBの協力です。
大規模なロトスコープ専門チームを擁する大手VFXスタジオのDNEGは、その強みを活かし、実際の制作現場で作られた膨大なロトスコープデータを学習アルゴリズムに提供しました。データセットには、アーティストがアニメーションを付けた65万以上のシェイプと、1億2,500万ものユーザーキーフレームが含まれています。またDNEGには、ロトスコープ制作を通じて長年培ってきた豊富な経験と知見があります。その知見は、SmartROTOによってロトスコープ専門のアーティストに、より優れたワークフローと働きやすい環境をどう実現できるかを探るうえでも、大きな力となりました。
DNEG側でプロジェクトを統括したのは、R&DスーパーバイザーのTed Waineです。「製品の機能やUI/UXの仕様策定で中心的な役割を担い、プロジェクトの方向性を決めるところから関われたことは、大きなやりがいにつながりました。また、プロジェクトに欠かせないデータセットと、それにアクセスするためのAPIを提供できたことにも大きな意義がありました」とTedは語ります。
SmartROTOのようなプロジェクトが業界にどのような変化をもたらす可能性があるのか。Tedはこう語ります。「より高速でインテリジェントなロトスコープツールがあれば、承認済みのロトマットを納品するまでの時間を短縮できます。同時に、アーティストにとってロトスコープ作業そのものが、より取り組みやすく、負担の少ないものになればと考えています。これは直接的なコスト削減につながるだけでなく、ロトスコープの成果を利用する後工程全体にも大きなプラスの効果をもたらします。」
SmartROTOを実現するうえで、チーム間の連携はプロジェクトの中核を成す重要な要素でした。こうした協力体制によって、プロジェクトに携わるすべてのメンバーが積極的に関わり、幅広い視点から研究に取り組める環境が生まれました。
「バース大学やFoundryの研究者、エンジニアの皆さんと一緒に仕事ができたことは、とても刺激になりました」とTedは語ります。「ロトスコープが抱える課題や、ML技術の根幹を支える数学に対する皆さんの理解の深さには、本当に感銘を受けました。そうした知識を活かして、実際に機能するソリューションを形にしていく過程を間近で見ることができたのも、素晴らしい経験でした。」
Tedの考えに賛同するのが、UoBで機械学習とビジュアルコンピューティングを専門とする准教授のNeill Campbellです。「FoundryやDNEGの研究チームと直接仕事ができるのは、非常に有意義な経験です。実際にアイデアや知識を共有し合うことで、業界が直面する重要かつ難しい課題にどう取り組むべきかを一緒に考えることができます。さらに、新しく革新的な技術を取り入れてその解決を目指しながら、実際にツールを使うアーティストとも直接連携し、日々の作業をより楽にする成果を提示できるよう努めています。」
UoBは、このプロジェクトで主に2つの領域に取り組みました。1つ目は、システムの技術設計です。最新の機械学習モデルをどのように活用し、既存のワークフローやパイプラインに組み込むかといった検討も、ここに含まれます。
2つ目は、元画像のプライバシーや知的財産（IP）を保護しながら、データセットを使って学習できる機械学習システムの開発に向けた研究です。Neillは具体例を挙げて説明します。
「たとえば、セグメンテーションやオブジェクトのトラッキングといった特定のタスクの性能を高めるために、画像データベースを使ってモデルを学習させたいとします。ただし、その際に元の学習画像の機密性が損なわれることがあってはなりません。ショットの画像は知的財産に関する契約で保護されている可能性があるため、画像そのものを共有することはできないからです。そこで今回の研究では、一般的な学習手法にいくつかの変更を加える方法を提案しました。これによって、それぞれの企業が知的財産に関する制約を守りながら、機械学習によって得られた成果を企業間などで外部と共有できるようになります。」
データをめぐる課題
SmartROTOのようなプロジェクトを成功させるうえで、知的財産（IP）の保護とデータ共有に関するUoBの研究は非常に重要です。ロトスコープのような工程に機械学習を活用するには、スタジオが膨大なデータセットを利用できることが不可欠です。得られる結果の品質は、システムの学習に使用するデータの量、多様性、品質に大きく左右されるためです。この課題の解決は、SmartROTOプロジェクトの重要な柱の一つとなりました。
FoundryのBen Kentは、次のように説明します。「プロジェクトで取り組んだテーマの一つが、データの匿名化です。スタジオ間でデータをセントラルサーバーを介して共有できる可能性を探るもので、それぞれのスタジオがローカル環境で学習を行い、重みの更新を一元管理された場所に集約するという考え方です。ただ、データのやり取りを完全に匿名化するのは非常に困難です。そこで一つの可能性として考えられるのが、SmartROTOを実現するための技術とともに、各スタジオが独自のネットワークを学習できるツールを提供するという将来像です。いわば空のブラックボックスを用意し、各スタジオがそこに自社のデータを入れていくようなイメージです。最終的に目指しているのは、すべての関係者にとってうまく機能する解決策を見つけることです。」
Neill Campbellは、こうした解決策の実現も時間の問題だと期待を寄せています。その見通しを後押ししているのが、UoBで進めてきた研究です。「興味深いのは、私たちが少し異なる問題設定で研究に取り組んでいることです。私たちが重視しているのは、AIに特定のタスクを学習させる際に使用した個々のサンプル画像を秘匿することです。同じタスクを実行するにもさまざまな方法があるため、私たちが目指しているのは、学習時にサンプルとして与えられた画像だけで高い性能を発揮する方法ではなく、幅広い画像に対して高い性能を発揮できる方法を選び出すことです。」
「これが実現できれば、実際に使用した学習画像を秘匿することと、性能を維持することの両方を実現できます。学習プロセスを逆にたどって、元の学習画像を割り出すこともできません」とNeillは説明します。「プライバシー保護に関する今回の理論研究は、まだほんの入り口にすぎません。この研究をきっかけに、さらに追究すべきさまざまなテーマが見えてきました。現在は、数理科学分野の研究者と共同で研究を継続するため、研究助成金を申請しています。今後、新たな研究成果が得られれば、それを実用的な形に落とし込み、産業界のパートナーとともに活用していきたいと考えています。」
IPやデータ共有の問題に加えて、MLフレームワークをVFXパイプラインに導入する際には、特有の課題も生じます。これまでは、ソフトウェアのリリースサイクルやGPUにかかるコストに加え、導入したMLネットワークをインタラクティブに操作しにくいことなどが、パイプラインへの統合を難しくしていました。しかしSmartROTOでは、この点でも一定の進展がありました。
Benはその成果について、次のように振り返ります。「SmartROTOでは、アルゴリズムの開発をさらに進め、どのような形にすべきかについても、かなり具体的なところまで詰めることができました。」その結果、機械学習フレームワークにはPyTorchを採用することになりました。これによって、VFXパイプラインにMLを組み込むことが容易になり、Foundryのツール上で実際に使えるML機能の開発にもつながりました。
PyTorchはまだSmartROTOには統合されていませんが、Nuke 13.0に搭載されたMLツールセットの基盤となっています。このツールセットには、CopyCatやInferenceノードなど、作業時間の短縮に役立つ複数のツールが含まれています。いずれも機械学習を活用することで、アーティスト自身がシークエンスに特化した高品質なエフェクトを作成し、適用できるようにするものです。
「このプロジェクトを通じて何より実感したのは、ロトスコープが非常に難しい作業だということです。少なくとも近い将来、機械がアーティストに取って代わることはないでしょう。SmartROTOはすでに機能する段階まで来ていますが、現時点では、アーティストが安心して頼れるほど十分に安定したものにはなっていません。私たちにとって何より重要なのは、アーティストが実際に使ったときの体験です。」
SmartROTOのプロジェクトリーダーを務めるシニアエンジニアのGuillaume Galesも、Benの考えに同意します。「これは非常に難しい課題ですが、解決できればVFXコミュニティに大きな変化をもたらす可能性があります。アーティストが単調な作業に費やす時間を減らし、その分、クリエイティブな作業により多くの時間を使えるようになるからです。そこに、このプロジェクトに取り組む大きな面白さがあります。」
Guillaumeはさらにこう続けます。「従来の手法では十分に対応できない場面で、SmartROTOは間違いなく有用なツールになるでしょう。GPUの性能が向上し続ければ、いずれSmartROTOがNukeやNoodleのようなロトスコープアプリケーションにシームレスに統合されるようになると考えています。」
Foundry、UoB、DNEGの3者は、SmartROTOをさらに一歩先へ進めるため、今後も共同で取り組んでいくことに期待を寄せています。UoBのNeill Campbellは、今後についてこう語ります。「私たちは研究センターCAMERAを通じて、FoundryやDNEGとともに、SmartROTOに続く機械学習プロジェクトに引き続き取り組んでいきます。そして、今回の研究から得られた新たな成果を、既存のパイプラインの新たなワークフローに取り入れるとともに、バーチャルプロダクションのような新しい分野にも活かしていけることを楽しみにしています。」
DNEGのTed Waineも、今後に期待を寄せています。「DNEGの研究チームには、MLアルゴリズムの開発に関する専門知識もあります。今後も設計に改良を重ね、さらに発展させていける可能性があります。そのためにも、引き続き他のパートナーと連携しながら、開発を進めていきたいと考えています。」
SmartROTOの歩みは、複雑なアルゴリズムをアーティストが使いやすい形で提供し、難しい技術的課題の解決につなげることで、MLをアーティストにとってより利用しやすいものにしようとするFoundryの継続的な取り組みの一つです。
前述のとおり、Nuke 13にはMLが統合されています。これにより、アーティストがクリエイティブ面と技術面の両方を自らコントロールしながら、求めるクオリティの最終イメージをより短時間で仕上げられるよう支援します。
Foundryの研究チームは、SmartROTOの実用化に向けて開発を進めています。それまでの間、ぜひNukeのCopyCatを使って、MLによって効率化されたワークフローの可能性を実際に体験してみてください。
今すぐSmartRotoの無料トライアルをお試しください！