Foundry AI
アルゴリズムを、アートへ
メディア＆エンターテインメント分野では、AIに対する捉え方が変化し、その導入や活用、さらには実験的な取り組みが着実に広がっています。私たちは、制作プロセスの効率化を進めながら、アーティストのクリエイティビティを後押しし、反復的な作業をより迅速に行える環境を提供しています。さらに、これまで実現できなかった新たなワークフローを創出することで、表現の可能性を一層広げていきます。
私たちのAI開発における基本方針
アーティスト中心のアプローチ
私たちは、アーティストがクリエイティブの主導権を保ったまま、制作に集中できる環境づくりを重視しています。クリエイティブな判断に代わるのではなく、制作を支え、加速させるAIツールを開発しています。
透明性の確保
AIモデルを安全かつ倫理的に活用するため、私たちはお客様のデータをモデルの学習に使用することはありません。また、可能な限り、モデルの学習に使用したデータの出所を公開することで、透明性の確保に努めています。
パイプラインに配慮した設計
私たちのAIツールは、既存の制作パイプラインに無理なく統合できるよう設計されています。現場のワークフローに自然にフィットする一方で、AI機能は柔軟かつカスタマイズ可能であることを重視しています。
アーティストのための実績あるツール
NukeのCopyCat
CopyCatは、Nuke上で利用できるプラグインで、アーティストがニューラルネットワークをトレーニングし、カスタムエフェクトのワークフローを自動化できます。選択したフレームから、ガベージマットやビューティーリペア、デブラーなどのシーケンス固有のエフェクトを学習させ、同様の処理をシークエンス全体に適用するネットワークを構築します。
Cattery
NukeのCopyCatでは、お客様自身のデータを使ってモデルをトレーニングできます。一方、Catteryは、Foundryが変換したモデルを集約したハブとして、モデルのライセンスや学習データの出所や来歴に関する透明性を提供します。Catteryに掲載されているすべてのモデルは .catファイル形式に変換されており、Nukeですぐに使用できます。
新たなテクノロジー
AI支援ロト（近日提供予定）
人の手による精度を実現するAIオートメーションとして、AI支援ロトは、スプラインベースのロトシェイプを、シークエンス全体にわたってインテリジェントに移動・変形させます。アーティストは結果に介入し、調整やアートディレクションを行いながら、高いVFX品質を保ち、クリエイティブの主導権を維持できます。
BigCat（Nuke 17で提供予定）
NukeのBigCatは、CopyCatと同じモデルネットワークをベースに、より大規模なデータセットに対応できるよう設計された機能を備えています。この強化により、数百枚から数千枚規模の画像にわたって、安定した汎用的な処理を行うことを想定しています。
Nukeの機械学習機能
業界標準の高度なコンポジット
NukeXは、コンポジターがより高いレベルで表現をコントロールできる高度なツール群を備え、クリエイティブプロセスを次の段階へと導きます。Nukeに組み込まれたAIの力を活用することで、高品質なカスタムエフェクトを効率的に制作できます。
統合されたコンポジット＆エディトリアル
Nuke Studioは、ポストプロダクションの中核を担う強力なツールです。コンポジットとエディトリアルを単一のアプリケーションに統合し、AI機能も搭載。AIやオートメーションを活用したワークフローにより、最終ピクセルまでスムーズに仕上げることができます。
『デューン 砂の惑星 PART2』に見る、AIとVFX制作の舞台裏
AIモデルは、アーティストのワークフローを効率化しつつ、クリエイティブなビジョンを自らコントロールしながら制作を進めることができます。NukeのCopyCatがどのようにして『デューン 砂の惑星 PART2』のVFXチームの膨大な作業時間を削減し、印象的なビジュアル表現を実現したのか、その舞台裏をご紹介します。
高精細なデプスマップ
DepthProを使えば、カメラのメタデータがなくても、2D画像から高精細なデプスマップを素早く生成できます。髪の毛の一本一本や被写体のエッジ部分まで、繊細なディテールをしっかり再現します。
オプティカルフローによるリタイミング
RIFE（Real-time Intermediate Flow Estimation）は、動きの境界部分に発生しやすいアーティファクトを低減しながら、フレーム補間の精度を高め、自然で滑らかなスローモーション映像を生成します。
高精度なアルファ抽出
ViTMatte は、ガーベジマットを活用して、実写素材から高品質なアルファを生成します。髪の毛や毛並み、モーションブラーなど、手間のかかる繊細なディテールも的確に処理できます。
解像度アップスケーリング
TecoGAN は、映像を最大4倍にアップスケールしつつ、繊細なディテールを再現。フレーム間の一貫性を保ちながら、自然で安定した高解像度映像を生成します。
関連コンテンツ
CopyCatクイックスタート（日本語解説付き）
CopyCatを使ってニューラルネットワークをトレーニングし、特定のシークエンスに特有のエフェクトを、シークエンス全体に一貫して適用する方法を解説します。
VFXスーパーバイザー Victor Perezが語る CopyCat の実践活用（英語）
VFXスーパーバイザーのVictor Perezが、映画『Naples to New York』の制作現場でのCopyCatの活用方法を紹介します。