動画処理ツール「FFmpeg」の開発版に、NVIDIA GPUを利用したハードウェアアクセラレーション対応のフレーム補間機能が追加された。新機能は「FRUC（Frame Rate Up-Conversion）」と呼ばれ、既存動画の中間フレームを生成することでフレームレートを引き上げられる。
仕組みとしては、連続する2枚のフレームから物体の動きを解析し、その間に入る新しいフレームを生成するもの。たとえば30fpsの映像を60fps、24fpsを48fpsへ変換できる。ゲームで使われるDLSS Frame Generationとは異なり、すでに完成している動画を対象としたフレーム補間技術だ。
今回の実装では、NVIDIA GPUに搭載されているOptical Flow AcceleratorをVulkan経由で利用する。対応するGeForceはAmpere世代以降となり、RTX 30、RTX 40、RTX 50シリーズが対象。RTX 20シリーズにもOptical Flow用ハードウェアは搭載されているが、FFmpegで採用されたVulkan実装の要件から対象外となっている。
FFmpegには以前からソフトウェア処理によるフレーム補間手段が存在するものの、CPUなどへの処理負荷が大きくなりやすい。FRUCでは専用ハードウェアを使ってフレーム間の動きを解析するため、リアルタイム処理や高速な動画変換を行いやすくなるのが特徴だ。
NVIDIA GPUを使ったFFmpegのフレーム補間は、実は今回が最初の試みではない。2023年にも同様の機能が提案されていたが、NVIDIAの再配布できないソフトウェアへ依存していたため、ライセンス上の問題からFFmpeg本体への統合には至らなかった。
今回は同様のハードウェア機能へVulkanからアクセスする方式へ変更することで、この問題を回避。VulkanベースのFRUCは8月29日にFFmpegのメイン開発ブランチへ統合され、現在もコードが残っている。
同時期にはRTX Video Super Resolution、RTX TrueHDR、Dynamic Vibrance、Smooth Motionなど、ほかのNVIDIA機能をFFmpegへ追加する変更も一時的に行われたが、こちらはその後取り消された。現時点で残っているのは、よりシンプルなFRUCによるフレーム補間機能となる。
FFmpegは動画変換や配信、編集ソフトなど幅広いサービスやアプリケーションの基盤として利用されている。今回の対応が開発版から正式リリースへ取り込まれ、各種動画ソフトが採用すれば、RTX GPUのOptical Flowを利用したフレーム補間がより身近な機能になる可能性がある。
管理人コメント
ゲームではなく動画のフレーム生成ですが、RTX 30以降のGPUに新しい使い道が増えるのは面白いところ。特にFFmpegへ入った意味は大きく、対応ソフトが増えれば動画編集や変換で普通に使う機能になる可能性があります。RTX 20が対象外なのは惜しいですが、30・40世代にも恩恵があるのはうれしいですね。
