Appleの機械学習研究チームは、単眼深度推定モデル「Depth Pro 2」のコードとモデル重みをGitHubとHugging Faceで公開した。普通のカメラで撮影した画像の全ピクセルについて、メートル単位の深度を推定するモデルで、1枚の写真、動画、ライブカメラ映像を単一のネットワークで処理できる。入力はフル解像度のまま扱われ、物体の輪郭で鮮明な深度と、フレーム間で安定した推定をうたう。
4つのモデルサイズと焦点距離の推定
モデルは4サイズが用意される。最小のSは24Mパラメータでダウンロード97MB、続いてB(97M、386MB)、L(334M、1.3GB)、最大のH+(872M、3.5GB)で、既定はH+。大きなモデルほど鮮明で安定した深度が得られ、小さなモデルは高速に動作するとしている。全サイズが視野角(焦点距離)の推定器(94MB)を共有し、焦点距離が不明な画像や動画ではこの推定器が焦点距離を予測する。深度をメートルで表すには焦点距離が必要で、写真ではEXIFの35mm判換算値が使われ、動画では全フレームで1つの焦点距離を用いる。
動画は既定で16フレームのクリップを4フレーム重ねて処理し、つなぎ目での深度の安定を図る。ライブ映像向けのモードでは、現在のフレームと過去15フレームから即時に推定する。推論はNVIDIA製GPUとAppleシリコンGPUではbfloat16、CPUではfloat32で動作する。Apple製ハードウェア向けにCore MLへ書き出したモデルも提供され、Appleシリコン(macOS 15以降)でカメラ映像からリアルタイムに深度を表示するMac向けデモも同梱される。
公開範囲とライセンス
リポジトリに含まれるのは推論コードと重みへのリンクで、学習コードと評価コードは含まれない。基盤にはTIMMとDINOv3が使われている。技術報告は「Depth Pro 2: Sharp and Temporally Consistent Metric Monocular Depth」としてarXiv(arXiv:2611.26603)に掲出されている。
コードはリポジトリのLICENSEに従う一方、モデル重みのライセンスは「Research Purposes」、すなわち非商用の科学研究と学術開発に限る条件で、製品への組み込みなど商用利用は認められていない。第2世代となる今回は、写真に加えて動画とライブ映像に対応し、フレーム間で安定した深度推定を特徴とする。
コメント
記事の内容について意見・情報をお寄せください。