Nikon Z9：動物検出・瞳検出について思うこと

一眼レフの時代から顔認識の機能はありましたが、ミラーレスの時代になると、カメラは常時映像を読み取れる状態になるため、人の顔だけではなく、動物や乗り物などの被写体が認識できるのが当たり前の時代となってきました。
中でも目を認識して自動的に目にピントを合わせてくれる機能はプロアマ問わず大変重宝する画期的なシステムだと思います。意図してアウトフォーカスにした作品以外では、画面上に目が写っているのに目にピントが来ていない写真は普通はボツ写真で無条件にゴミ箱行きです。人物写真でも、動物でも同じです。写真を見た時、人は本能的に目を見るので、目がボケていたら台無しなのです。

したがって、被写体として人や動物を認識して、顔を検出して、さらにその中の目を検出して自動的にピントを合わせてくれる機能は人類の夢でした。それがミラーレスの時代になってようやく完成の域に達してきています。ビデオの世界では古くからその動きはありましたが、昨今のめざましい発展はここ10年ほどの人工知能技術の進化がかなり影響を及ぼしています。
今では一般向けのビデオカメラはかなり縮小傾向にあり、ミラーレスカメラがビデオカメラの機能を引き継いでいる形になっています。静止画カメラとビデオカメラのハイブリットとしてできたものが現在のミラーレスカメラなのでしょう。一眼レフの進化形と言うよりも、形は一眼レフのデザインを引き継いていますが、中身は静止画も撮れる超高性能なビデオカメラに近いものだと思っています。

特に最新のNikon Z9では、普通のビデオカメラを凌駕する8Kの動画撮影ができたり、4K画質で120pの高速度撮影ができたりします。また、静止画も秒間120コマの撮影を可能にしたり、機械的動作で限界があった一眼レフの性能を遥かに超えるものになってきています。カメラ、ビデオカメラの歴史のなかで、ミラーレスカメラの出現は大きなブレークスルーになっています。その裏には最新のAI技術が凝縮されています。

人工知能技術の応用
瞳検出
プロは使うのか
動物検出：動物の瞳検出
今後の進化

人工知能技術の応用

中でも被写体を認識したAFの進化には目を見張るものがあります。1コマの画像に写っている内容は単にRGBのピクセルデータですが、その中から被写体らしきものを認識するのはかなり難しい技術です。

人工知能技術を応用したシステムを開発する会社に勤めていたころ、別のチームが当時最先端の技術を使って防犯カメラに写った人の顔を認識して抽出するアルゴリズムを開発していたのを覚えています。かなり四苦八苦していました。1990年前後でしたので、もうかれこれ30年ほど前ですが、そういった技術がようやく実用化されたのでしょう。2000年代になってからは機械学習やディープラーニングの手法などによって急速に発展しました。
画像の中からカメラマンが狙っているであろう被写体を認識して、その形から人や動物を検出して、さらにその顔を判別して、顔の中のパーツとして目を検出します。

しかもそれを瞬時に行わなければ実用になりません。Z9では最大で秒間120コマの撮影ができるので、少なくとも1/120秒以下の速度で1フレームの中の被写体を認識して目を検出し、そこにフォーカスエリアを設定してAFを作動させる、ということを行っているのだと思います。素晴らしい技術です。

瞳検出

ちまたでは「瞳検出」と言う名称が使われていますが、やっていることは「目」の検出であって、「瞳」の検出ではないと思いますが、その名称がデファクトスタンダードになってしまったので仕方ありません。「目検出」じゃちょっと間抜けな名称なので、最初に搭載したメーカーが「瞳検出」としたのでしょう。流れに従います。
瞳という言葉は本来は瞳孔を指しますが、虹彩も含めた範囲も表すこともあるようです。カメラのいわゆる瞳検出は、人や動物の目とおぼしき付近の小領域にフォーカスポイントを適応させるということを表現しているのでしょう。したがって、画面に占める目の大きさによって、目の範囲の中でもどこにピントを合わせるかは異なってきます。

画面いっぱいに目を写す眼科診療の写真以外では、通常は人の写真ではバストアップ程度が最大だと思います。顔を検出したら目の位置を検出して概ね目とおぼしき範囲にフォーカスポイントを持ってきてその範囲でAFを作動させます。そのため、虹彩の色やまつ毛の色、アイラインの色、撮影する角度、コントラストなどによってピントが合う位置は微妙に異なります。青い虹彩に黒い瞳孔だと正に瞳孔辺縁にフォーカスが合った「瞳検出」になるかもしれませんが、虹彩の色が濃い人種では虹彩の辺縁やまつ毛、アイラインなど、コントラストが高い部品にフォーカスが合うことが多いでしょう。
まあ、よほどF値が明るいレンズでアップにした写真を強拡大して見ない限り瞳孔だろうとまつ毛だろうと、目がはっきり写っていれば多くの人には問題ないのだと思います。

プロは使うのか

プロはそんな機能は使わないだとうと思われるかもしれませんが、大いに使います。むしろプロの方が喜んで使っているのではないでしょうか。
先に書いたように、目が写っているのに目にピントが来ていない写真は特別な意図がない限り無条件にボツです。写真が仕事のカメラマンが最も恐れるのは失敗です。仕事である以上、最高の結果を残せるように、撮影中は様々なことを考え、調整しながらシャッターを切ります。フォーカスのこと、露出のこと、画角のこと、構図のことなど、かなり頭の中はアップアップの状態です。何が欠けても写真としては失敗になります。特にフォーカスを外すなどということはプロとしてはあってはならないことです。それを信頼できるカメラに預けられると非常に楽になります。被写体認識によって露出の精度も上がって来たので、カメラマンは画角や構図に専念できるようになります。ひいてはより良い写真が撮れることにつながります。

動物検出：動物の瞳検出

仕事としては、医療カメラマンと動物写真家として写真を撮っています。医療カメラマンの仕事の方は被写体検出の対象外です。さすがに臓器の検出機能は時が経っても盛り込まれないでしょう。特に必要もありません。手術写真は基本、日の丸写真なので、シングルエリアをセンターで使うのでそれで十分なのです。

動物の方は野鳥撮影が主な仕事ですが、鳥の認識、鳥の顔や目の検出機能は大いに役立ちます。人よりも遥かに小さく、被写界深度が極めて浅い超望遠レンズで撮影を行うので、ピンポイントで目にピントを合わせないとボツ写真を量産することになります。今まではフォーカスポイントを移動させてシングルエリアで目にピントを合わせて撮影したり、目に合わせてフォーカスロックをしてから構図を決めて撮影していました。しかし、Z9では鳥を認識して自動的に目にピントが来るようになると、最初に構図を決めたまま目にピントが合った写真をとることができます。これは撮影の幅を広げてくれる大変優れた機能です。今までと撮影スタイルが変わるので慣れるまでは戸惑いますが、撮影が楽になり、かつ、成功率も高くなることでしょう。

目が画面上のどこにあっても被写体を認識すれば目を検出してピントを合わせてくれます。
瞳検出機能と精度が信頼できれば、このように向いた方向の空間を空ける基本のオフセットした構図でそのままシャッターを切れます。日没後のかなり暗い状況ですが、きちんと認識してくれました。
以下Exifデータ抜粋
Artist : Akira Yamanouchi
Exposure Time : 1/60
F Number : 5.6
Exposure Program : Manual
ISO : 800
Lens Info : 700mm f/5.6
Lens Model : VR 500mm f/4E
Focal Length In 35mm Format : 1050 mm

上の写真の拡大。個人的には目の周りのツブツブが写ってない写真はボツにしています。
35mm判換算1050mm相当でシャッター速度1/60秒手持ちなので、さすがのレンズとボディのVRでも少しブレてしまいましたが、何とか許容範囲です。
虹彩が黒いので瞳は見えませんが、この場合はおそらく黒い眼球と白い眼瞼の辺縁部のコントラストが高い部分で位相差AFを行い、コントラストAFで微調整しているのでしょう。
被写界深度が浅いので、目にピントが合っても、クチバシや頭頂部はもうボケています。従来の至近距離優先のAFではクチバシにピントが合って目はボケてしまいましたが、瞳検出によってピンポイントで目に合わせてくれます。
ありがたやーありがたやー。

その他、哺乳類、爬虫類、両生類などのエキゾチックアニマルも含めたペットの動物撮影の依頼も多いのですが、これらの動物のどのような種に反応するか楽しみです。色々と試してみたいと思います。

今後の進化

被写体認識も瞳検出も、まだまだできたばかりの機能で、発展途上です。しかしながら、これらの検出機能は純粋にソフトウェアの話なので、ファームウェアのアップデートで書き換えることができます。おそらく、カメラ会社各社では常に学習を継続し、より良いアルゴリズムを開発していることでしょう。被写体検出の出来不出来がカメラの売れ行きに大きく影響すると思います。まさに社運をかけて開発していると思います。
幸いなことに、被写体認識はハードウェアをいじらすとも、ソフトのアップデートによってどんどん最新のアルゴリズムに更新することが可能となります。より高精度、高速化、検出率の向上がされていくものと思います。大いに期待できる分野です。