Nikon Z9：AFエリアモードの違いによる被写体検出（鳥）の挙動の検証（ファームウェア Ver. 3.01）その1

購入当初から疑問を持ったまま使っていました。被写体検出機能は各種ワイドエリアAF、3DトラッキングAF、オートエリアAFのAFエリアモードで使えますが、各AFエリアモードでの被写体検出の違いはあるのだろうかという疑問です。

静止した野鳥の場合はワイドエリアAFを多用していますが、当初はファインダー上のAFエリアの内部に入った被写体を検出するのかと思っていました。しかし、使いはじめるとどうもそうではなく、AFエリア外でも被写体を検出したり目を検出したりしてくれます。AFエリアのサイズと被写体の検出にはどのような関係があるのでしょうか。

発売後1年でVer. 3.01がリリースされ、Z9の被写体検出機能も安定してきたようなので、遅ればせながらAFエリアモードの違いによる被写体検出の挙動を検証してみました。

Z9の被写体検出
おことわり
ターゲット
機材
方法
結果
考察

Z9の被写体検出

近年めざましい発展を遂げた機械学習による被写体検出はこのような単純な実験で語れるものではありません。AI技術によって作られたものは、時によってそのアルゴリズムを開発したプログラマでさえ思いつきもしなかった挙動を示すことがあります。
鳥の認識でしたら、おそらく膨大な量の鳥の画像を見せ、鳥として認識するように学習させたのでしょう。すべての鳥類のあらゆる角度や状況を網羅するのは不可能でしょうから、学習させる画像は人為的にある程度偏った情報であると推測します。それでも実際フィールドで野鳥撮影をしていると、かなりのレベルに達していることがわかります。代表的な野鳥は概ね被写体として認識し、目が見えていれば目を検出してくれます。

ミラーレスはZ9しか使っていないので（Nikon１以外では）、他社の被写体検出とは比較できませんが、野鳥撮影においては概ね素晴らしい仕事をしてくれています。

しかし、まだまだ誤検出も見られます。スズメとサギのように形状が全く異なる鳥類でも驚くほどきっちり検出される一方、どうしても検出してくれないイソシギや、時々樹木の一部や石など、人間なら間違うことはないようなものを鳥として誤検出することもあります。Ver. 3.以降はかなり改善されたようですが、まだまだ完全にカメラ任せにはできないのが現状です。

おことわり

被写体検出は単純なアルゴリズムではなく、機械学習によって得られたデータやパラメーターから最もマッチする対象を検出しているものと思われます。おそらくレンズの明るさや焦点距離、フォーマット、露出、背景や前景の有無、環境光、影の量や方向、被写体が画面を占める割合や向き、目のキャッチライトの有無、などによっても挙動が大きく変わることが予想されます。

したがって、このページは被写体検出の単純な一例として参照ください。こんなファインダーログだけでは何も評価できないのは重々承知です。単に特定環境下でのAFエリアモードの違いによる被写体検出の挙動を記録したものです。ご参考までに。

ターゲット

導入やフォーカシングの練習用として何か良いターゲットはないかと探していたところ、素晴らしい置物を見つけました。Benny’sさんのハミングバードシリーズです。

製品のクオリティは極めて高く、羽毛の一本一本まで再現されています。かなり精巧な模型を型取りして樹脂で量産しているのでしょう。まるで本物です。目の塗装のみグロス仕上げで、きっちりとキャッチライトも入ります。
他にもカワセミやハクセキレイ、メジロなどもあります。全部欲しくなってしまいます。カメラの野鳥検出のテストや、野鳥撮影の練習に使えます。

目の周りなど、はく製より良く出来ていますし、アップにも耐える高品質です。人の目にも鳥に見えるので、Z9でもファインダーに導入した瞬間から問題なく鳥として認識しました。今回はこの模型をターゲットとしました。

※追記：残念ながら上の写真のモデルは現在販売終了となってしまいました。

機材

カメラ：Nikon Z9 Ver. 3.01
レンズ：NIKKOR Z 24-120mm f/4 S
回転台：小型電動ターンテーブル L’QECTED

方法

被写体を回転台に乗せ、定速回転させているシーンを三脚に固定したZ9の以下の設定で撮影し、被写体検出の挙動を示すファインダー像を録画しました。

AFエリアモード

ワイドエリアAF（S）
ワイドエリアAF（L）
ワイドエリアAF（C1）：エリア最大19×11に拡張
3DトラッキングAF
オートエリアAF

各AFエリアモードで2回転の記録を行いました。

被写体検出

被写体検出：動物

露出

絞り：5.6
シャッター速度：1/100
ISO：オート（500）

その他設定

フォーマット：DXフォーマット
露出補正：±0EV
手ブレ補正：オフ
ズーム：適度な大きさになるように調整（78mm相当）
ワイドエリアAF（S）で目がエリア外、ワイドエリアAF（L）で目がエリアのボーダー上、ワイドエリアAF（C1）で目がエリアに包含されるようにズームとカメラ向きを調整
AFロックオン：横切りへの反応：３、被写体の動き：スムーズ

結果

カメラを三脚に固定し、ワイドエリアAF（S）、ワイドエリアAF（L）、エリアを最大の19×11に拡張したワイドエリアAF（C1）、3DトラッキングAF、オートエリアAFの順に、各AFエリアモードでターンテーブル上の被写体が2回転する様子を記録しました。

ワイドエリアAF（S）、ワイドエリアAF（L）

まったく問題なく被写体を認識し、目が見えた瞬間に目にフォーカスポイント（緑枠）を設置します。追従性も完璧です。
エリア内の被写体のみ検出すると勘違いしていましたが、ワイドエリアAF（S）の例のように、エリアの外の目もきっちり検出します。ワイドエリア（L）はあえてエリアのボーダーに目が来るように設置しましたが、問題なく検出しています。
双方のモードとも、正面を通過した時の左右の目の切り替えも問題なく、至近優先で回転に伴って右目から左目に切り替わります。
誤検出はまったくありませんでした。

ワイドエリアAF（C1）

エリアを最大の19×11にすると、DXフォーマットのほぼ全面をカバーします。
置物の下部台座部分に黒いパイプ状の人感センサーがあるのですが、そのセンサーを短い時間ですが誤検出しました。上のSとLではこのセンサーは無視されていましたが、C1ではエリア内に入ってしまうためか、このセンサーの黒丸を目と認識してロックされてしまうようです。
目が見えると目の方が優先されますが、右目の検出までに一瞬の遅れがあります。
一度目を検出すればその後は安定して追尾します。正面通過時の左右の至近の目への切り替えも問題ありません。

3Dトラッキング

本来はターゲットに向けて半押しするとその被写体にロックし続けるAFモードですが、被写体検出をオンにしているとワイドエリアと同様な動きをします。
この場合も全面から被写体を検出するようで、置物の台座の黒丸状人感センサーを誤検出します。
3Dトラッキングの本来の機能が優先されるようで、最初に誤検出した人感センサー窓に強くロックされるようで、鳥の右目がクリアに見える状態になっても目の検出に移行しません。これはバグではなく、本来の3Dトラッキングの動きなので、これで正解なのでしょう。しかし、右目へのフォーカスはできないまま通り過ぎてしまいます。右目が見えた状態でシャッター半押しをやり直せば右目にフォーカスロックをし直したのでしょう。このテストではシャッター半押しを継続した状態のふるまいを記録しています。
台座の人感センサーが見えなくなると目の検出が自動的に優先されます。一度目を検出すれば後は安定して追尾してくれます。

オートエリアAF

こちらは3Dトラッキング時の被写体検出と同様な動きを示しました。画面全体から被写体を探すようで、最初に見える台座の人感センサーの丸窓を誤検出します。オートエリアでもロックオンは強いようで、鳥の右目がクリアに見える状態になっても誤検出の人感センサー窓にロックしたまま右目は無視されます。
人感センサー窓が見えなくなってようやく鳥の左目を検出します。右目には一度もフォーカスポイントは出現しません。
しかし、2周目ではなぜか誤検出の人感センサーは早々にあきらめ、途中からですが右目を検出しました。その後はきっちり追従し、至近優先による左右の目の切り替えもスムーズに行われています。
条件は同じですが、1周目と2周目で随分動きがずいぶんと異なります。この辺りは「なぜ」と聞いても誰も答えられないでしょう。機械学習による被写体検出はそういうものと理解しています。

考察

興味深い結果となりました。この実験だけでは評価は困難ですが、勝手に思い込んでいた被写体検出のふるまいが少しわかってきた気がします。

まず、ワイドエリアAFのふるまいですが、エリアは厳密なものではなく、エリアを指標としたかなり緩い範囲で被写体検出をしているような動きに見受けられます。小さい被写体には小さいエリア、大きい被写体には大きいエリアが適していると思い込んでいましたが、必ずしもそうではなく、今回のようにファインダーのかなりのエリアを被写体が占める状況でも、ワイドエリアAF（S）や（L）の検出率が一番良く、誤検出も全くないという結果でした。最大サイズにしたC1も一瞬誤検出がありましたが、概ね良好なふるまいをします。ただし、ある程度はエリアのサイズは影響しているようなふるまいを示します。

特筆すべきは、ワイドエリアの範囲のかなり外に位置する目も検出して追従もするということです。ファームウェアVer. 3.01の変更内容には、

• 以下の不具合を修正しました。
- – 以下の設定にした際にオートフォーカスを行うと、検出した被写体にピントが合わないことがある。
  - ▸ [AF エリアモード]を、[ワイドエリア AF(S)]、[ワイドエリア AF(L)]、[ワイドエリア AF(C1)]、[ワイドエリア AF(C2)]のいずれかに設定
  - ▸ [AF 時の被写体検出設定]を[しない]以外に設定
  - ▸ フォーカスポイントの外側で被写体検出をしている場合

と明記されています。旧バージョンとの比較は行っていないので分かりませんが、エリア外での被写体検出に今まではバグがあって、エリア内だけに特化していたものが、今回のVer. 3.01からエリア外でも検出するようになったのかもしれません。いずれにしても良い方向への動きです。

今回の実験では3DトラッキングとオートエリアAFは誤検出が多く、あまり良くない結果となってしまいましたが、カワセミのダイブや様々な野鳥の飛翔撮影などではより検出率が高くなる可能性も秘めています。その違いを狭いわが家で同一条件を満たしながら比較検証するのは至難の業です。

Nikon Z9：ファームウェア Ver. 3.xx（Ver. 3.00〜）：総論

ファームウェア Ver. 3.002022年10月26日、Z9のファームウェア Ver. 3.00がリリースされました。Ver. 2.11からVer. 3.00なので、メジャーアップデートです。大幅な機能追加やアルゴリズム...

Nikon Z9：レビュー（総論）

満を持して登場したニコン最強のミラーレスフラグシップZ9を徹底レビュー。野鳥写真家の目から見て、一眼レフを超えられるのか、良いところ・悪いところを検証します。特に世界最多とうたわれている被写体検出の動作をメーカー記載の範囲を超えてチャレンジしてみました。

Nikon Z9：被写体検出：総論

動物検出に関して、ニコンは「犬、猫、鳥」としかうたっていませんが、試してみると目がある動物はかなりの確率で被写体として認識され、瞳検出されます。野鳥に関してはほぼ間違いありませんが、その他の哺乳類、爬虫類、両生類も種類によっては検出されます。ファームウェアのバージョンアップでさらなる進化も期待できます。

Nikon Z9＋NIKKOR Z 800mm f/6.3 VR S レビュー（総論）

Nikonから画期的な超望遠レンズが登場しました。何と手持ちで使える800mmです。野鳥撮影で手持ちで使えるのか、検証しました。Z9とZ50で使いましたが、本当に手持ちで使えています。撮影の幅が大幅に広がりました。

Amazon Link

カメラ関連

Amazon

Nikon Z 9 ボディ

野鳥撮影にも最強のパフォーマンスを発揮するミラーレスフラグシップです。被写体検出機能で野鳥も認識して目にフォーカスを合わせてくれます。本格的に野鳥撮影をする方にはおすすめです。
FTZ-IIを介して今までのFマウントの超望遠レンズも問題なく使えます。ZマウントのNIKKOR Z 800mm f/6.3 VR Sとの組み合わせは5.5段のVRが効き、800mm（DXで1200mm）ながら手持ち撮影が可能になります。

Nikon Li-ionリチャージャブルバッテリー EN-EL18d
Amazon

Nikon バッテリー室カバー BL-7
Amazon

Nikon FTZ II
Amazon

SmallRig ニコンZ9用Lブラケット（ARCA SWISS互換）
Amazon

グラマスGRAMAS Extra Camera Glass Nikon Z 9用 DCG-NI17 クリア
Amazon

メディア

静止画メイン推奨 ProGrade Digital CFexpress 2.0 Type B COBALT 165GB カードプログレードデジタル正規輸入品 Amazon	静止画メインハードユーザー推奨 ProGrade Digital CFexpress 2.0 Type B COBALT 325GB カードプログレードデジタル正規輸入品 Amazon	動画メイン推奨 ProGrade Digital CFexpress 2.0 Type B COBALT 650GB カードプログレードデジタル正規輸入品 Amazon	動画メインハードユーザー推奨 ProGrade Digital CFexpress 4.0 Type B COBALT 1.3TB カード (最大読込3400MB/s 持続書込2800MB/s) プログレードデジタル正規輸入品 Amazon
Lexar Professional 128GB CFexpress Type B メモリーカードゴールドシリーズ最大読み取り1750MB/秒 Amazon	Lexar Professional CFexpress 256GB Type-Bカード Amazon	Lexar CFexpressカード Type-B 1TB GOLD 最大読出速度1900MB/s 最大書込速度1500MB/s 制限付き海外版 Amazon	Nikon純正メモリーカード Nikon ニコン CFexpress Type B メモリーカード 660GB Amazon

標準ズーム