こんにちわ、Pocolです。
今日は，
[Ma 2007] Wan-Chun Ma, Tim Hawkins, Pieter Peers, Charles-Felix Chabert, Malte Weiss, Paul Debevec, “Rapid Acquisition of Specular and Diffuse Normal Maps from Polarized Spherical Gradient Illumination”, Eurographics Symposium on Rendering, 2007.
を読んでみようと思います。
いつもながら誤字・誤訳があるかと思いますので，ご指摘頂ける場合は正しい翻訳と共に指摘していただけると幸いです。
Abstract
4つの球面勾配照明パターンを用いて、物体のディフューズ反射率またはスペキュラー反射率のいずれかからサーフェイス法線マップを推定します。従来のフォトメトリックステレオとは異なり、球面パターンは任意の数の視点から同時に法線を推定することを可能にします。本発表では、物体のディフューズ法線マップとスペキュラー法線マップを独立に測定できる2つの偏光照明技術を紹介します。スキャッタリングマテリアルの場合、ディフューズ法線が表面下散乱のために真のサーフェイス法線から外れるのに対し、スペキュラー法線マップは詳細なサーフェイス形状の最良の記録をもたらすこと、そしてこの効果は波長に依存することを示します。また、この手法の応用例も紹介します。まず、時間多重照明を用いて、複数の視点位置から同時にフェイシャルパフォーマンスの法線マップを撮影します。第二に、スペキュラー成分による高解像度法線マップを構造化照明3Dスキャンと併用することで、市販のデジタルスティールカメラを用いて高解像度の顔面形状を迅速に取得することができることを示します。最後に、スペキュラーカラーチャンネルとディフューズカラーチャンネルの法線マップを独立して推定し、表面下散乱の知覚的に重要な効果のいくつかを再現するリアルタイム・シェーディング・モデルを提示します。
1. Introduction
近年のコンピュータグラフィックスでは、物体の形状や反射率を取得する技術により、よりリッチでリアルなレンダリングが可能になっています。これらの技術の多く（[SWI, DHT*, LKG*03, GTHD, WMP*06]など）は、3Dスキャンと異なる照明条件での写真撮影を組み合わせて、オブジェクトの形状と光の反射方法の3Dモデルを取得するものです。この2つの特性を測定することで，対象物がどの角度から見ても，どのような環境の光を反射しても，どのように見えるかを忠実にレンダリングすることができます。
現在の反射率取得技術の中には、少数の照明条件下で物体を撮影し、この限られた反射率情報を用いて物体表面全体のBRDFを推測するものがあります[LKG*03, ZERB]。しかし、このような手法では、スペキュラー反射の空間的に変化する効果のいくつかを見逃してしまいます。また，照明方向を密に抽出し，多数の画像を用いて物体の反射率を取得する手法もあります[DHT*，CGS，WMP*06]．これらの手法は，空間的に変化する BRDF をより正確にモデル化しますが，データを大幅に消費するため，生きた被写体のキャプチャーを複雑にしています。
本研究では、少ない照明条件を用いながらも、物体表面全体のディフューズ反射とスペキュラー反射の挙動を独立して推定することができる新しい反射率取得技術を紹介します。この手法では、4つの球面勾配照明パターンを用いて、各画素の反射率関数の重心と全エネルギー、すなわち、物体が球面上の各方向から照明されたときにカメラに向かって反射する光の量を効果的に計算します。さらに、勾配パターンは、直線偏光または円偏光を用いて、ディフューズ成分とスペキュラー成分を独立して特徴付けることができることを示します。ディフューズ反射とスペキュラー反射のそれぞれの重心から、画素のサーフェイス法線の推定値が得られることを示し、これらの推定値をオブジェクトのディフューズ法線、スペキュラー法線と呼ぶことにします。このように、2つの偏光状態で撮影された4つの照明パターンから、各画素のディフューズ法線（色チャンネル毎）、ディフューズアルベド（色チャンネル毎）、スペキュラー法線、スペキュラー強度を得ることができます。
本技術の主な特徴は、わずかな照明パターンを用いて、物体のスペキュラー反射率から法線マップを推定することです。また、撮影枚数が少ないため、生身の被写体でも一般的な高解像度スティールカメラでデータを取得でき、従来の手法よりも高解像度のマップを取得することが可能です。さらに、透光性を持つ材質の表面形状を高精細に表現することができます。このような材質では、反射のディフューズ成分のみを分析する標準的な3Dスキャンや測光技術では、表面下散乱によるぼやけが原因でディテールが欠落してしまいます。
本技術によるディフューズ反射からの法線推定は、セルフシャドウイングと相互照明の影響を受けます。もし補正されないままであれば，我々が取得したディフューズ法線は，[Lan02]のベント法線や[MGW]の多項式テクスチャマップと同様に，形状測定よりもサーフェイスシェーディングに有用です。従来のフォトメトリックステレオに比べ，我々のパターンが持つ利点は，照明パターン（直線偏光下を除く）がビューに依存せず，どの視点からも同じ4つのパターンから法線を推定することができることです。この技術では，法線とアルベドのみを推定するため，レンダリングには手動で選択したスペキュラーラフネスパラメータを使用し，各サーフェイス点における完全なBRDFを測定していません。しかし、取得した法線マップは十分に高い解像度であるため、空間的に変化するスペキュラーラフネスの外観を得ることができます。
この取得プロセスの応用として、スペキュラー法線とディフューズ法線の違いが有機物の反射率を特徴付けるために重要であることを紹介します。この観察から、スペキュラーチャンネルと3つのディフューズカラーチャンネルのそれぞれについて独立した法線マップを使用するリアルタイムハイブリッド法線シェーディング技術を紹介します。この手法により、図1および図10に示すように、物体表面の半透明性がもたらす知覚的に重要な効果のいくつかが再現されることを示します。
また、別の応用例として、我々のスペキュラー法線推定をコスト効率の良い構造化照明スキャニングと組み合わせることで、高解像度レーザースキャンと同等の品質の3Dモデルを作成することができることを示します。レーザースキャンとは異なり、我々の手法は高速で、かつサーフェイスの半透明性に強いため、有機物の表面の高解像度の詳細を直接取得することができます。この技術は、2台の一眼レフカメラ、偏光板、LED球という比較的安価なセットアップで、これまでで最も高解像度な人間の顔の光計測によるスキャンを実現しています。私たちの貢献は以下の通りです。
1. ビューに依存しない球面勾配照明パターンのセットを使用して、拡散反射率または鏡面反射率に基づくオブジェクトのフォトメトリック法線マップを復元することができます。
2. 球面照明下でスペキュラー反射とディフューズ反射を分離するために、直線偏光または円偏光パターンを使用すること。これにより、スペキュラー強度、ディフューズアルベドに加え、色チャンネルごとのディフューズ法線マップとスペキュラー法線マップを独立に推定することができます。
3. ディフューズ法線マップとスペキュラー法線マップを独立して復元したレンダリングにより、詳細な表面反射と半透明な拡散反射の近似をローカルシェーディングモデルでレンダリングすることが可能です。
4. これらの技術を構造化照明と組み合わせて使用し、高解像度の表面形状およびアライメントを復元する新しいスキャンシステム。
2. Background and Related Work
この技術は、反射率スキャン、フォトメトリックステレオ、反射光の偏光ベース解析といったこれまでの研究成果を基に開発されたものです:
Reflectance Scanning Techniques.
多くの反射率取得技術（[SWI, DHT*, LKG*03, GTHD, WMP*06]など）は、異なる照明条件で撮影した対象物の写真を用いて、その反射率特性を取得します。最も重要な課題の1つは、物体のスペキュラー反射の挙動を記録することです。スペキュラーハイライトの位置は照明方向とサーフェイス法線に依存するため、スペキュラーローブの外観をサンプリングするためには、照明方向を変えて撮影した多数の画像が必要です。また，対象物がすべて同じ材質であると仮定しても，一般に多くの写真が必要となる[MWL*，MPBM03]。このため、ほとんどの技術では、2つのアプローチのうちどちらかを採用せざるを得ません。
1つ目は、照明方向を密にサンプリングした状態で対象物を多数撮影する方法です[DHT*, CGS, WMP*06]。このため、撮影時間が長くなる（人物の計測が複雑になる）か、専用の高速度カメラ[WGT*05]が必要になり、費用がかさむとともに画質も低下するため、データ量の多い撮影処理となります。また、鏡面のようなスペキュラー反射を持つ物体には適用が難しく、1000通りの照明方向があっても、エイリアシングを起こさずにスペキュラー反射を観察することは困難です。
第二のアプローチは，物体上の特定のハイライト部分におけるスペキュラーローブの空間的挙動を観察し，物体全体のサーフェイスにおけるこの挙動を外挿するものです［LKG*03, ZERB］。これらの手法は、物体表面全体にわたってもっともらしい反射率特性を生成することができますが、精度の保証はありません。また、スペキュラー観測間のサーフェイス方位の詳細は、物体の拡散反射率からの情報のみを用いて推測する必要があり、このような技術では散乱物質の高周波サーフェイスの詳細を捉えることはできません[CGS]。
Photometric Stereo and Extensions.
[Woo80]は、簡単な線形系を用いて、複数の照明方向におけるLambertianサーフェイスの見え方から、サーフェイスの向きを決定するプロセスであるフォトメトリックステレオを紹介しました。フォトメトリック・ステレオの拡張により，相互反射[NIK91]やスペキュラー反射[Sch93, MZKB]があっても方位を復元できるようになりました．この分野におけるフォトメトリック・ステレオの最近の研究については，[BP03]でレビューされています。
また、スペキュラー反射からサーフェイスの向きを推定する試みも行われています。これらの多くは、私たちの研究と同様に、ある角度範囲におけるスペキュラー反射を確実に観測するために、拡張された照明パターンを用いています。[Ike81]は、ディフューズサーフェイスに反射する蛍光灯の光を用いて、スペキュラー反射を仮定してサーフェイスの向きを推定しました。[HBKM]は、目のスペキュラー反射をリングのパターンとスプラインベースのサーフェイスフィッティングを用いて、角膜の形状をモデル化しました。
最近では、[CGS]が多くの照明条件から得られるスペキュラー法線と位置情報を組み合わせて、高精細なジオメトリを作成することができるようになりました。本研究の主な目的は、より広い角度範囲のスペキュラー法線に対して、わずかな照明条件を用いて同様の詳細な形状を得ることです。
環境マット[ZWCS]は、ビデオモニターで作成したいくつかの拡張照明パターンを利用して、物体から反射したり屈折したりする背景からの光線の向きを測定します。[CZH*]では、1つの多色勾配パターンを用いて同様の情報を取得し、環境マットのリアルタイムキャプチャを可能にしました。さらに[TLGS05]では、これらの反射方向から実際にサーフェイスの法線とオブジェクトの形状を復元することに成功しました。彼らは、高速なキャプチャとロバストな復元の良い妥協点を提供する4つの多色照明パターンを使用して、反射方向を復元しました。しかし、我々は、全球照明と偏光を利用して、物体全体の独立したスペキュラー法線とディフューズ法線、および反射率をキャプチャしています。
[NIK90]は、複数の拡張光源を用いて、ディフューズ反射とスペキュラー反射の両方を示す物体について、サーフェイスの向きと反射率特性の合同復元を実証しました。我々の目標とアプローチは類似していますが、我々の技術はより少ない照明条件と、ディフューズ反射とスペキュラー反射のための異なるサーフェイス法線のキャプチャ、および異なるディフューズチャンネルのための異なるサーフェイス法線のキャプチャをサポートしています。[DHT*]は，顔のディフューズ成分とスペキュラー成分に対して別々のサーフェイス法線マップを復元するために，多くの指向性照明条件と色空間ディフューズ・スペキュラー分離を使用し，ディフューズ反射から得られるサーフェイス法線が，半透明のためにスペキュラー法線の鋭い細部を欠いていることを観察しました。本研究では、同様の結果を得ると同時に、照明条件を大幅に削減し、高速かつ高解像度のキャプチャを可能にしました。
Polarization-Based Analysis of Reflected Light.
物体形状や反射率の解析には、観測された光のうち、どの部分がディフューズ反射で、どの部分がスペキュラー反射であるかを判断できることが大きなメリットとなります。偏光はそのための有効な手段となります。ディフューズ反射とスペキュラー反射のコンポーネントはスペキュラー反射がフレネル方程式に従って決定論的に偏光を変化させるのに対して、ディフューズ反射は一般に無偏光に近い出射光を生成する点で異なります。[Wol, Wol89]では、被写体が均質な物質で構成されていると仮定して、カメラの前に垂直偏光板と水平偏光板を置いて撮影した2枚の画像を用いて、ディフューズ反射とスペキュラー反射を区別する方法を示しています。[NFB97]では、この手法と色空間解析を組み合わせ、異質な物質の反射率成分を分離しています。最近，[CLFS]は偏光照明を用いて半透明の3次元物体を走査する技術を提案しました。
入射照明も偏光できるようになると、この分離が簡単になります[Mer84]。[DHT*] は，人間の顔の反射率を特徴付けるために，一対の画像（交差偏光と平行偏光）を使用して，ディフューズ反射とスペキュラー反射の成分を分離しました．この研究では，この線形分離能力を入射照明の全球に拡張し，さらに円偏光照明場がディフューズ・スペキュラー分離に有用であることを実証しています。
3. Computing Normals from Gradient Illumination
ここでは、サーフェイスの法線と勾配照明で測定した反射率関数の重心の関係について考察します。サーフェイス法線に対するディフューズ反射関数とスペキュラー反射関数の挙動は異なるため、両者を分けて議論します。
どちらの場合も、方向\({\vec \omega} \in \Omega\)の球面上に定義された4つの球面照明パターン\(P_i({\vec \omega})\)だけが必要であることを示します。この4つのパターンとは、一定のパターン\(P_c({\vec \omega}) = 1\)、x座標\(P_x({\vec \omega}) = \omega_x\)に沿った直線的な勾配、y座標\(P_y({\vec \omega}) = \omega_y\)に沿った直線的な勾配、z座標\(P_z({\vec \omega} = \omega_z\)に沿った直線的な勾配のことです。なお、\({\vec \omega} = [\omega_x, \omega_y, \omega_z]\)は方向\({\vec \omega}\)に対応する正規化ベクトルの成分です。
Lambertian Surface Reflection.
入射照明\({\vec \omega}\)と法線\({\vec {\mathbf n}}\)に対して、次のように定義されるLambertian BRDFを考えます: \(R({\vec \omega} {\vec {\mathbf n}}) = \rho_d F({\vec \omega}, {\vec {\mathbf n}})\)，ここで\(F\)は因数\({\rm max}({\vec \omega} \cdot {\vec {\mathbf n}})\)の短縮表記で,\(\rho_d\)はディフューズアルベドです。球面照明パターン\(P_i\)の下で，オクルージョンと相互反射を除いて視線方向\({\vec {\mathbf v}}\)から観測されるリフレクタンス\(L_i\)は次の通りです：
\begin{eqnarray}
L_i({\vec {\mathbf v}}) = \int_{\Omega} P_i ({\vec \omega}) R({\vec \omega}, {\vec {\mathbf n}}) d {\vec \omega} \tag{1}
\end{eqnarray}
x座標\(P_x\)に沿った勾配の場合、反射率は以下のように導き出すことができます。まず、式(1)の積分をローカルシェーディングフレーム\({\mathbf T} =[{\vec {\mathbf s}}, {\vec {\mathbf t}}, {\vec {\mathbf n}}]^{T}\)で表します。ここで、\({\vec {\mathbf s}}\)と\({\vec {\mathbf t}}\)は自由に選択できるが互いに直交し、法線方向\({\vec {\mathbf n}}\)が\({\vec {\mathbf z}} = [0, 0, 1]\)に揃うような\({\vec \omega} = [{\omega_s}’, {\omega_t}’, {\omega_n}’]\)とします。式(1)は次のようになります：
\begin{eqnarray}
L_x({\vec {\mathbf v}}) = \int_{\Omega} ({\omega_s}’ s_x + {\omega_t}’ t_x + {\omega_n}’ n_x) R({\vec \omega}’, {\vec {\mathbf z}}) d{\vec \omega}’ \tag{2}
\end{eqnarray}
\(R({\vec \omega}’, {\vec {\mathbf z}})\)が\({\vec \omega}’\)(\({\vec {\mathbf z}}\)のため)の最初の2成分に依存しないため、式（2）の最初の2項に対する積分は0になります。第3項を計算すると、次のようになります:
\begin{eqnarray}
L_x({\vec v}) = n_x \left( \frac{2\pi \rho_d}{3} \right) \tag{3}
\end{eqnarray}
yとzの勾配についても、同様の結果が得られます。3つのケースとも、ディフューズ法線の対応する成分は定数\(\frac{2\pi \rho_d}{3}\)でスケーリングされています。この定数は、観測値を正規化することで割り出すことができます。
勾配\(P_x\), \(P_y\), \(P_z\)は\([-1, +1]\)の範囲で定義されています。負の強度で発光することは不可能なので、強度の値を\([0, +1]\)の範囲に変換してスケーリングしています: \(P_i’ = \frac{1}{2} (P_i + P_c)\)。これで、非加重および非変換の勾配パターン下での反射率値を次によって簡単に計算することができます：\(L_i = 2 L_i’ – L_c\)。サーフェイス法線を決定するためには3つのパターンがあればよいのですが、このような実用上の制約があるため、一定の照明パターンが必要なのです。図2に、人物のディフューズ法線復元処理の一例を示します。
Specular Surface Reflection.
ここでも反射率関数\(R({\vec \omega}, {\vec {\mathbf v}}, {\vec {\mathbf n}}) = S({\vec {\mathbf r}}, {\vec \omega}) F({\vec \omega}, {\vec {\mathbf n}}) \)から始めます。\({\vec {\mathbf r}} = 2 ({\vec {\mathbf n}} \cdot {\vec {\mathbf v}}) {\vec {\mathbf n}} – {\vec {\mathbf v}}\)はスペキュラー反射方向、\(S\)はスペキュラー反射率ローブです。Lambertian反射関数と異なり、スペキュラー反射ローブ\(S\)は完全反射方向を中心にほぼ左右対称です。このローブ\(S\)は\({\vec {\mathbf r}}\)を中心とした小さな立体角付近では非零であり、この立体角では短縮形\(F\)はほぼ一定であると仮定します。この仮定は、(1)ローブの範囲が大きい場合（光沢反射など）、(2)コサインが急激に変化するグレージング角の場合、破綻します。
再び、x座標\(P_x\)に対する勾配の効果を調べます。Lambertian の場合と同様に、変数の変更を適用します。ただし、この場合、反射ビューベクトルを\({\vec {\mathbf z}} = [0, 0, 1]\)に揃えます。これは回転\({\mathbf T} = [{\vec {\mathbf s}}, {\vec {\mathbf t}}, {\vec {\mathbf r}}]^{T}\)によって達成され、\({\vec {\mathbf s}}\)と\({\vec {\mathbf t}}\)は両方とも\({\vec {\mathbf r}}\)に直交する直交ベクトルです。
\begin{eqnarray}
L_x({\vec {\mathbf v}}) = \int_{\Omega} ({\omega_s}’ s_x + {\omega_t}’ t_x + {\omega_r}’ r_x) S({\vec {\mathbf z}}, {\vec \omega}’) F({\vec \omega}’, {\vec {\mathbf n}}) d{\vec \omega}’ \tag{4}
\end{eqnarray}
ここで，\({\vec \omega}’ = [{\omega_s}’, {\omega_t}’, {\omega_r}’] = {\mathbf T}{\vec \omega}\)，\({\vec {\mathbf n}}’ = {\mathbf T}{\vec {\mathbf n}}\)です。\(S\)が0でない立体角では\(F\)がほぼ一定であるという仮定を立てました。この定数を\(c_F\)とする:
\begin{eqnarray}
L_x({\vec {\mathbf v}} \approx c_F \int_{\Omega} ({\omega_s}’ s_x + {\omega_t}’ t_x + {\omega_r}’ r_x) S({\vec {\mathbf z}}, {\vec \omega}’) d{\vec \omega}’ \tag{5}
\end{eqnarray}
ここでも最初の2項は、スペキュラーローブ\(S\)が\({\vec {\mathbf r}}\)を中心に対称であるため0となり、次のようになります：
\begin{eqnarray}
L_x({\vec {\mathbf v}}) \approx r_x c_F \int_{\Omega} {\omega_z}’ S({\vec {\mathbf z}}, {\vec \omega}’) d{\vec \omega}’ \tag{6}
\end{eqnarray}
yとzの勾配についても同様の式が得られます。すべての式は、\(S\)の正確な定義に依存する同じ積分と、同じ定数\(c_F\)を含んでいます。ベクトル\([L_x({\vec {\mathbf v}}), L_y({\vec {\mathbf v}}), L_z({\vec {\mathbf v}})]\)を正規化すると\({\vec {\mathbf r}} = [r_x, r_y, r_z]\)が得られ、これはビュー方向の反射方向となります。\({\vec {\mathbf r}}\)と \({\vec {\mathbf v}}\) の間の正規化された半値幅のベクトルがスペキュラー法線方向に相当する。図9(c), (d)にスペキュラー法線復元の一例を示します。
Discussion.
先の2つの導出は、直感的に次のように理解することができます。まず、ディフューズBRDFとスペキュラーBRDFのそれぞれについて、BRDFが法線方向または反射方向を中心にほぼ対称である事実を観察します。次に、BRDFの重心（つまり平均値）がこの対称軸上にあることは直感的に明らかです。したがって、重心を測定することで、法線を容易に導き出すことができます。1次元関数の重心（統計学では第一モーメントとも呼ばれる）を計算するには、この関数を線形勾配に対して積分することで実現できます。今回紹介する球面勾配関数は、線形勾配を球面領域へ拡張したものです。
実際の反射率関数は、完全なディフューズやスペキュラーであることは少なく、その両方が混在していることがほとんどです。ディフューズ成分やスペキュラー成分のどちらかを無視すると、歪んだ法線になります。これを解決するために、偏光に基づく分離方法を第4章で説明します。
これまで、この議論では相互反映やセルフシャドウイングは無視されてきました。これらの照明効果は、反射率関数の対称性を変化させる。より具体的には，式(2)と式(5)の最初の2項がおそらくゼロではなく，導出された法線方向が歪むことを意味します。さらに、スペキュラー法線に関する誤差は、BRDFがどの程度スペキュラー的であるかにも依存します。広いスペキュラーローブは、(1)ローブ上の\(F\)の変動、(2)スペキュラーローブの部分的なオクルージョン、(3)オフスペキュラー反射による誤差を生じさせる可能性があります。[NIK90]に見られるように、視点が固定され、照明方向が変化する場合、 スペキュラー外反射は大きな影響を及ぼしません。これは、(1)と(3)の誤差が互いに相殺される傾向があるためです。
4. Separating Reflectance Components under Spherical Illumination
これまで、反射率がディフューズまたはスペキュラーである物体に対して、勾配照明からサーフェイス法線の推定値を得ることができることを示しました。ほとんどのサーフェイスはスペキュラー反射とディフューズ反射の組合せを示すので、それぞれの成分から独立して物体の法線を推定することが望ましいです。このセクションでは、ディフューズ成分とスペキュラー成分を分離するための2つの偏光ベースの技術を紹介します。
4.1. Linear Polarization
スペキュラー反射は、屈折率の異なる2つの媒質の界面で生じる、比較的単純なサーフェイス相互作用である。物質の屈折率を\(n\)とすると、サーフェイスからのスペキュラー反射はフレネル方程式で支配されます：
\begin{eqnarray}
r_s = \frac{\sin(\theta_t – \theta_i)}{\sin(\theta_t + \theta_i)}, \quad r_p = \frac{\tan(\theta_t – \theta_i)}{\tan(\theta_t + \theta_i)} \tag{7}
\end{eqnarray}
ここで、\(r_s\) は入射面に垂直な反射電界成分と入射電界成分の比、\(r_p\) は平行成分に対する対応比、\(\theta_i\) は入射角、\(\theta_t\) は屈折角で、\(\theta_t = {\rm arcsin}(\frac{1}{n} \sin \theta_i)\) で与えられます。
これらの式から、スペキュラー反射光の偏光状態は、入射光の偏光状態によって決定されることがわかります。一方、ディフューズ反射は表面下散乱から生じ、入射光の偏光特性に関係なく、ほとんど偏光しません。このため、入射光の偏光状態を制御しながら反射光の偏光状態を測定することで、反射光のディフューズ成分とスペキュラー成分を効果的に分離することができます。
カメラ1台で、光源がカメラと被写体を含む水平面にあると仮定すると、[DHT*]は光源とカメラの上に直線偏光板を配置して分離を行いました。これは、光源の上に垂直偏光板を配置することで、入射面が水平であることから、出射するスペキュラー反射も垂直偏光になることを保証しています。カメラの前に水平偏光板を設置すると、スペキュラー反射光はすべて遮断されますが、ディフューズ反射光は半分だけ遮断され、画像\(I_1 = \frac{1}{2} I_D\)が得られます。同様に、垂直偏光板をカメラの前に置くと、\(I_2 = \frac{1}{2}I_D + I_s\)が得られます。ディフューズ光とスペキュラー光の画像成分は、\(I_D = 2 I_1\) と \(I_s = I_2 – I_1\)となります。直線偏光によるディフューズ・スペキュラー分離の結果を図3、図5に示します。
被写体を多数のライトで同時に照らしたいので、ライトの配置を水平面に限定したくないため、式(7)に従ってカメラ視点に向かってスペキュラー反射した光が、どのライトから入射しても垂直偏光になるように、ライトの球面方向の場を直線偏光に設計しなければなりません。
実際には、球体上の各光源に配置した直線偏光板を個別に調整し、カメラの直線偏光板を通して見た球体試験体のスペキュラー反射を最小にすることでこのパターンを作り出しています。このパターンは数値最適化によっても求めることができ、その結果が図4(a)です。
図4(b)に示すように、半直線上にあるサーフェイス要素からの反射スペキュラー成分の強度は、スペキュラーアルベド\(\rho_s\)だけでなく、フレネル方程式で規定される入射光方向そのものに依存します。反射スペキュラー光を\(\rho_s\)として解釈する場合、この影響を除かなければなりません。ブリュースター角付近ではスペキュラー反射が非常に弱くなり、この角度での\(\rho_s\)の復元は信頼できません。
直線偏光で反射率成分を分離する場合、必要な偏光方向フィールドが視線方向に大きく依存するというデメリットがあります。カメラに向かうスペキュラー反射はすべて同じ偏光状態でなければならないという制約をなくし、代わりに直線偏光で60度間隔に3枚の画像を撮影するという方法もあります。これによって、あらゆる偏光方向のシミュレーションが可能になる。我々は2つの理由から、この方法を採用しません。第一に，強いスペキュラー反射成分がある場合に非偏光ディフューズ成分を正確に計算するには，復元の条件が悪すぎることがわかりました．第二に、任意のピクセルからのスペキュラー反射が直線偏光であることが依然として必要となります。これは、偏光方向フィールドがスペキュラーローブ上でほぼ一定であることを必要とします。しかし、球面上で連続した方向フィールドを指定することは不可能であるため、この条件に反する照明方向が必ず存在することになります。単一視点であれば、図4(a)のパターンのようにブリュースター角で不連続に配置することでこの問題を回避できますが、同時に複数のカメラでこれを実現することはできません。これらの欠点から、ビューに依存しないディオフューズ／スペキュラ分離を得るための円偏光について検討することとなりました。
4.2. Circular Polarization
円偏光板はキラリティーを持ちますが、方向性はありません。同じキラリティの円偏光板を球面上に配置することで、滑らかに変化するだけでなく、カメラ視点の選択に対して対称な偏光フィールドを得ることができます。これにより、直線的な勾配パターンを用いることで確立された視点独立性が保たれます。
この方法の欠点は、\(r_s\)と\(r_p\)の比率が異なるため、円偏光は反射時に楕円になるのが一般的であることです。そのため、ディフューズ反射とスペキュラー反射を正確に分離するためには、3枚の偏光楕円を特徴づける画像と1枚の非偏光量を特徴づける画像の合計4枚を撮影する必要があります。また、この復元処理は、ノイズや偏光フィルターの誤較正の影響を非常に受けやすく、特にスペキュラー反射の強度がディフューズ反射の強度に対して高い場合、その影響を受けやすくなります。
その代わり、適度な入射角では\(r_s\)と\(r_p\)がほぼ等しく、スペキュラー反射光の偏光がほぼ円形に保たれることを利用します。円偏光板を使った画像と、同じフィルターを裏返した画像の2枚を撮影するだけで、直線偏光の場合と同じようにスペキュラー反射光とディフューズ光の成分を分離することができるのです。実際には、各カメラを取り囲む円錐状の光源に対して、ディフューズ光とスペキュラー光がうまく分離されることがわかります。通常、この円錐の半値角は約70度です。この角度を超えると、分離は急速に悪化します。しかし、これよりも斜めの面は、とにかく別の視点から撮影して、短縮形を最小にするべきだと主張することができます。
分離を行うために、球体上の各光源に円偏光板を配置しました。スペキュラー反射を打ち消すために、カメラの上にも同じセンスの円偏光板を配置しました。これは、誘電体からの反射で円偏光の向きが反転してしまうためです。直線偏光による分離と同様に、この拡散像は\(I_1 = \frac{1}{2} I_D\)として表現することができます。カメラの円偏光板を反転させると、別の画像\(I_2 = \frac{1}{2}(I_D + I_S)\)が得られます。(直線偏光の場合の\(I_1\)とは異なり、\(I_S\)の半分しか透過していないことに注意）。ディフューズ成分とスペキュラー成分は、それぞれ \(I_D\) と \(I_S\) となります。円形分離の結果は、図5右のようになります。予想通り、カメラに対して急傾斜していない被写体の部分については、直線偏光で復元した結果とよく一致します。特に、被写体の中心部では、スペキュラー法線マップの特徴であるシャープな見え方とディフューズ法線マップのぼやけた見え方が明瞭に現れています。
5. Results and Applications
この章では、捕捉技術の4つのアプリケーションを説明し、それぞれで達成された結果を示します。これらのアプリケーションには、実行中の被写体のリアルタイムキャプチャ、高解像度ジオメトリスキャン、ハイブリッドサーフェイス法線を用いたキャプチャとレンダリング、および高いスペキュラー物体の法線推定が含まれます。
勾配照明に使用する照明器具は，[WGT*05]と同様に，2回に分割された正20面体の頂点と辺に156個のLEDを配置したものです。偏光パターンには，各ライトの上に直線偏光板または円偏光板が配置されています．連続場照明装置については、5.4節で説明します。
5.1節で説明した以外のすべての結果について、1台または2台のデジタル一眼レフカメラを使用しています。直線偏光照明の場合、カメラの前にあるサーボモーターに直線偏光板が取り付けられており、水平方向と垂直方向の間で偏光板を素早く対角線上に反転させることができます。円偏光の場合は、カメラの前に置かれた円偏光板を手動で反転させます。
5.1. Normal Map Capture of a Live Performance
[WGT*05]に倣って，時間多重照明を用いてライブパフォーマンスのアニメーションされた法線マップを取得することができます。しかし，必要な照明条件は4つだけなので，[WGT*05]で用いた数千フレーム/秒よりもはるかに遅いフレームレートで法線マップを取得することができます．この例では、120fpsで動作する3台のデジタルビデオカメラを使用し、4つの照明条件を30Hzで循環させながらパフォーマンスを撮影しています。このフレームレートは、様々なマシンビジョンやモーションピクチャーのカメラで実現可能です。[WGT*05]と同様に、オプティカルフローを用いて、4つの条件の各セットを時間的に整列させます。勾配照明を用いたサーフェイス法線の決定の主な利点は、同じ4つのパターンのセットがどの視点でも等しく機能し、それぞれがワールド空間におけるサーフェイス法線の推定値をもたらすことです。これは，4つの勾配パターンの下で撮影された被写体の画像は，回転行列を用いて他の勾配照明方向の集合に変換することができるという事実から導かれます [RH02]。図6(a-c)は、同じ4つの勾配照明条件で、左、中央、右のビューを同時に撮影したダイナミックな表情の法線マップであり、図6(d-f)の環境マップレンダリングは、撮影したサーフェイス法線の詳細を明らかにするものです。
5.2. High-Resolution Geometry Scanning
中解像度の構造光スキャンとスペキュラー反射率に基づく高解像度のサーフェイス法線を組み合わせることで、有機被写体の高解像度表面形状を捉えることができます。一眼レフカメラのステレオペアとその間にビデオプロジェクタを配置した構造光ステレオ法を用いています。プロジェクタは4色のストライプパターン\(S_i\)と1つの均一な白パターン\(W\)のシーケンスを投影し、比率\(\frac{S_i}{W}\)のベストマッチを見つけることによってカメラ間の対応関係を計算します。人物の撮影では、まず8枚の画像（2つの直線偏光状態での4つの勾配パターン）を撮影し、次に5枚の構造光画像を撮影し、合計13枚の画像を撮影します。Canon 5Dカメラを「バーストモード」で使用すると、1200万画素の解像度でデータを取り込むのにわずか5秒しか必要ありません。
画像ノイズやプロジェクターの解像度の制限により，構造光走査には図7(a)に見られるように高周波数での偏りやノイズが含まれます。また、[CGS]で述べたように、被写体内の光散乱により表面形状がさらに平滑化されます。この欠落したディテールを復元するために、復元したディフューズ法線やスペキュラー法線とエンボス技法を使用する。まず、構造化光スキャンのバイラテラルデノイジング[FDCO]を平滑化します。次に、平滑化されたメッシュからサーフェイス法線マップを作成します。ハイパスフィルタリングを用いて推定法線の光周波数の詳細を抽出し、これらの詳細を平滑化されたジオメトリ法線に追加します。最後に、[NRDR05]と同様にエンボス処理を用いて、この組み立てられた法線マップに一致するようにメッシュの頂点を最適化します。このようにしてディフューズ法線やスペキュラー法線を用いて復元された形状を図7(b, c)に示します。予想通り、スペキュラー法線はディフューズ法線よりはるかに良好に詳細なサーフェイス形状を復元します。
図7は、XYZRGB社から取得した0.1mm解像度のレーザースキャン図形と導出したメッシュを比較したものです。元のオレンジ色の物体は、鏡面光沢と半透明が顕著であるため、レーザースキャンには適していません。そこで、標準的な手順に従い、高品質の石膏模型を作成して、レーザースキャンの基準としました。ICPでオブジェクトのメッシュと基準スキャンの位置合わせを行い、リニアプロファイルを選択して検査しました。図7(e)の幾何学的な偏差は深さ0.1mm以下であり、十分に小さいため、我々の技術に起因するのか、レーザースキャンに起因するのか、あるいは鋳造物の不正確さに起因するのかを判断するのは困難でした。視覚的には、図7(d)に示すように、スペキュラー法線マップを使用して取得した形状は、レーザースキャンと比較して、より良いサーフェイスのディテールを持っているように見えます。
図10(a),(d)は、構造光とスペキュラー面法線マップから得られる顔と手の高解像度ジオメトリを示したものです。両者とも100万以上の頂点を持つモデルです。シワや毛穴、手のひらの跡など、肌の細部までよく再現されています。これらのメッシュと，復元されたスペキュラーアルベ ドとディフューズアルベドマップ，そして手動で選択した表面下散乱 とスペキュラーラフネスのパラメータを用いて，[JB02] の SSS レンダリング手法によりリアルなレンダリング画像(図 10 (c) と (f)) を生成することができました。
5.3. Rendering with Hybrid Normal Maps
図8は、半透明な表面の場合、ディフューズ反射（表面下反射）の3つのカラーチャンネルとスペキュラー反射の強度チャンネルがそれぞれ異なるサーフェイス法線の推定値を生成していることを示しています。一般に、サーフェイス反射から得られるスペキュラー法線は、真のサーフェイスの向きを最もよく推定する傾向があります。ディフューズ法線は、マテリアル内の光の拡散により、局所的なスケールで「曲げられる」傾向があり、真のサーフェスよりも滑らかに見える法線マップを生成します。RGBチャンネルの3つのディフューズ法線マップは、材質内の光の散乱挙動の波長依存性により、程度の差こそあれこの効果を示しています。肌の場合、赤チャンネルの法線は最も滑らかさを示し、青チャンネルの法線は最も滑らかさを示しません。
これらの異なる法線推定値を用いて、リアルタイムレンダリングのフレームワークで半透明材質の外観の一部を視覚的に近似することができます。これは、各カラーチャンネルのディフューズ成分を、そのチャンネルから復元したディフューズ法線を用いてシェーディングし、同様にスペキュラー成分をスペキュラーチャンネルから復元した法線を用いてシェーディングする、ハイブリッド法線マッピングを用いて行われます。これは、GPUマルチテクスチャを使用することで簡単に実現できます。ディフューズアルベドマップとスペキュラーアルベドマップは、フルオン・パターンで撮影した画像を使用し、リアルなレンダリングを行うために、点光源照明下の参照画像に基づいてスペキュラーラフネスのパラメータを手動で選択します。
図10(b),(e)は、比較的低解像度のモデルからハイブリッド法線マッピングを用いてレンダリングしたものです。この結果、顔と手は局所的に半透明になり、スペキュラハイライトのサーフェイスディテールが明らかになりました。図10(g-i)は，赤，緑，青の拡散成分に対して別々に復元したサーフェイス法線を用いてレンダリングした場合と，3つの色チャンネルすべてに対して緑チャンネルから復元した拡散法線を単に用いた場合の違いを示しています。図10(h)は、各色チャンネルに異なる法線マップを使用することにより、波長依存の半透明の再現性が向上することを示しています。図8上部および図1(c)に示す追加ハイブリッドマップレンダリングは、点光源照明下での被写体の実画像に近いことが分かります。
5.4. Normal Map Acquisition for Highly Specular Surface
これまで使用されてきた離散照明球では、ほとんどのサーフェイスの方向が光源からの光をほとんど、あるいは全く反射しないため、非常に光沢のあるサーフェイス法線を推定することはできません。我々の技術を高輝度サーフェイスに適用するために，[PHD06]と同様の連続場半球型照明装置を用います．図9(a)に示すように、直径1mの半球に粗い銀色の塗料を塗り、一方の焦点にある光源からの光を他方の焦点にある被写体に反射させます。勾配照明パターンを生成するために、光源焦点の中心から10cm右側に5cmのすりガラスの球形電球を配置します。光源と被写体の間に丸いオクルーダーを置き，光が直接被写体に到達しないようにしました。図9(a)の中央に見える半球の頂点にある穴から被写体を見ます。
バルブ点灯時、ドームはほぼ半球全体から被写体に等方的に光を反射し、パターン\(P_c\)に対応した均一な半球照明のもとで被写体を撮影することができます。勾配 \({P_x}’\), \({P_y}’\), \({P_z}’\) を生成するために、それぞれ \(-x\), \(-y\), \(-z\) 軸に面した電球の半分をキャップで覆います。電球の可視光線は見る角度の余弦によって変化し、この余弦は対応する勾配軸の\(x\)、\(y\)、\(z\)座標に等しいので、それぞれの位置はドーム表面に線形勾配を発生させます（図9（b）参照）。ドームはこの勾配パターンを被写体に反射させます。
図9(c)は、このようにして撮影された磨かれた黒曜石の彫刻を、4つの球面照明の下で撮影したものです。物体のディフューズ成分は黒であるため、反射光はスペキュラー反射によるものが圧倒的に多いです。これらの画像を第3章のスペキュラー反射のところで説明したように処理すると、図9(d)のような法線マップが得られます。スペキュラー反射が鋭いので、反対側の半球からの照明がない場合、カメラから45度以上離れたところの法線にしか影響がないことがわかります。このようにして得られた法線マップとそれに関連するスペキュラー反射強度マップを用いて、付属のビデオで彫刻を点光源照明のアニメーションで再照明しています。
6. Future Work
この結果は、今後の課題として多くのことを示唆しています。現在、我々の技術ではスペキュラー反射のラフネスを推定することができないため、代わりにスペキュラーローブの形状を手動で選択してレンダリングしています。高次の照明勾配を用いることで、各サーフェイス点におけるスペキュラーローブの幅を推定できるようになる可能性があります。また，本手法を[BMA]や反射率共有[ZERB]の手法と組み合わせ，いくつかの点光源方向（おそらく同時点灯）を用いてサーフェイス全体に観察可能なスペキュラーハイライトを生成することも有効でしょう．これらの観察は、我々のアプローチが勾配から記録する詳細なスペキュラー法線情報の恩恵を受けて、顔全体にわたって外挿することができます。
現在のところ、ビデオフレームレートで両方の偏光状態を撮影することはできないため、実写のディフューズ法線マップを記録するためにのみこの技術を使用しています。直線偏光や円偏光からスペキュラー法線マップを実写で取得するには、強誘電体シャッターを使って2つの状態を高速で交互に切り替えるか、ビームスプリッターを使って2台のカメラで同時に撮影する方法が考えられます。
7. Conclusion
我々は、少数の勾配照明パターンを用いてスペキュラー法線マップとディフューズ法線マップを取得する新しい方法を提示しました。この方法は、パターン数が少ないため、時間多重照明によるリアルタイムの法線撮影に適しています。球面照明下でディフューズ・スペキュラー分離を行うための2つの偏光技術を紹介し、ハイブリッドサーフェイスのスペキュラー成分から高解像度のサーフェイスディテールを記録することができるようになりました。これを用いて、これらの技術を構造化光と組み合わせて有機材料の高分解能スキャンを高速に行う高分解能スキャンシステムのデモを行いました。最後に、ディフューズ成分とスペキュラー成分のシェーディングに異なる復元した法線マップを使用し、表面半透明の効果の一部を効率的に近似することを実演しました。
Acknowledgements
和訳省略。