Visual Computing / グラフィクスとCAD 合同シンポジウム 2017

三次元モデリングのプロセスを単純な作業へと分割することで、マイクロタスク型クラウドソーシングを用いて一枚の画像をもとに三次元モデルを生成する手法を提案する． クラウドワーカーはブラウザ上のインタフェースを用いて，ユーザーが入力した画像に写っている物体を所定の方向から見た想定のスケッチを行う． システムは，前・横・上の三視点に対してそれぞれ複数枚集めたスケッチ群を幾何学的に統合することでクリンナップされた三面図を復元し，対応する立体形状を生成する． 本論文では，誤りや欠陥を含む多数のスケッチから三次元モデルを生成するためのアルゴリズムの他，段階的に提出スケッチの品質を向上させるための，ピアレビューや競争の要素を含めた反復的なクラウドソーシングワークフローを提案し，その有用性を示す． 提案システムを用いることで，家具やカメラといったシンプルな物体に対し，数時間程度でまずまずの品質のモデルを得ることができる．

3次元 (3D) モデルを検索する手法の1つに，手描きスケッチを検索要求とするスケッチ検索がある．スケッチ検索には，多くの人が扱える，検索したい形状が直感的に指定できる，等の利点があるが，課題も多い．まず，異種データである2次元(2D)手描きスケッチと 3Dモデルの直接比較ができず，検索精度が低い．また，これまでの3Dモデルのスケッチ検索では，形状や意味の大まかなクラス（分類）さえ一致すれば詳細形状が異なっても正解とした．例えば，三角翼機も後退翼機も「飛行機」として，スポーツカーもセダンも「自動車」として，それぞれ正解となる．しかし，用途によっては詳細な形状を指定する詳細検索が望ましい場合がある． 本研究では，手書きスケッチで形状の詳細を指定する，高精度な3Dモデル詳細検索技術の実現を目標とする．異種データである2Dスケッチと3Dモデルの比較は，それぞれの特徴を深層ニューラルネットワーク(DNN)により共通の特徴空間に埋め込んで行う．さらに，詳細を区別する能力を与えるため，（比較元，類似例，相違例）の3つ組データによりDNNを教示した．一定の詳細を描画した手書きスケッチをもとに，これまでよりも細分類された3Dデータベースを検索する実験で評価した結果，概略で比較する既存のスケッチ検索手法と比べ，詳細を考慮する提案手法の方がより高い検索精度を示した．

3次元 (3D) モデル検索システムの実用性は，検索要求の提示手段に大きく依存する．中でもキーワードによる提示は，誰にでも簡便であり，扱い易い．ただし，キーワードによる3Dモデル検索を行うには，予め3Dモデル群に対しキーワードタグを付与する必要がある．これまでに，タグ付与済みの3Dモデル群から，タグなし3Dモデル群に対してタグを自動的に伝播する手法が提案されてきた．しかし従来法は，タグ付与精度が不十分であり，また，予め用意されたタグ以外の，多様なキーワードタグを3Dモデルに付与することができない．本研究では，多様なキーワードタグを3Dモデルに精度良く付与するため，深層学習を利用して単語と3D形状を効果的に比較する．我々が提案するWord-Shape embedding Network (WS-Net)は，単語と3D形状の多様な対応関係を学習し，単語の意味特徴と3Dモデルの形状特徴を，それらが互いに比較可能な共通の特徴空間へ埋め込む．共通特徴空間において3Dモデルと多様な単語を比較することで，3Dモデルへの多様なキーワードタグ付与を実現する．評価実験の結果，提案手法は従来法よりも高い精度でキーワードタグを付与できることが分かった．また，提案手法が3Dモデルに対して多様なキーワードタグを付与できることを確かめた．

画像提示の初期段階における人間の注意を予測する顕著性マップはロボットビジョンや広告デザインをはじめ，様々な分野で注目されている．澤田らは画像内のある一点に線が収束するリーディングラインと呼ばれる構造による誘目効果に着目し，リーディングラインの収束先をより顕著とするマップと視覚刺激の中心周辺差分に基づく顕著性マップを加算することで顕著性マップを求める方法を提案した．本研究では，澤田らのモデルを拡張し，リーディングラインと中心周辺差分との相乗効果，及び画像の中央に注意が向きやすいというセンターバイアスを反映できる新しい顕著性マップを提案した．顕著性マップの評価に用いる代表的な指標において，澤田らのモデルより精度が有意に高いことを示すことができた．

人物の画像を、肌の領域、衣服の領域、髪の領域といった人体の部位や服の領域にラベルを割り当てる意味的領域分割は、画像中の人物を解析する手段の一つとして重要である。 しかしながら、正解となる領域分割データを作るには1画素ずつ人手で意味ラベルを割り当てる必要があるため、学習するのに十分なデータを用意するのが難しく、十分な精度が得にくい。 そこで本研究では、少数の正解データしか得られない場合でもラベル割り当ての精度を向上させるアプローチとして、以下の二つを提案する。 一つは、学習に用いるデータセットを拡張(data augmentation)するアプローチである。 新たに手動でラベルを割り当てる代わりに、既にラベルが割り当ててある人物画像に対し、公開されている背景画像データセットを合成することでデータセットを拡張する。 もう一つは、CNNによるラベル割り当ての学習モデルに、CNNによるポーズ推定のモデルを結合し、ポーズ推定の学習結果をラベル割り当ての学習モデルに転移させて学習させるアプローチである。 これにより、人物の意味的領域分割を従来手法よりも高い精度で行うことができる。

本研究では，大域的な特徴を考慮して写真の色調を自動補正する手法を提案する．提案手法では，複数のパラメータをもつ補正モデルを作成し，入力画像に応じてその最適なパラメータを算出することで，画像のシーンに適した補正を自動で行えるようにする．補正パラメータの算出のため，入力画像に対する最適な補正パラメータを出力するサポートベクトル回帰（SVR）モデルを構築する．このSVRモデルの学習には，補正前の画像とその補正パラメータがペアになった教師データが必要となる．本手法では補正前後の画像をもつ既存のデータセットを利用し，補正後の画像を得るための補正パラメータを最小二乗法により算出することで，本手法における教師データを自動構築する．これにより，熟練者の色調補正を再現するような補正パラメータを画像から自動推定することが可能となる．提案手法により，様々なシーンにおいて良好な自動補正が可能となることを示す．

本研究では，ゲーム環境におけるエージェントの複雑な行動を学習できる強化学習の手法を提案する．既存手法では，スーパーマリオブラザーズ（SMB）のような，複雑な操作を必要としスコア変化が少ないゲーム環境を学習することは困難であった．提案手法ではQ-Learningのフレームワークにもとづき，SMBにおける行動識別に適した新たな畳み込みニューラルネットワークモデルによって行動価値関数を定義する．さらに，モデルを効率的に学習させるため，スコア変化に加え移動やゲームオーバーに対する報酬を新たに設計する．これにより，スコア変化が少ないゲーム環境においても効果的にエージェントを学習させることができ，既存手法では攻略できなかったSMBの最初のステージをクリアすることが可能になった．

「不思議なスケッチブック」は，実空間で紙にペンでお絵描きすることで三次元CGをリアルタイムに生成してインタラクションを行うことができるシステムである．従来の「不思議なスケッチブック」は色によって生成される三次元CGモデルの形状が決まっており，複数の色で構成されるモデルの生成は困難であった．本研究ではお絵描き時に輪郭描画を行うことで，複数色で構成されるモデルの生成を可能にするとともに，輪郭の解析に基づいて空間中のモデルの配置やインタラクションでの動きの制御を行うことも実現する．

スポーツ映像の鑑賞はテレビやウェブサイトを通じて行われる，世界中の人々に親しまれている娯楽の一つである．その一方で，スポーツ映像は試合時間が長いため，日常生活で映像鑑賞に充てることのできる時間で観たい試合全てを視聴することは困難である．効率的な鑑賞方法の一つとしてニュースや動画サイトで配信されるハイライト映像が挙げられる．ハイライト映像の視聴は試合結果を素早く把握することが可能であるが，試合の詳細な内容の把握が困難であることや配信されるハイライト映像の数が少ないことが問題点として挙げられる． このような背景から，スポーツ映像要約手法が多く提案されている．特にラケットスポーツ映像に対して，重要なシーンがラリーシーンであると仮定した上でラリーシーンを抽出し，ラリーの重要度や面白さを評価した後，高い評価のラリーシーンのみを要約映像として出力する方法が取られている．Kawamuraらは画像特徴量を用いた事前情報なしのラリーシーン自動検出及び，ラリーの重要度評価に基づいたラケットスポーツ映像の自動要約手法を実現した．ラリーシーン検出において，ラケットスポーツ映像のラリーシーンが固定カメラで撮影されていることを利用している．したがって，ラリーシーンにカメラ操作が含まれるバレーボール映像の場合，Kawamuraらの手法を直接適用することができない．また重要度を評価する際にラリーの長さや音声的な盛り上がりといった一部の情報のみを用いているため，ボールがどのように移動したかといった試合内容の考慮が困難である．試合内容を含む特徴量を用いることで，視聴者の嗜好によって映像要約の内容を自由に変更することが可能であり，また映像検索にも応用することが可能である．試合内容として用いられる一般的な特徴量として選手やボールの動き情報が挙げられる．しかし，放送映像や動画サイト上の映像のような低品質かつ単カメラで撮影された映像において，選手やボールを追跡することは困難である． 我々は移動カメラで撮影された映像に適用可能なラリーシーン自動検出及び，比較的取得が容易なコートの動き情報に基づいた試合内容の考慮が可能な映像要約，検索手法を提案する．提案手法における鑑賞支援はコートの動き情報のみを用いているため，カメラ操作がある他のスポーツ映像への適用も可能となっている．

雨音の解析を行うことにより，降雨強度を推定し，その降雨強度に適した降雨シーンのCG，アニメーションを生成する手法を提案する．雨音に適した降雨シーンを生成する手法を確立することで，通常の映像制作の際に問題となる，サウンドエフェクトとの調和を取る手間が省け，より簡易に降雨シーンを生成することが可能となる． 本提案手法では，実際の降雨現象を録音し，その録音データにフーリエ変換を用いて周波数解析を行った．その結果，降雨強度と周波数特性に相関があることを確認した．また，対象データのパワースペクトルを平滑化し，最大値となる周波数を抽出した．それらを気象庁による降雨強度の区分を参考に，５つの範囲に区分して降雨強度と周波数の変換式を算出した．さらにパワースペクトルの累積相対度数が一定の割合を超える周波数成分を代入し降雨強度を算出した．算出した降雨強度から，Marshall-Palmerの雨滴粒径分布式とBest氏による水滴の終端速度の式を用いて降雨現象のパラメータを求め降雨シーンのCGを作成した．

工業製品のＣＡＤにおいては、物体間の干渉テストが重要で、特に曲面の場合予測が難しい。従来曲面との交差の計算は種々試みられているが、どの程度曲面と多角形に隙間（ギャツプまたはクリアランス）があるかの計算は困難とされている。本稿ではベジエ曲面と多角形とのギャップ（最短距離）を曲面を多角形に近似しないで計算できる方法を提案する。Bezier Clipping法は曲面をレイトレーシング法で多角形近似しなくて表示できる方法として開発されたものであるが、この方法を最短距離検出に適用する方法を提案する。すべての曲面はベジエ曲面に変換できるので、この方法はCADなどの形状設計のみでなく衝突検出が重要なゲームなど種々のアプリケーションに有効な方法である。

超高齢化社会となった日本では，人工関節などの骨関節インプラントの需要が高まっており，それらの長寿命・高機能化が求められている．人工関節について，これを実現するためにはオーダーメイドをすることが望ましい．従来はコスト面から難しかったが，近年の金属用3Dプリンタの発展によりこれが可能になろうとしている．ここで，人工関節と人間の骨が接触する部分は，金属表面を多孔質構造にすることで,骨の組織が成長とともに侵入し固定性の向上につながる．例えば，この多孔質構造としては三角形メッシュの面一つ一つの内側を抜いた三次元構造が用いられる．また，骨の組織が金属表面の全体に均一に侵入するように三角形メッシュの面は正三角形に近い高品質なものであることが望ましい．しかし，人工関節モデルの表面にそのような高品質な多孔質構造を付与することは困難であり，その手法が確立されていない． 　そこで，本研究では人工関節表層に上記の三角形メッシュをもとにした多孔質構造を付与したモデルを生成する手法を提案する．Angle-Based Flattening（ABF）法を用いて三次元モデルをパラメータ化し，平面上に敷き詰めた正三角形を三次元モデル表面に投影する．ABF法で適切にパラメータ化できないモデルに対しては，正三角形模様のテクスチャの回転対称性を用いて，拘束条件を追加しABF法を改良する手法を提案する．

物体の反射特性を表すBRDF計測は，物体への光の入射方向や反射方向をサンプリングする問題であり，X-Slitと呼ばれるねじれの関係にある2本のスリットを利用した光線のサンプリングにより，広域なBRDF計測が可能であることをシミュレーション実験で定量評価する．

多くの映像コンテンツは複数のシーンやカットから構成されている．複数のシーンを繋ぎ合わせる作業は動画編集における頻出作業であるが，シーンを遷移（トランジション）させるための映像表現方法はあまり多くはない．ディゾルブのように滑らかに次のシーンに切り替える表現もあるが，カットやワイプなどの多くの手法は，シーンの遷移が滑らかではなく，シーンが切り替わったことを視聴者に意識させてしまう．シーンの切り替わりは場合によっては視聴者の映像への集中を妨げてしまう恐れもあり，なるべく滑らかかつシーンが移り変わったことを意識させないような演出が選択可能となると，映像編集の幅が広がることが期待できる．本研究では，シームレスなシーンの切り替えを実現するため，シーン間の接続コストが最小となるようなシーンの遷移断面をグラフカット法によって探索する．導き出した境界面で二つの動画シーンを接続することで，シーンの切り替えがなるべくシームレスとなるようにする．また，両者の間に類似するフレームがなく接続コストが小さい境界面が見つからない場合には，動画の部分領域の中から接続コストが小さくなるような遷移境界を見つける．これによって類似する境界が見つからないようなシーンの組み合わせにも対応したシーンの遷移を実現する．

In this paper, we propose an object-space version of the Gradient Vector Flow (GVF) and present a quantitative evaluation of a line drawing stylization system based on user annotations. In our system, the stylistic annotations of the user are extrapolated to arbitrary viewpoints by matching the user annotated strokes to view-dependent feature lines extracted from 3D models. The new object-space attraction field proposed in this paper is robust to global and local occlusion, and is evaluated by numerically comparing its line matching accuracy with previous methods. We also present an extended evaluation of the usability and performance of our stylization system.

人間の視野を考慮する際に、周辺視野で起こる視力低下の人間の視覚特性を用いて注視点からの距離で重み付けをする手法がよく見られるが、それは人間の視覚を厳密に再現しているわけではない。 一方、報告されている周辺視野のCSF(Contrast Sensitivity Function)によれば、色や周波数によって知覚できる閾値コントラストが視角により異なるとされている。 そこで本研究では、錐体コントラスト空間でCSFを用いて局所的な通過帯域制限を行うことで、 周辺視野における視覚特性を考慮した広角視覚像を提案する。

物理ベースのシミュレーションによりリアルな流体映像を作成するコストは一般的に非常に高い．映像制作現場では流体を含むシーンを作成するコストを削減するために，流体のアニメーションを他のシーンへ再利用する場合がある．しかし，全く同じアニメーションを異なるシーンへ適用すると流れ場のサイズが合わないなど不都合があるため，編集する必要がある．アニメータの編集プロセスを助けるために，我々は複数の流れ場のデータを統合することで流れ場を編集するための新しい方法を提案する．我々のシステムでは，ユーザは任意の位置に流れ場を配置することができ，統合する流れ場の境界を補間することで新たな流れ場を合成する．最小化問題を解くことにより流れ場を補間し，最小化されるエネルギー関数は流体の物理的性質を保つように設計される．また，我々は時間的なオフセットを計算することで統合する流れ場の時間的な差分も最小化する新しいアルゴリズムについても提案する．提案手法は煙の格子ベースシミュレーションを対象としている．

本研究では，老化に伴う表情変化の違いを考慮した経年変化顔の動画像合成を行う．動画中の人物の経年変化は，映画のような映像作品における年齢変化表現において重要である．老化に伴って発生する顔特徴の一つである皺に注目すると，表情変化に伴う皺の変化は年齢に大きく依存する．静止画を対象とした経年変化顔合成手法は数多く存在するが，いずれも皺の動的な変化に焦点を置いていないため，年齢による表情変化の違いを表現することができない．そこで本研究では，データベースとして目標年代の人物の表情変化動画を用いることにより，表情変化に伴う皺の動的な変化を表現する．具体的には，入力動画の各表情に対して，データベースの類似表情を用いて，老化時の顔の構築を行う．また，対象人物の皺の深さを，目標年代の変化と一致するように操作する．以上により，表情変化による皺の動的変化を考慮した経年変化顔の動画合成を実現した．

自然物のデジタルアーカイブ技術は，教育，自然科学，コンピュータグラフィクス分野において大きな需要を持つ重要な課題である．本研究では，花や昆虫などといった小さな自然物を対象とし，X線CTとデジタルカメラを用いたデジタルアーカイブ技術を提案する． まず，対象物をX線CT撮影し得られた３次元画像を領域分割することで形状を取得する．さらに，デジタルカメラにより対象物を異なる視点から撮影し，得られた複数写真からテクスチャを復元する．このテクスチャ復元の際，輪郭線に基づくコスト関数を最小化することで写真撮影時のカメラ位置を計算し，そこから写真をモデル上に投影する．また，複数の写真から得られた複数のテクスチャを，継ぎ目が目立たぬように，かつ，明瞭な画素が選択されるように貼り合わせる．提案手法の有用性を示すため，花・昆虫・きのこのテクスチャ付き３次元モデリングを行った結果を示す．

型による造形は、大量生産で広く利用される手法であり、型の製造への初期投資は大きいが、物品を安価に製造することで相殺される.プラモデルと同じ要領で対象形状を分割することで複雑な形状を造形することが可能となるが、型による造形可能性を考慮した分割を行うことは非常に難しい.本論文では、そのような分割を支援する手法を提案する.提案手法では、対象形状のサーフェスを示すサーフェスメッシュを入力として受け取り、薄い殻状の部品を出力する.この際、二つの隣り合う部品の分割線は動的輪郭モデルを用いて最適化される.動的輪郭モデルにおいて、輪郭線の動きは型による造形可能性に基づいた評価関数によって決定される.最適化の過程で、ユーザーは特定の場所に分割線を配置するといった、審美性に基づいた制約条件を追加する事で分割を直接編集することが出来る.提案手法の有用性を示すため、我々は提案システムを利用して、様々な形状を分割し、実際に型による造形を行った.

折紙の幾何モデルを従来の3DCGソフトウェアで作成するのには多大な手間を要する．その主な理由には，「紙を折ることで得られる形」という幾何的な制約を満たす形状を，一般的な形状モデリングの方法で作り出すことが困難であることと，厚さを無視できるような薄い平板形状を交差しないように多層に配置することが困難であることが挙げられる．本稿では，CGに用いる幾何モデルであれば，見た目に影響を及ぼさない内部の構造を正確に再現する必要はないということに着目し，折紙作品に特徴的に表れる外観を簡単な操作で素早くモデリングするための手法を提案する．この手法を実装したシステムを通して，動物のような対称性を持つ折紙作品の幾何モデルを容易に作成できることを確認した．

本稿では，衣服のモデリングにおける労力削減を目的とし，テンプレートとなる１つの衣服モデルから，任意のキャラクタの体型に適合した衣服モデルと型紙を生成する手法を提案する． 生成される衣服の概形を確認しながらソースの身体とターゲット身体の対応関係をインタラクティブに修正できるインターフェースの導入により，身体のモデルの頂点数や頂点間の接続情報に依存しない衣服転写を実現する． また，ソースの衣服の形状を反映する最適化処理を行った後に可展面近似を行うことで，ソースの衣服のデザインから形状が大きく離れることを防ぎ，もっともらしい衣服モデルを生成することを実現する． 提案手法は生成した衣服モデルの型紙を出力することが可能なため，例えば人間とペットのペアルックの衣服制作など，現実世界におけるものづくり支援への応用が期待される．

近年のフォトリアリスティックなゲームにおいては、素材の正確な測定が急激に重要度を増してきました。 たとえば分光反射率を測定してBRDFへフィッティングするといったことを行うわけですが、実際にさまざまな素材を測定してみると、どうも色彩工学の理論とは合わない部分が出てきます。 色彩工学だけではありません。理論に基づいて様々な計算をしていくと、どうも実際の現象や製品とはわずかにズレる事があります。 この違いが何に起因し、どうやってこの違いをカバーし、製品にしていくのかをご紹介させていただこうと思います。

雨の音や流れている水の音のような、数多くの単一のサウンドを複合した音はGranular Synthesisと言う音合成手法で作ることができます。 Granular Synthesisでは「粒」と言われる短い波形を重ね合わせることで音を合成しますが、自然な音を作るためには適切な粒が必要となります。 そこで我々は複合的な音の録音データから粒を抽出する手法を開発しました。また録音データに似た音を合成するためのパラメーターについても自動的に求めるようにしました。 これによって数秒の録音データから任意の長さの音を作ることができるようになっただけでなく、アーティストがパラメーターを変更することで小雨→大雨のような音の変化を簡単に操作できるようになりました。 これはメモリコストが低い柔軟な方法なので、ゲーム開発に向いていると言えます。本講演では、実際に社内向けに開発したツールを用いて音の抽出と合成を実演したいと思います。

バイオハザード7のグラフィックス表現を実現するために様々なレンダリング技術の選定・開発がおこなわれました。 60FPSで動く写実的なグラフィックスという課題をどのような技術を使って達成したのかを紹介します。 ライティング、シミュレーションなど、実際に使用されているレンダリング技術の解説を行いますが、詳細なアルゴリズムは掘り下げずに何故そうなっているのかという観点からの解説となります。 ゲーム開発現場での研究開発の取り組みを知っていただく機会となれば幸いです。