ポスター発表プログラム
9月29日(水) 15:55-17:25 ポスターセッション1
[P1] 高精細な三次元顔モデル生成のためのメイクおよび照明の除去
概要
1枚の顔画像からメイクと照明の影響を除去し三次元の顔モデルを復元する手法を提案する．入力画像に濃いメイクや極端なライティングが含まれた場合，ベースとなる肌の色を推定することが難しく復元される顔モデルの見た目の品質を低下させる原因となる．そこで，本研究では，顔画像へ3D Morphable Modelをフィッティングする際に，メイクや照明の影響を同時に除去することでベースとなる肌の色をロバストに推定する．
[P2] 気流を考慮した昼花火のシミュレーション
概要
本研究では物理シミュレーション技術を用いて昼花火を再現する手法を提案する. 昼花火は昼に打ち上げる花火の総称であり, 本研究ではその中でも「煙竜」と呼ばれる昼花火を研究対象とする. 煙竜は, パラシュートに発煙筒をつけたものを打ち上げ, 煙がパラシュートの落下とともに描く螺旋の軌跡を鑑賞する花火である. 提案手法では, 航空力学に基づいたパラシュートモデルを実装し, 格子法による煙のシミュレーションと組み合わせることで, 現実的なパラシュートの動きと煙の軌跡を再現する.
[P3] ビデオデータを利用した炭酸飲料画像のアニメーション合成システム
概要
新型コロナウイルスの影響で以前よりも広く一般的に使われるようになったオンラインショッピングでは，商品イメージや広告に静止画がよく使用されているが，これらに動きを付与して動画化すると，元の静止画より購買意欲をそそるケースは多い．しかし動画を魅力的に撮影するには専門的な知識や整った撮影環境，膨大な作業時間を要する．そこで本研究では炭酸泡に着目し，炭酸泡の動きをビデオから抽出して飲料の静止画に合成する方法の研究を行っている．本発表では，氷などが入った飲料画像への合成や，炭酸泡の速度の変更が可能となるよう手法を拡張したので報告する．
[P4] ミップマップレベル間の対応関係に基づくテクスチャの超解像度化
概要
従来のテクスチャ拡大手法では、鮮明な画像を得るためには多くの周辺ピクセルを参照する必要があり、その参照回数が描画時間に影響することが問題となる。そこで本研究では、ミップマップを用いた事前計算を行うことで、参照回数を抑えて高解像度化する実時間技術を研究している。提案法では、事前に各ピクセルに類似しているピクセルを低ミップマップレベルテクスチャから探査し、その座標を座標テクスチャとして保存する。そして、描画時には座標テクスチャを参照することで、その座標に対応する高ミップマップレベルのピクセル群を拡大結果とする。このようにサンプリング回数を抑えることで低負荷なテクスチャ超解像度化を目指す。
[P5] 雨天時の人物画像への再照明に関する一実験
概要
人物画像の再照明は，画像の背景を変更した場合に，人物にあたる周囲の光の様子をその背景に合わせて変更でき，様々なシーンの画像を簡単につくり出すことが出来る．近年ではディープラーニングを用いて再照明を行う方法も多く提案されているが，雨や雪が人物と重なっている場合，従来手法ではその箇所が再照明によりぼやけてしまうという問題を我々は発見した．そこで，画像から一度雨を取り除き，雨の取り除かれた画像に対して再照明を行った後，取り除いていた雨を合成することで，この問題の解決を試みた．本発表ではその結果を報告する．
[P6] 2D Character Portrait Normalization via Image Flipping and GAN Inversion
概要
This paper presents a method that takes an angled view of a character illustration as input and generates a front view for the character using a generative model. Such a method helps obtain the texture of facial elements for a 3D model of the character. Recently, given a trained deep generative model (GAN), GAN inversion-based approaches enable image manipulation in the latent space after the image's projection into a latent code. We introduce a similar approach to manipulate the front face of a character from an illustration artwork utilizing GAN inversion techniques, but without extra models to learn the editing directions in the latent space. Our method projects the original image together with a horizontally flipped image into the latent space. Next, we pick the middle point of the two projected latent vectors, with which we can sample the front face of the same character with less effort.
[P7] 多様性を考慮したスケッチからの画像生成手法
概要
本研究では実用性の高い顔画像を対象に,1枚のスケッチから多様な画像を生成可能な,一対多のマッピングを学習する深層生成モデルを提案する.提案手法の主なアイデアは,顔画像をしわなどの「構造」と,肌の色などの「スタイル」の2要素に分解して学習する点にある.各要素はそれぞれ別のモジュールによって学習され,その際出力に確率的なブレを与えることで,要素ごとの制御を可能にする.また,従来のスケッチ補正モジュールを組み合わせることで,粗いスケッチに対しても写実的な画像が生成できる.実験結果を通して,提案手法は写実的な画像を生成しながら,多様かつ柔軟な編集ができることを示す.
[P8] U-Net ベースの CNN を用いた結節点における線分接続判定
概要
本研究では 3D モデルから作られた線画像において、結節点における線の接続関係を判断するために、畳み込みニューラルネットワークの一種である U-Net をベースとしたネットワークモデルを使用する手法を提案する。我々の手法は線画像に加えて法線画像や深度画像も入力とする。楕円球や直方体の輪郭線やその交点は式により求められることを利用して、それらを投影した画像や、それらを非線形的に歪めた画像を自動作成することで学習に用いるデータとした。我々の手法は既存手法である TRNet よりも性能を大きく向上したことを示す。また、線分接続関係を決定した後にその情報を用いて線の強弱を決定し、テクスチャを貼り付けることでレンダリング画像を作成し、我々の手法によって線の表現が適切に選択できることを示す。
[P9] 対応関係がない線を含む手描き原画間における線の対応付けに関する研究
概要
手描きアニメーションの原画間の自動中割りは、一方の原画の線が動いた結果が他方の原画のどの線となるかという対応関係を探し、その間を補間することで実現される。原画間の線の自動的な対応付け手法は提案されているが、原画間に対応関係がない線が含まれる場合、誤った対応付けが増える。対応関係がある線は正しく対応付け、対応関係がない線は対応付けないことが理想である。
我々は対応関係がないと考えられる線を自動的に線の対応付け結果から除外し、残りの線に対して対応付けを行うことを目的とし、原画に描かれている線に加え、仮想的な線を描画し、それらを合わせて線の対応付けを行う。原画間に提案法と従来法を適用し、線の対応付け精度の比較を行う。
[P10] Towards Low-Cost Construction of a Large-Scale Anime Facial Landmark Dataset
概要
A facial landmark dataset of anime images is a cornerstone for various applications such as 3D face reconstruction and landmark-driven facial animation. However, there is no publicly available dataset for anime face images. In this work, we aim to construct a large-scale anime facial landmark dataset with minimal manual labor. To avoid tedious manual annotations for whole facial images, we employ the following step-by-step approach. Namely, we first train different face landmark detectors with a small dataset to obtain multiple predictions for each facial image, select the best predicted landmarks, and then refine them using our efficient annotation tool. The best predicted landmarks are automatically suggested by our rule-based filter, and annotators can refine landmarks quickly using our semi-automatic correction functions. The refined annotations are used as new ground truth for re-training the landmark detector to re-process unsatisfactory facial images. By publishing our dataset consisting of hundreds of thousands of face-landmark pairs, we would like to further activate studies in relevant research fields.
[P11] Attention-based sketch colorization using reference image
概要
Automatically colorize a sketch image is a challenging task, even for neural networks. Most sketch colorization methods that can generate visually satisfactory results are based on user-guided techniques, requiring a user to give hints step by step in correct regions. While the reference-based method would extract color and texture information from the given reference image during each inference, it has more potential applications. But developing a reference-based method that is capable of generating visually acceptable results is much harder than developing a user-guided one.
The attention mechanism has achieved notable results in Natural Language Processing (NLP) field and has been demonstrated to be efficient in some Computer Vision (CV) tasks. Therefore, we conduct this project to test whether the Generative Adversarial Nets (GANs) could solve the reference-based task with a brand new attention module and framework proposed by us.
9月30日(木) 16:10-17:40 ポスターセッション2
[P12] 樹木の揺らぎによる接触音のシミュレーション
概要
本研究では樹木の揺らぎによる接触音をリアルタイムで合成する手法を提案する．樹木の接触音が木の葉同士の衝突音と摩擦音から成ると考え，衝突音については葉形状にモード解析を行い固有振動数を求め，そこから音を生成する．摩擦音に関しては再帰的な周波数特性を再現するために，reson filterを用いた．シミュレーションに基づいて音の合成を行うことで，今までCG 制作現場で行われていたような，録音または合成した音を後で合わせるという手間をなくし，より映像に即した音を生成可能となる．本発表では提案手法を実装し，生成した音の波形やスペクトログラムを実際に録音した音と比較することでその有効性を検証した．
[P13] 概形と速度のスケッチによる煙の流れのデザイン手法
概要
流体シミュレーションにおいて専門的な知識を持たないユーザが，望んだ形や流れの煙を生成することは困難である．そこで本研究では，煙の概形と速度をスケッチにより入力し所望の煙の流れを生成するシステムを提案する。ユーザがスケッチにより煙の概形を曲線で指定し，その内部にマウス操作で速度を設定する．このようにして作成されたベクトル場を入力として，その入力に従う煙の流れを生成する．
[P14] DeepBRDFによる計測スペクトラルBRDFの圧縮の検討
概要
写実的なCG画像を生成する上で，物体表面における光の反射分布であるBRDFは重要な要素である．現実の素材の反射率を計測した計測BRDFは，物体表面の外観を忠実に表現することが可能であるが，データ量が大きいという問題がある．そこで，計測BRDFをオートエンコーダで圧縮する手法であるDeepBRDFが提案されている．従来，RGB3成分を計測したMERL BRDFが使用されてきたが，波長ごとの反射率を計測した計測スペクトラルBRDFが近年公開されている．本研究では，MERL BRDFを対象としたDeepBRDFを実装し，計測スペクトラルBRDFへの応用について検討する．
[P15] 表面凹凸を考慮した光沢反射のためのモーションベクトルに関する一検討
概要
近年，時間的フィルタリングによるノイズ除去を伴ったリアルタイムレイトレーシング技術が開発されている．時間的フィルタリングでは，各ピクセルで，連続するフレーム間の対応を表すモーションベクトルを計算する必要がある．視点や物体の移動による，金属表面の映り込みの変化を考慮したモーションベクトルを計算する手法が提案されているが，モーションベクトルの計算において金属表面を局所的な平面と仮定している．そのため，曲面上の映り込みに対してはモーションベクトルをうまく計算できないという問題がある．本研究では物体表面の凹凸を考慮したモーションベクトルの導出方法について検討する．
[P16] SV-BRDFを用いた傷のある透明物体のレンダリング
概要
近年，様々な物体のレンダリング手法が提案されており，物体表面の傷など詳細な部分までリアルに表現できるようになっている．これらの手法の一つとして，SV-BRDFを用いて金属のひっかき傷を効率的にレンダリングする手法が提案されている．しかしこの手法では，金属のみを対象としており，ガラスなどの透明物体へは適用することができない．そこで本研究では，ガラスなどの透明物体表面の傷をレンダリングする手法の研究を行っている．ガラスについた傷の表面は拡散反射性が増すとされているため，金属を対象とした従来手法をベースにSV-BRDF求めるための事前計算を従来の鏡面反射ではなく拡散反射に変更することで手法を拡張した．
[P17] VRにおける視覚刺激を用いた坂道の知覚に関する一実験
概要
近年，実環境では平面を歩いているが仮想環境では階段や坂を上り下りしているように知覚させる技術が考案されており，これらは限られた実環境で多様な仮想環境への没入感を向上させることを目的としている．この技術は特定のデバイスの使用や視覚刺激の付与によって実現される．本研究では，従来研究において小さな凹凸や穴を知覚させるために効果的であるとされている，カメラの高さや向きなどの変更による視覚刺激を坂の知覚に対して適用する．そして，ユーザが実環境で平面を歩いた場合に，仮想環境において坂を上り下りしているように知覚するのか検証した．本発表ではその結果を報告する．
[P18] 周辺視を含むCSFのBezier関数を用いた3次元モデル
概要
過去にコントラスト感度の測定研究は数多く行われてきたが、それらは偏心率が30度以下の場合がほとんどであった。本研究では4人の被検者を対象に、視角84度までの周辺視野でコントラスト感度の測定を行い、そのデータにフィットするよう、空間周波数、偏心率、コントラスト感度を軸とする3次元空間内でBezier関数を用いた2つの新しいCSFモデルを提案する。それらはBezier曲面を用いた関数と、MannosらのCSFモデルの5つの係数を偏心率に関するBezier曲線で置き換えて定義した関数である。 これにより、従来のモデルでは予見されなかった、偏心率の増加に伴うコントラスト感度の新たな傾向が観察された。
[P19] 多角形光源のための可視領域判定手法の検討
概要
近年，コンピュータグラフィックスはゲームや映画など様々な場面で利用されており，中でもより写実的な表現を実現するために多角形光源を用いた研究が盛んに行われている．本研究は多角形光源が照らす領域の判定方法を検討する．シーン中の可視領域，つまり可視関数が1の領域と多角形光源が照らす領域との交差範囲を高速に求めることを目標とする．その手法として可視関数をポリラインで表現し，多角形光源との交差範囲をBounding Volume Hierarchy(BVH)を用いて高速に判定する手法を検討している．
[P20] ゲームエンジンを用いたメタリック塗装のリアルタイム表示
概要
本研究ではメタリック塗装のリアルタイムレンダリングをゲームエンジンUnityで行った．本研究においてメタリック塗装はカラー塗装の上に，光輝材という金属等の小片を含む層があり，その上にクリア塗装が施されており，その物体表面の反射は，カラー層の鏡面反射，カラー層の拡散反射，光輝材層の鏡面反射，クリア層の鏡面反射の４つから成り立っていると考える．以上の反射特性を再現するためにHLSLにより擬似的な3層構造のモデルを作成した．その結果として，光輝材を含むメタリック塗装のリアルタイム表現が可能となった．
[P21] 多人数の共有空間におけるシャドウを含む分散リモートレンダリング手法
概要
我々は、ソーシャルVRを性能の低いクライアントへ提供するリモートレンダリングサーバにおいて、石井らの分散レンダリング手法を応用し、モデル間のスポットライトシャドウを含むマルチパスレンダリングについて検証する。提案手法では、サーバ間の通信おいて、従来の視点からレンダリングした色と深度のフレーム転送に加え、光源からレンダリングしたシャドウマップのフレーム転送を実施する。検証には多人数のアバター用モデルがシャドウを生成するシーンを用意し、最終的なフレームを生成するまでにサーバの間で発生する通信量と遅延の評価を行った。
[P22] NeRFを用いた未知の質感を持つ3DCGモデル生成
概要
NeRFは三次元物体を色と透明度の場として表現するため、色・形状・光の反射等を含めた質感を統一的に扱い、高精細な画を生成できる。本研究は、NeRFが三次元物体の色や形状を連続的に扱えることに着目し、NeRFを用いて未知の微小形状や反射分布をもつ3DCGモデルを生成する手法を提案する。同一の3Dモデルに対し、岩や毛、ゼリーなど多種多様な質感を付与した3Dモデルのデータセットを用意し、一つのNeRFモデルで複数の質感を学習させることで、質感の内挿や外挿を可能にする。また、より人間の直感に沿った質感の埋め込みを実現するため、質感を表すオノマトペをベクトルに変換する既存手法などの採用も検討する。
10月1日(金) 14:40-16:10 ポスターセッション3
[P23] 布に写実性のある画像を描画するデバイスの提案
概要
本研究では，毛の方向の差異により布に濃淡が異なる跡が付く現象を利用し，カーペット等の布を視覚ディスプレイ化するデバイスを提案する．先行研究と比較して，解像度の向上と，ハーフトーニング処理による疑似的なグレースケール化を実装することにより，より写実的な画の描画を実現した．また，カメラとARマーカを用いてデバイスの位置と傾きを取得することにより，デバイスのサイズを超えた大規模な描画を可能とした.
[P24] 複数波長を用いた皮下血管のリアルタイムプロジェクション
概要
著者らは、時間同期式のプロジェクターカメラシステムを用いることで、肌内部の血管が鮮明に撮影可能な手法を開発したが、あくまでモニタ上で観察することしかできない点が課題である。そこで本研究では、従来は観測のための照明としてしか使用していなかったプロジェクタに、可視化した血管の映像を被写体にプロジェクションマッピングのように投影させる。プロジェクタとカメラの視差はホモグラフィ変換を用いることでずれを修正し、さらに、血管の観測と映像の投影とを異なる波長の光を用いることによって、１つのプロジェクタが、両方の役割を同時に果たすことが可能である。これにより、追加の光学機器なしに、血管の走行など肌内部の組織がより容易に把握できるようになった。
[P25] cGANを用いた煙アニメーションのスケッチベースデザイン支援
概要
本研究では，ラフスケッチによる2次元の煙アニメーションの設計をサポートするインタラクティブなユーザーインタフェースを提案する．提案システムでは，グローバルな流れのパターンとローカルの詳細な動作の2段階におけるスケッチインタフェースを開発した．グローバル段階では，条件付き敵対的生成ネットワークモデルを利用してスケッチ入力から速度場を生成する．ローカル段階では，得られた低コストシミュレーションに対してより詳細な動作をユーザスケッチによって設計する．本研究では，流れのスケルトンであるラグランジュコヒーレント構造（LCS）によってデータ訓練を行い，詳細な流れを生成する．提案方法により，複雑な流体動作を簡単に生成できる．
[P26] 木立性のバラの樹形のプロシージャルモデリング
概要
樹木のプロシージャルモデリングを目的とする従来技術の多くは、自然な状態で生長する樹形を主な対象としている。しかし、庭園などで栽培する樹木には人の手が加わることが一般的である。そこで我々は、庭園などにおけるバラを題材として、剪定や花がら摘みなどの樹形の人為的なコントロールを前提とした樹形のプロシージャルモデリング生成法について研究している。本研究の目標は、バラの樹形や剪定についての知識がなくとも感覚的に操作できるシステムの開発である。
[P27] 2次元直交図アノテーションに基づく3Dキャラクタモデリング
概要
本研究では、2D空間のアノテーションに基づいた正投影図（正面図と側面図）から対話的に3Dキャラクタを設計する手法を提案する。まず、ユーザがスプラインを掃引することで、図面との部分的な対応関係を構築し、ベースメッシュを生成する。次に、ユーザは入力された絵の中の必要な部分（目や口など）に、二種類のストローク（additionとerosion）を描くことでアノテーションを行い、システムはそれを利用してベースメッシュの形状を最適化する。ユーザは、2D空間での操作（アノテーションの修正・変更）を繰り返すことで、より効率的にキャラクタモデルをデザインすることができる。
[P28] スパース点群からのスケッチベースモデリングインタフェースの開発
概要
近年点群から高品質な3Dコンテンツの構築は重要な課題である。しかし、ジオメトリ処理のプロセスは冗長であり、対象オブジェクトが明確な構造を持たないため、モデリング精度が保証できない。本研究では、ユーザのスケッチを用いてスパース点群から3Dモデリングシステムを提案し，インタラクティブなモデリングインターフェースを開発する。具体的には、3段階の最適化アルゴリズムを提案して、入力したスケッチの認識向上を行う。また、データ駆動型の形状検索手法を用いて、ユーザの意図に沿う高品質な3Dモデルの生成を支援する。最後に、提案手法の有効性を検証する。
[P29] VoLearn: An Operable Motor Learning System with Auditory Feedback
概要
(非公開)
[P30] 3DCGモデリングのための図形と文字を入力とするペン型ユーザインタフェースの開発
概要
映画やゲームにおける映像の制作には市販の３DCGソフトが用いられるが，多種多様な機能が含まれた複雑なものとなっており，使い慣れたエキスパートでなければ簡単なシーンを作成するのも一苦労である．そこで我々は簡単なスケッチと文字のみを用いて３DCGモデリングを実現するためのユーザインタフェースの研究を行っている．ユーザはペンや指を用いたタッチ操作を介して作成したいシーンのラフなスケッチを描き，さらに物体の色などの情報を文字として与える．描かれた図形や文字を画像認識により判別し，対応する操作を3次元空間上に反映する．
[P31] 手指の動きを用いたアニメーションの生成
概要
ゲーム等でCGキャラクターの移動をリアルタイムに操作する際，ジョイスティックやキーボードが多く用いられる．しかし，それらではCG キャラクターの移動の方向と速度しか制御できない．全身のモーションキャプチャを用いれば，歩幅や歩き方も制御できるが，広い空間や高価な機材が必要となる．そこで，それより簡単な手のモーションキャプチャを用いて，CG キャラクターの全身の動きを制御することを目指す．そのために，本研究ではニューラルネットワークを用いて，手指の動きを全身の歩行アニメーションに変換する手法を提案する．
[P32] Specular, Roughness, Normalを含めた3DMMの構築と顔画像へのフィッティングの試み
概要
本発表では，Albedo, Specular, Roughness, Normalの情報を保持した3D Morphable Modelの構築と顔画像へのフィッティングについて報告する．本研究では，従来研究と異なりSpecular, Roughness, Normalを含めたモデルを用いることで，照明の変化に対してロバストなフィッティングを実現することを目指している．
[P33] Web会議の機能をAR技術によって現実空間に実装する試みとその応用
概要
Web会議システムにはアバターやバーチャル背景などの対面会議にない機能が充実しているが，円滑な会話が難しい問題がある．一方，対面の会議では円滑な会話が可能だが対面の緊張感などから発言しづらいと思う人もいる．そこで，対面会議にweb会議の機能を融合させれば両者の利点が活かせると考え，AR技術によりweb会議特有の機能を現実に実装した．また，既存機能の実装に留まらない応用として，人物の外見のマスキングとリアルタイム声質変換によって会議参加者の匿名化を実現した．これにより立場の違いを取り払うフラットな会議が期待できる．今後，アバター着せ替えなどを現実に実装することで新たな会議のあり方を検討していく．
ニュース
- 2021年11月26日 各賞の受賞者の写真を掲載いたしました．(詳細)
- 2021年10月4日 VC + VCC 2021は盛況のうちに終了しました．各賞の受賞者についてはこちらをご覧ください．
- 2021年9月17日 特別講演の情報を公開いたしました．(詳細)
- 2021年9月14日 プログラムを公開いたしました．(詳細)
- 2021年9月9日 企業招待講演で，Adobe Researchの齊藤淳氏にご講演いただけることになりました．(詳細)
- 2021年9月3日 チュートリアルのパネルディスカッションで，スクウェア・エニックスの三宅陽一郎氏にご登壇いただけることになりました．(詳細)
- 2021年8月24日 参加登録の受付を開始しました．(詳細)
- 2021年8月23日 豪華講師陣によるチュートリアルの開催を決定いたしました．(詳細)
- 2021年7月14日 VC + VCC 2021として開催すること，オンライン形式で開催すること，およびポスターの締切を8月31日(火)とすることを決定いたしました．(詳細)
- 2021年4月1日 論文募集を開始いたしました．(詳細)
過去の開催
スポンサー企業
ゴールド・スポンサー
シルバー・スポンサー
ブロンズ・スポンサー
