口頭発表・招待講演プログラム

9月29日(水) 9:15-10:05 論文セッション1 (画像解析・画像生成)
座長: 井尻 敬 (芝浦工業大学)
VC2021_paper_26

[1] Gabor関数の合成による等方的なバンドパスフィルタの提案 (short)

*伊藤 謙吾, 齋藤 豪 (東京工業大学)

概要
人の視覚系の感度特性は刺激の空間周波数や中心視からの視角距離によって異なっており、その特性を測定してモデル化したものの一つにコントラスト感度関数(CSF)がある。CSFに基いて人が検出可能なコントラスト情報のみを残した広角視覚像を生成するためには、入力画像の空間周波数ごとのコントラストを詳細に抽出し、削減する必要がある。我々はこれまでにDoG(Difference of Gaussian)フィルタとGaborフィルタを用いた広角視覚像の生成手法を提案してきた。しかし、この手法ではDoGフィルタが等方的であるのに対してGaborフィルタには異方性があった。本稿ではこの異方性を改善するためにGabor関数の合成フィルタを提案する。また、等方的な抽出ができるHermite transform-basedフィルタと我々の提案フィルタとの性能比較を行う。

VC2021_paper_22

[2] Bi-projection-based Foreground-aware Omnidirectional Depth Prediction (long)

*Qi Feng (Waseda University), Hubert Shum (Durham University), Shigeo Morishima (Waseda Research Institute for Science and Engineering)

概要
Due to the increasing availability of commercial 360-degree cameras, accurate depth prediction for omnidirectional images can be beneficial to a wide range of applications including video editing and augmented reality. Regarding existing methods, some focus on learning high-quality global prediction while fail to capture detailed local features. Others suggest integrating local context into the learning procedure, they yet propose to train on non-foreground-aware databases. In this paper, we explore to simultaneously use equirectangular and cubemap projection to learn omnidirectional depth prediction from foreground-aware databases in a multi-task manner. Experimental results demonstrate improved performance when compared to the state-of-the-art method.

VC2021_paper_14

[3] 実写ドメインに適応した人物全身動画像の再照明 (long)

*田島 大地, 金森 由博, 遠藤 結城 (筑波大学)

概要
ニューラルネットワークを用いた教師あり学習に基づく人物画像への再照明の手法が提案されているが、多くの手法では比較的少数の 3D モデルから教師データが作られているため、実写の人物画像に対する汎化性能に乏しい。本研究では、2 段階の学習に基づいて実写へのドメイン適応を実現した、人物全身動画像の再照明手法を提案する。まず 3D モデルから得られた教師データに基づき、拡散反射成分のみの再照明のためのネットワークを学習する。続いて、そのネットワークを実写に適用した場合の実写との残差である非拡散反射成分を、別のネットワークで学習する。さらに提案手法を動画に適用する場合、動画のコマごとに独立に適用するとチラつきが発生するが、動的光源であってもチラつきを抑えられる安定化手法も併せて提案する。既存手法と比較して、様々な人物の動画像に対してより写実的な再照明を実現できることを示す。

9月29日(水) 10:15-11:05 国際論文誌・学会採択論文招待セッション1
座長: 岡部 誠 (静岡大学)
VC2021_International_Fukusato

[4] ペイントインターフェースを用いた点群面張り作業 (Journal of Computer Graphics Techniques 2020)

*福里 司, 盧 承鐸, 五十嵐 健夫 (東京大学), 伊藤 大地 (Adobe Research)

VC2021_International_Saito1

[5] シワのある服表現を作成するための線入力による簡便な手法 (Computers & Graphics 2020)

Yufei Zheng, 史 発, *齋藤 豪 (東京工業大学)

VC2021_International_Chong

[6] Per Garment Capture and Synthesis for Real-time Virtual Try-on (UIST 2021)

*Toby Chong, I-Chao Shen, 梅谷 信行, 五十嵐 健夫 (東京大学)

VC2021_International_Li

[7] MultiResGNet: Approximating Nonlinear Deformation via Multi-Resolution Graphs (EG 2021)

*李 天行, 石 睿, 金井 崇 (東京大学)

9月29日(水) 11:05-12:05 国際論文誌・学会採択論文招待セッション2
座長: 岡部 誠 (静岡大学)
VC2021_International_Tochigi

[8] Multidimensional Data Visualization for Investigation of Skin Transparency (IV 2021 Best Paper Award)

*栃木 彩実, 伊藤 貴之 (お茶の水女子大学)

VC2021_International_Zhu

[9] Personalized Image Recoloring for Color Vision Deficiency Compensation (IEEE Transactions on Multimedia 2021)

*朱 臻陽, 豊浦 正広, 郷 健太郎, 柏木 賢治 (山梨大学), 藤代 一成 (慶応義塾大学), 黄田津 (香港中文大学), 茅 暁陽 (山梨大学)

VC2021_International_Saito2

[10] 線属性符号化を利用したCNNによる3Dモデルの様式線による描画手法 (Computers & Graphics 2020)

内田 光洋, *齋藤 豪 (東京工業大学)

VC2021_International_Moroto

[11] Fast Polygonal Splatting using Directional Kernel Difference (EGSR 2021)

*諸戸 雄治 (東京大学), 蜂須賀 恵也 (ウォータールー大学), 梅谷 信行 (東京大学)

VC2021_International_Iwasaki

[12] Two-stage Resampling for Bidirectional Path Tracing with Multiple Light Sub-paths (PG 2020)

名畑 豪祐, *岩崎 慶 (和歌山大学), 土橋 宜典 (北海道大学)

9月29日(水) 14:10-15:10 論文セッション2 (画像生成)
座長: 飯塚 里志 (筑波大学)
VC2021_paper_32

[13] 中間ドメインの仲介による形状が異なるドメイン間の画像変換手法 (short)

*滝田 巧平, 平井 辰典 (駒澤大学)

概要
CycleGANやU-GAT-ITに代表されるImage-to-Imageの画像変換手法は,二つのドメインの形状が大きく異なる場合に上手く変換できない.また,複数のドメインを対象とした画像変換を行う場合には,それに応じた複数の変換モデルの学習が必要となる.そこで,本研究では変換するドメインの形状の間に位置するような中間ドメインを導入し,変換の橋渡しにすることで従来の変換モデルでは変換が困難であったドメイン間の画像変換を実現する.また,この手法によって複数ドメイン間の画像変換に必要なモデルの個数を減らすことも目指す.

VC2021_paper_5

[14] 手書き文字の個性を生かした楷書の書道美化 (short)

*岡本 征也, 中村 海里 (静岡大学大学院総合科学技術研究科工学専攻), 關根 惟敏 (静岡大学機械工学科), 臼杵 深 (静岡大学電子工学研究所), 三浦 憲二郎 (静岡大学創造技術大学院情報科学専攻)

概要
本研究の目的は,ペンタブレットなどで描いた一様な太さの文字を,ユーザの個性を生かし,とめ,はね,はらいなどの特徴を付加する楷書の書道美化である.そこで,汎用性の高い画像変換の可能な深層学習の一種であるpix2pixに注目し,手書きのひらがなをフォントのひらがなに近づけるように学習させた.その結果,ひらがなに楷書の書道の特徴であるとめ,はね,はらいの付加を可能にした.さらに,この学習済みデータを用い美化の拡張を行い様々な太さの文字や漢字,二文字以上の文字の美化に成功した.

VC2021_paper_31

[15] 学習済画像生成ネットワークの対話的な調整法 (long)

周 夢遠, *山口 泰 (東京大学)

概要
近年のGANの発展によって,一見したところ自然な画像を容易に生成できるようなってきた.しかし,細かい点で気になる部分が残されていることも多い.我々はGANによって訓練済の画像生成ネットワークに対話的に指示を与えることで,気になる物体やテクスチャの消去,物体の色変更などを施す方法を提案する.この手法は,ユーザが出力画像中で不自然と感じる領域ならびにその色などを指定すると,システムが生成ネットワーク内の関連するネットワークユニット候補を検出し,その機能を停止することによって出力画像の修正を試みるものである.この手法は事前の訓練や調整などは必要とせず,任意の訓練済生成ネットワークに適用可能である.実験の結果,複数の画像生成ネットワークにおいて,指示した物体やテクスチャを消去したり,物体の色を変えたりするだけでなく,逆に残したい領域を保存できることも確認した.また,1つの出力画像に対して施したネットワークの変更は,他の出力画像についても似た効果を発揮できることも示す

VC2021_paper_4

[16] StyleGAN Prior を用いたFew-shot 意味的画像合成 (long)

*遠藤 結城, 金森 由博 (筑波大学)

概要
本稿では、画素単位にアノテーションされた訓練画像が少量しか手に入らないfew-shot 環境において、セマンティックマスクから写実的な画像を生成する新たなタスクを開拓する。これを実現するために、StyleGAN Prior を活用した擬似ラベリングに基づいて、意味的画像合成モデルを学習する枠組みを提案する。提案手法のアイディアは、少量の訓練データにおいて定義されたセマンティッククラスと、StyleGAN の特徴量とのマッピングを構築する点にある。これにより生成された無数の擬似的なセマンティックマスクを利用して、StyleGAN ジェネレータを制御するためのエンコーダを学習する。生成されたマスクは、ピクセルアラインメントを重視した従来のアプローチにとっては、粗すぎて上手く学習できないが、GAN inversion に基づく本枠組みにとっては効果的に学習でき、密な入力だけでなく、スクリブルやランドマークなどの疎な入力からも、高品質な画像を合成できる。様々なデータセットを用いた定性的および定量的な結果から、1ショットや5ショットの設定で、レイアウトの忠実性と視覚的品質の観点から、提案手法は既存手法よりも良好な結果が得られることを示す。

9月30日(木) 9:05-10:20 論文セッション3 (イラスト・アニメ)
座長: 藤堂 英樹 (青山学院大学)
VC2021_paper_6

[17] パレットベースの画像の色編集における自動色変換手法 (short)

*水嶋 楓華, 佐藤 周平 (富山大学), 櫻井 快勢 (株式会社ドワンゴ), 土橋 宜典 (北海道大学), 高 尚策, 唐 政 (富山大学)

概要
本研究では画像の色編集における,色の自動変換手法を提案する.画像上の色をある少数のテーマカラーへ変換したい場合,画像上の一部の領域をその色に変更し,残りの領域の色を元画像の色の関係性をなるべく保つように調整する必要が多く生ずる.この作業は難易度が高く,一般的には試行錯誤的に調整を繰り返し,色を決定していく必要がある.
この問題に対し,我々はユーザ指定の色と元画像の色分布の両方を考慮して,色変換を行う最適化ベースの手法を提案する.提案法ではこれを最小化問題として定式化する.ただし,画像中のすべての色に対して最小化問題を解くと計算コストが膨大になるため,量子化されたカラーパレットを用いて問題を解くことで計算を高速化する.様々な例により提案手法の有効性を示す.

VC2021_paper_25

[18] アニメーションの手描き背景画からの三次元投影関数の対話的な決定法 (short)

山根 初美, *岡田 大樹, 齋藤 豪 (東京工業大学)

概要
アニメーションの手描き背景画では透視投影図法に囚われない表現が用いられている。このような背景画も一般的な透視投影を拡張した統合投影の像として解釈すれば、統合投影法による三次元物体像と齟齬なく合成することができる。本論文では背景画を統合投影の像として解釈したとき、その投影関数を制御する変数を対話的に決定する手法を提案する。
提案手法では、ユーザは背景画に重ねられた立方体像が違和感がないように各頂点を移動させ、システムは立方体像から統合投影法の投影関数を制御する4つの変数を決定する。システムは決定された投影関数を格子線像として可視化することによって、ユーザの対話的な調整を可能にする。
提案手法を用いたユーザ実験により、決定した変数値と真の値との誤差を検証する。

VC2021_paper_15

[19] Skeleton2Stroke: キャラクタ原画間のストローク対応付けのための対話的な設計システム (short)

*宮内 涼将, 彭 以琛 (北陸先端科学技術大学院大学), 福里 司 (東京大学), 謝 浩然 (北陸先端科学技術大学院大学)

概要
手描きアニメーションの生産性を向上させる方法の一つとして,キャラクタ原画の間を滑らかにつなぐ「中割り」を生成する技術が考案されている.中割生成技術の大半は,手描きの原画をベクター画像に変換した上で,ストローク単位の対応関係を事前に構築する必要がある.しかしベクター画像の作成には,PC上で原画をトレースする手作業が求められ,制作者の大きな負担になってしまい、制作現場への中割り生成技術の導入を妨げている.
そこで本研究では,キャラクタ原画内の閉領域に着目し,トレース作業を行わず,原画から直接ストローク単位の対応関係を推定する手法を提案する.具体的には,キャラクタ原画から得られる姿勢情報や閉領域同士の隣接関係や形状から得られる情報を基に閉領域単位の対応関係を推定した後、ストローク単位の対応関係を決定するものである.更に,姿勢推定結果や閉領域の対応関係を修正するためのユーザインターフェースも同時に提案する.
本論文では複数の原画に対する比較実験を通して, 本手法の有効性を評価する.

VC2021_paper_19

[20] アニメに特化したサンプリングによるパッチベース学習に基づく着色作業支援 (long)

*前島 謙宣 (株式会社オー・エル・エム・デジタル / 株式会社IMAGICA GROUP), 久保 尋之 (東海大学), 品川 政太朗, 舩冨 卓哉 (奈良先端科学技術大学院大学), 四倉 達夫 (株式会社オー・エル・エム・デジタル / 株式会社IMAGICA GROUP), 中村 哲, 向川 康博 (奈良先端科学技術大学院大学)

概要
アニメ制作工程における線画画像への着色工程は手作業で行われており,今なお労力の多い作業であるといえる.そこで本論文では,1カットとよばれる十数枚程度の一連の線画画像からなる画像群のうち,ごく少数の線画画像を手作業で彩色したものを見本とし,他の未彩色の線画画像を自動で彩色する手法を提案する.本論文の新規性は,従来,実写動画に対するパッチベース学習を用いたスタイライゼーション技術に対し,1) アニメ映像特有の特徴を考慮した学習時のパッチの重点サンプリングを考案し,2) 線画に対する前景・背景のセグメンテーションを用いた拡張によって高精度化を実現した点である.さらに,本手法の有効性を明らかにするために,本論文ではパッチサイズと学習コストとのトレードオフを示し,実用的な学習時間で最大限彩色が可能な最適なパッチサイズについて検証する.手作業での着色結果との比較を通じて同様の素材を使って学習された従来技術と比較したところ,提案手法が精度,学習時間ともに優れていることが示され,実際の映像制作現場で使用可能な品質の自動彩色技術を実現した.

VC2021_paper_18

[21] SpiCa: ろくろ型三次元透明キャンバスによるエフェクト作成⽀援 (long)

*池田 理和乃 (慶應義塾大学理工学研究科開放環境科学専攻情報工学専修), 藤代 一成 (慶應義塾大学理工学部情報工学科)

概要
炎・煙・液体などのエフェクトは, イラストレーション,映像作品など,幅広い分野で重要な役割を果たす要素の一つであるが,こうしたエフェクトの描画には,多くの労力と専門知識が必要となる.本研究では,ろくろ型三次元透明キャンバスを利用して,キャラクタイラストに対し立体的なエフェクトを作成する手法を提案する.キャラクタイラストにおけるエフェクトをデザインするためのアプローチとして,構図を整理し流れを美しく見せるために,エフェクトの流れを簡単な形状の面上に想定する方法が知られている.本研究では,このアプローチを発展させ,回転可能な三次元透明キャンバスを配置することで,対象を取り囲むような三次元的な流れをもつエフェクトを効果的にデザインすることができる描画ツール―SpiCa(spinning canvas)を構築した.本ツールを用いた評価実験の結果,提案手法により,作業負荷軽減の効果が実現され,既存の2Dイラストツールと比較して容易かつ効果的にエフェクトを作成できるという評価が得られた.

9月30日(木) 10:20-11:05 論文セッション4 (レイアウト)
座長: 土橋 宜典 (北海道大学)
VC2021_paper_27

[22] Hierarchical Layout Optimization with Containment-aware Parameterization (long)

*Kotaro Kikuchi, Edgar Simo-Serra (Waseda University), Mayu Otani, Kota Yamaguchi (CyberAgent)

概要
Visual containment, in which elements are grouped and placed inside container elements, is an efficient design strategy for organizing elements in a limited display, and is widely implemented in most web page designs. In this study, we express such visual containment as a layout tree and formulate the layout design task as a hierarchical optimization problem. We first estimate the layout tree from a given set of elements, which is then used to calculate tree-aware energies that correspond to desirable graphic design properties such as alignment or spacing. We obtained a dataset of diverse and popular real-world web designs to evaluate various aspects of our approach. Experimental results show that our approach generates better quality layouts than the baseline approach.

VC2021_paper_28

[23] Exploring Latent Space for Constrained Layout Generation (long)

*Kotaro Kikuchi, Edgar Simo-Serra (Waseda University), Mayu Otani, Kota Yamaguchi (CyberAgent)

概要
In graphic design, it is common to visually arrange various elements according to the design intent and semantics. For example, a title text is almost always placed on top of other elements in a document. In this work, we generate graphic layouts that can flexibly incorporate such design semantics implicitly or explicitly specified by a user. We explore the latent space of an off-the-shelf layout generative model, allowing our approach to be complementary to and used with the existing models. Our approach builds on a Transformer-based layout model, and formulates layout generation as a constrained optimization problem where design constraints are used for element alignment, overlap avoidance, or any other user-specified relationship. Experimental results show that our approach can generate realistic layouts with a single model for both constrained and unconstrained settings.

9月30日(木) 11:15-12:25 論文セッション5 (反射・シミュレーション)
座長: 楽 詠灝 (青山学院大学)
VC2021_paper_34

[24] スケッチによる形状入力を用いた氷シミュレーションの成長速度制御 (short)

*佐藤 周平 (富山大学), 天野 幹子, 伊藤 貴之 (お茶の水女子大学)

概要
コンピュータグラフィックスにおける物理現象のシミュレーションの中でも,氷などの樹枝状結晶の成長シミュレーションはこれまであまり研究がなされておらず,いまだにその現象のシミュレーション手法が提案されているのみである.しかし,このような現象は映画やゲームなどの映像制作においてよく用いられる現象の一つであり,アニメータの意図に沿ってその動きや形状をデザインできることへの需要は高い.
本研究では,樹枝状結晶の中でも氷に焦点をあて,ユーザの指定した形状および成長速度となるよう氷のシミュレーションを制御する手法を提案する.我々の手法ではユーザのスケッチによりシミュレーション領域を指定し,その範囲内で計算を行うことで,ユーザ指定の形状として氷を表現する.また,成長速度に関係するパラメータを最適化により求めることで,指定したフレームに形状の端に氷が到達するよう制御する.提案手法により,指定のフレームに指定の形状をとるような氷のアニメーションを生成できる.

VC2021_paper_12

[25] 位置ベース法を用いたダイラタント流体のシミュレーション (long)

*古川 翔大 (筑波大学), 藤澤 誠 (筑波大学), 三河 正彦 (筑波大学)

概要
流体は粘度が一定であるニュートン流体と与える力によって粘度が非線形に増減する非ニュートン流体に分けられる。本研究では非ニュートン流体の中でもダイラタント流体に着目する.ダイラタント流体は,かかる力が大きくなるほど粘度が増大する流体であり,身近なものでは水溶き片栗粉や砂浜などが挙げられる.従来の研究ではダイラタント流体の再現にSPH(Smoothed Particle Hydrodynamics)と呼ばれる力学ベースの手法を用いていたが,この方法ではパラメータの設定によっては容易に挙動が不安定になってしまう.そこで提案手法では,PBF(Position Based Fluid)と呼ばれる安定性の高い手法に、従来研究で扱っていたばねや履歴システムなどを取り入れることで,より安定性の高いダイラタント流体の再現を可能とする。

VC2021_paper_24

[26] 自由曲線を境界形状とする平面光源の実時間レンダリング法 (long)

久家 隆宏 (早稲田大学), *谷田川 達也 (東京大学), 森島 繁生 (早稲田大学)

概要
本研究では,自由曲線の中でも,特にベジエ曲線を境界形状とするような平面光源の実時間レンダリング法を提案する.提案法はBRDFがコサイン分布となるような場合に利用可能な多角形面光源に対する実時間レンダリング法を拡張する.提案法では,自由曲線をポリラインとして離散化することで多角形とみなし,従来法を適用する.この際,面光源の一部が陰影計算点に与える寄与の大きさを元に詳細度を決定する適応的な離散化手法を用いることで,生成画像の品質と計算時間のトレードオフを解消する.また,従来法同様にGGX分布を法線分布関数とするMicrofacet BRDFに対して提案法を適用するため,BRDFローブのコサイン分布による近似を用いる.この近似にはアフィン変換が用いられるが,ベジエ曲線のアフィン不変性から効率的に変換後の境界形状を求めることが可能である.加えて,一般的にベジエ曲線の交差判定に用いられるベジエクリッピング法よりも,陰影計算の範囲で高速に動作する代数的クリッピング法を新たに提案する.これらの拡張の結果,自由曲線を単純に多角形化した場合と比較して大幅な計算速度の向上を実現した.

VC2021_paper_17

[27] 計測スペクトラルBRDFの成分分離による編集 (long)

*引地 将大 (和歌山大学), 岩崎 慶 (和歌山大学)

概要
CGにて画像を生成する際には,物体表面における光の反射率を表す双方向反射率分布関数(BRDF:Bidirectional Reflectance Distribution Function)が重要な役割を果たす.BRDFを表現する方法として,LambertianモデルやGGXモデルなどの数式でモデル化した解析BRDFモデルや,MERL BRDFなどの実世界の材質のBRDFを計測したデータ駆動型BRDFモデルが存在する.データ駆動型BRDFモデルを用いることで,より写実的な画像を生成することができるが,計測した材質しか表現できない問題などがあげられる.
そこでSunらは,データ駆動型BRDFモデルの1つであるMERL BRDFを拡散反射と鏡面反射に分離し,主成分分析を行うことで,MERL BRDFを8つのパラメータで表現し,パラメータを変更することで様々な材質を表現できる手法を提案した.しかしSunらの手法では,波長を考慮したデータ駆動型BRDFモデルには適応されておらず,角度により色が変化する構造色材質を表現することができない.
本研究では,まずSunらの手法を波長ごとの反射率を計測した計測スペクトラルBRDFに適応させる.また構造色材質を表現する手法を提案する.これにより,Sunらの手法では表現できなかった材質をより正確に表現することが可能となった.

9月30日(木) 13:25-14:35 論文セッション6 (Gameと可視化)
座長: 伊藤 貴之 (お茶の水女子大学)
VC2021_paper_20

[28] Multi-Agent Competition for Pokémon AI (short)

*Chen Kaishang, Kotaro Kikuchi, Edgar Simo-Serra (Waseda University)

概要
Pokémon is one of the most celebrated video game franchise in history and competitive Pokemon battling has earned increasing popularity as an esports over the last decade. Competitive Pokemon battle poses a significant challenge to developing AI agents due to partial observability, long-term causal relationship between states and actions, an enormous knowledge base as well as the raw complexity of the game system itself, which are also representative of issues found in many real-world tasks. Self-play reinforcement learning has shown promising results in other well-studied games such as Go and Shogi, but we struggled to achieve good performance with existing self- play methods in Pokemon, as the agents often struggle to get out of local optimums, possibly due to the partial observability and random nature of the game. To overcome this, we introduce a novel multi-agent competition based framework to train reinforcement learning agents to play pokemon. Experiments showed that agents trained without method outperformed those trained with self-play, even without reward shaping.

VC2021_paper_40

[29] Permutation-Invariant Deep Reinforcement Learning for Danmaku Games (short)

*Takuto Itoi, Edgar Simo-Serra (Waseda University)

概要
Touhou Project is one of the best-know games in the bullet hell genre, which is a game that the player dodges complex patterns of bullets on the screen. In this game, the agent needs to react to the environment in real-time, which made existing methods having difficulties processing the high-volume data of objects; bullets, enemies and so on. We introduce an openai gym environment for the Touhou Project game "東方花映塚 ~ Phantasmagoria of Flower View." which uses dll injection to capture the data from the memory of the running game and enables to control the character. For this purpose, we propose a new model, that interpret the input objects as a kind of point cloud and extract abstract values that features the cloud prior to processing with a normal DQN method. This not only benefits to decrease the computational power needed, but also respects the permutation invariance of the points i.e. data of objects. Compared to the stat-of-the-art methods, our model using point cloud abstraction has shown better results in which it survived longer and was able to eliminate more enemies.

VC2021_paper_23

[30] Item Management Using Attention Mechanism and Meta Actions in Roguelike Games (long)

*Keisuke Izumiya, Edgar Simo-Serra, (Waseda University)

概要
Roguelike games are challenging environments for Reinforcement Learning (RL) algorithms due to having to restart the game from the beginning when losing, randomized procedural generation, and proper use of in-game items being essential to success. While recent research has proposed roguelike environments for RL algorithms and proposed models to handle this challenging task, to the best of our knowledge, none have dealt with the elephant in the room, i.e., handling of items. Items play a fundamental role in roguelikes, but it is not straightforward to incorporate them into an RL framework because of an unordered set with a non-fixed amount of elements which form part of the action space. In this work, we tackle the issue of having unordered sets be part of the action space and propose an attention-based mechanism that can select and deal with item-based actions. We also propose a model that can handle complex actions and items through a meta action framework and evaluate them on the challenging game of NetHack. Experimental results show that our approach is able to significantly outperform existing approaches.

VC2021_paper_7

[31] 二色塗分けスパークラインを用いた一次元時系列COVID-19感染データの可視化 (short)

*本田 健悟 (慶應義塾大学理工学研究科開放環境科学専攻情報工学専修), 斎藤 隆文 (東京農工大学大学院工学研究院先端情報科学部門), 藤代 一成 (慶應義塾大学理工学部情報工学科)

概要
COVID-19のパンデミックに関して,私たちは各種メディアが生成する可視化により,日々の感染状況を把握している.今回のパンデミックは多くのデータの多角的な考察が必要であるが,既存の可視化だけでは十分な分析環境を提供できているとはいえない.本論文では,二色塗分け法を用いたスパークラインを提案する.提案手法は,全国や地域別のCOVID-19の感染データに適用することで,詳細と概要を同時に読み取ることができる.これにより,ビジュアルコミュニケーションを活発化し,より多くの情報をもとに今回のパンデミックについて考察できる視覚分析環境の提供を目指す.

VC2021_paper_13

[32] 微分可能なパラメトリック曲線の形状情報とその可視化 (short)

*吉田 典正 (日本大学), 斎藤 隆文 (東京農工大学)

概要
本研究は,微分可能な任意のパラメトリック曲線について,曲率および捩率に関する形状情報(曲率・捩率対数グラフの傾き)の計算手法を導出し,二色塗分けによる疑似カラー表示を用いて可視化する手法を提案する.形状情報を可視化することにより,平面曲線については,クロソイド曲線,対数らせん,Nielsenのらせん,円のインボリュート曲線などへの近さを視覚的に知ることができる.空間曲線についても,同様に,対数美的空間曲線との類似性を知ることができる.本研究により,(1) 従来の曲率・捩率プロットなどとは異なる形状情報の可視化,(2) 形状最適化のための新たなfairness functionalへの応用,(3) 対数美的曲線と関連付けて考えた場合の自由曲線で近似可能な曲線範囲の解明へとつながることが期待される.

10月1日(金) 9:05-9:55 論文セッション7 (ヒューマンモーション)
座長: 尾下 真樹 (九州工業大学)
VC2021_paper_21

[33] 弓遣いに基づく弦楽器演奏モーションの自動生成 (short)

*平田 明日香, 田中 啓太郎, 島村 僚 (早稲田大学), 森島 繁生 (早稲田大学理工学総合研究所)

概要
本研究では,演奏音源から弦楽器演奏モーションを自動生成する手法を提案する.演奏音源から身体の関節位置を直接推定している既存手法に対し,提案手法では弓の上げ下げ・使用弦といった弓遣いの推定を行い,ルールベースで右手のモーションの自動生成を行った.推定の対象を弓遣いとすることで,入力音源から出力への写像を明確にするだけではなく,入力音源に対する整合性のとれた自然な演奏モーション生成を可能とした.弓遣いを反映した自然な演奏モーションの自動生成が可能であることを,定量評価及び主観評価実験により確認した.

VC2021_paper_8

[34] パッチの再配置に基づくジェスチャーのスタイル変換 (short)

*栗山 繁 (豊橋技術科学大学 情報・知能工学系)

概要
CG仮想人間のコンテンツにおいて,発話に伴う身振りや手振り動作(ジェスチャー)の個性的な表現は,視聴者の感性に訴求するための重要な要素である.ジェスチャーのアニメーションはモーションキャプチャのデータをキャラクタに当てはめるのが一般的であるが,魅力的な演出には高度な演技力や編集力が必要とされる.本稿では,入力されたジェスチャーの内容を壊さない様に,表現豊かに演じられたスタイルに変換する手法を提案する.本手法では,内容の動きとスタイルの動きのデータを畳み込みニューラルネットワークで特徴マップに変換し,それらを時間軸で分割した分節毎に入れ替える機構を導入する.既存手法では,内容の動きに対応するスタイルの動きの分節を十分に確保するために,スタイル付きのデータを十分なバリエーションで供給しなければならない.これに対し本手法では,階層的なオートエンコーダを用いた分節の入れ替え機構を提案し,少量データからの変換を実現する.さらに,この分節の使用頻度を平準化できる再配置アルゴリズムを提案し,表現としての大域的な構造をも転移できる変換機構を構築する.

VC2021_paper_10

[35] 二段階スキニング分解による頂点アニメーションの近似 (long)

*向井 智彦 (東京都立大学), 岩本 尚也 (華為技術日本株式会社)

概要
本稿では,入力データとして与えられた頂点アニメーションを模倣するような,二段階線形ブレンドスキニングモデルとジョイントアニメーションを同時推定する技術を提案する.提案する反復的最適化アルゴリズムには,標準的グラフィクスパイプラインとの親和性を向上するための制約条件を導入するとともに,入力データをより正確に近似するための拡張を施す.その結果,従来法よりもアニメーション合成に必要なデータ量を削減しつつ,さらに高精度な実時間スキン変形を実現することを各種実験を通じて検証する.

10月1日(金) 9:55-11:05 論文セッション8 (形状)
座長: 三浦 憲二郎 (静岡大学)
VC2021_paper_9

[36] 分割法を用いた有理ベジエ曲線・曲面の間隙計算 (short)

*西田 友是 (プロメテックCGリサーチ / デジタルハリウッド大学)

概要
CAD,CG,アニメーションなどの分野で曲面の交差、変形などの曲面処理の研究が多くなされている。本稿では曲面間の最短距離(クリアランスあるいはギャップ)を計算する方法を提案し、曲面部品の組立・編集や動的シーンでの衝突検出に有効な方法について論じる。特に円錐曲面も表現できる有理曲面の対応が不可決である。2つのn次有理パラメトリック曲面間の最短点を検出するには、2組の媒介変数に対し2n-1次の多項式を解く必要がある(3次の場合、4つの未知数を解く5次多項式の連立方程式)。これを線形計算のみの収束計算で効率的に行う方法を提案する。さらに多角形メッシュで表現された物体と曲面表現のままの物体との干渉計算に、包含球(楕円体も含む)を利用する方法への適用法も紹介する。n次有理ベジエ曲面の場合、交差判別には4n次多項式を解くようだが、これを線形計算のみで得られる方法である。また、この方法は円錐曲線軌道に沿う移動物体の衝突判定にも有効である。

VC2021_paper_3

[37] 視点依存モデルデザインのための効率的な視点選択 (short)

*福里 司 (東京大学), 前島 謙宣 (株式会社オー・エル・エム・デジタル / 株式会社IMAGICA GROUP)

概要
セルアニメ作品に登場する三次元構造的な矛盾(例:ミッキーマウスの耳部)を3D空間上に表現する方法として,視点依存モデルが注目されている.視点依存モデルとは,少数の視点(例:正面,側面)における3次元モデルの変形情報(キーフレーム)を記録し,任意の視点における変形情報を推定するものである.しかしこの手法では,どの視点からのキーフレームを何枚用意すれば良いのかについては一切言及されておらず,視点設定が非効率なものとなっている.そこで本稿は,入力となる3Dモデルの「形状情報」と「制作中の視点依存モデル(中間結果)から得られるパラメータ」を組み合わせることで,視点依存モデルを効率的に制作するための視点提示アルゴリズムを検証する.更に,視点依存モデル設計用のユーザインターフェースも同時に考案し,比較実験とユーザテストを通じて提案手法の有効性を示す.

VC2021_paper_33

[38] グラフ畳み込みネットワークを用いた教師なし学習によるノイズ除去法 (long)

*服部 翔大, 谷田川 達也, 大竹 豊, 鈴木 宏正 (東京大学)

概要
本稿では教師なし学習による三角形メッシュのノイズ除去法,すなわち,単一のノイズ付きメッシュを入力データとして,大規模なデータセットを用いて事前学習することなくノイズ無しメッシュを出力する手法を提案する.提案法は,二次元画像修復の分野で発見された,ニューラルネットワークが構造的な信号をより早く復元する性質を三角形メッシュのノイズ除去に応用する.この際,出力形状を直接推定する代わりに,入力メッシュとその詳細部を平滑化したメッシュとの差分を推定することが,ノイズ除去性能の改善に重要であることを理論的に示す.提案法は教師なしの手法でありながらも,複数のノイズ付きメッシュに対する実験の結果,大規模データを用いた深層学習による最新手法に匹敵する性能を達成した.本稿では,詳細部を取り出すための平滑化法の違いや教師なし学習の目的関数の違いによるノイズ除去性能の変化から,最適な処理の組み合わせについても考察する.

VC2021_paper_11

[39] 視点依存で模様が変化する3Dプリント可能な構造の設計法 (long)

*櫻井 快勢 (株式会社ドワンゴ), 宮田一乘 (北陸先端科学技術大学院大学)

概要
複数の視点と色を与えられたとき、それらを表示するような、視点依存で模様が変化する構造を提案する。構造は、与えられた視点を分断するような遮蔽の壁を有し、それぞれの壁面に、指定の色に見えるようなテクスチャが与えられる。また、この構造は指定の形状に付与することができ、形状の表面を覆うように施すことで、視点依存で模様が変化するような立体造形が可能となる。実証のために、不透明なフルカラーの部材による3Dプリンティングで、その構造を作成し、この手法が有効であることを確認した。さらに、造形物の設置環境が既知であるとき、背景と模様をあわせることで、疑似的に透明を表現できた。

10月1日(金) 11:15-12:15 SIGGRAPH招待講演セッション1
座長: 栗山 繁 (豊橋技科大)
VC2021_SIGGRAPH_Shiratori

[40] Driving-Signal Aware Full-Body Avatars (SIGGRAPH 2021)

Timur Bagautdinov, Chenglei Wu, Tomas Simon, Fabian Prada, *Takaaki Shiratori, Shih-En Wei, Weipeng Xu, Yaser Sheikh, Jason Saragih (Facebook Reality Labs Research)

VC2021_SIGGRAPH_Saito

[41] Deep Relightable Appearance Models for Animatable Faces (SIGGRAPH 2021)

Sai Bi (Facebook Reality Labs, University of California San Diego), Stephen Lomberdi, *Shunsuke Saito, Tomas Simon, Shih-En Wei, Kevyn Mcphail (Facebook Reality Labs), Ravi Ramamoorthi (University of California San Diego), Yaser Sheikh, Jason Saragih (Facebook Reality Labs)

VC2021_SIGGRAPH_Komura2

[42] ManipNet: Neural Manipulation Synthesis with a Hand-Object Spatial Representation (SIGGRAPH 2021)

He Zhang (University of Edinburgh), Yuting Ye (Facebook Reality Labs), Takaaki Shiratori (Facebook Reality Labs), *Taku Komura (The University of Hong Kong and The University of Edinburgh)

VC2021_SIGGRAPH_Komura1

[43] Neural Animation Layering for Synthesizing Martial Arts Movements (SIGGRAPH 2021)

Sebastian Starke, Yiwei Zhao, Fabio Zinno (Electronic Arts), *Taku Komura (The University of Hong Kong and University of Edinburgh)

10月1日(金) 13:10-13:55 SIGGRAPH招待講演セッション2
座長: 向井 智彦 (東京都立大学)
VC2021_SIGGRAPH_Shimada

[44] Neural Monocular 3D Human Motion Capture with Physical Awareness (SIGGRAPH 2021)

*島田 聡士, Vladislav Golyanik (Max Planck Institute for Informatics), Weipeng Xu (Facebook Reality Labs), Patrick Pérez (Valeo.ai), Christian Theobalt (Max Planck Institute for Informatics)

VC2021_SIGGRAPH_Sato

[45] 流れ関数を用いた煙のガイドシミュレーション (SIGGRAPH 2021)

*佐藤 周平 (富山大学 / プロメテックCGリサーチ), 土橋 宜典 (北海道大学 / プロメテックCGリサーチ), Theodore Kim (Yale University)

VC2021_SIGGRAPH_Simo-Serra

[46] General Virtual Sketching Framework for Vector Line Art (SIGGRAPH 2021)

Haoran Mo (Sun Yat-sen University), *Edgar Simo-Serra (Waseda University), Chengying Gao (Sun Yat-sen University), Changqing Zou (Huawei), Ruomei Wang (Sun Yat-sen University)

ニュース

  • 2021年11月26日 各賞の受賞者の写真を掲載いたしました.(詳細)
  • 2021年10月4日 VC + VCC 2021は盛況のうちに終了しました.各賞の受賞者についてはこちらをご覧ください.
  • 2021年9月17日 特別講演の情報を公開いたしました.(詳細)
  • 2021年9月14日 プログラムを公開いたしました.(詳細)
  • 2021年9月9日 企業招待講演で,Adobe Researchの齊藤淳氏にご講演いただけることになりました.(詳細)
  • 2021年9月3日 チュートリアルのパネルディスカッションで,スクウェア・エニックスの三宅陽一郎氏にご登壇いただけることになりました.(詳細)
  • 2021年8月24日 参加登録の受付を開始しました.(詳細)
  • 2021年8月23日 豪華講師陣によるチュートリアルの開催を決定いたしました.(詳細)
  • 2021年7月14日 VC + VCC 2021として開催すること,オンライン形式で開催すること,およびポスターの締切を8月31日(火)とすることを決定いたしました.(詳細)
  • 2021年4月1日 論文募集を開始いたしました.(詳細)

Twitter

Facebook

過去の開催

スポンサー企業

(c) VC + VCC 2021 運営委員会