にせねこメモ

はてなダイアリーがUTF-8じゃないので移ってきました。

アドリブ系アニメとリアルタイムアニメの系譜を考える

アニメ

アドリブをメインとして据えたアニメ作品や、リアルタイム的にセリフと動きを同時に収録して行くような感じの作品・番組について、誰もまとめてくれないのでメモがてらまとめてみる。あんまり詳しくないので詳しい人の解説を待ちたい。各作品について、詳しいことはWikipediaとか見て。
人名については敬称略とした。

年表

f:id:nixeneko:20170504201856p:plain
青がアドリブ系、ピンクがリアルタイムのものを示している。
いちおう監督や制作団体で区分してみているが、相応しい区分ではないかもしれない。
点線はその区分の間でも繋がりがあることを示すためにつけてみた。

最近人気の『けものフレンズ』を制作したヤオヨロズは直球表題〜てさぐれ〜みならいディーバに関わっていて、その後けものフレンズへとつながる流れである(『けもフレ』が誕生の話と、つんく♂との驚愕の関係!? | アニメイトタイムズ)。

ビーストウォーズ

アドリブを主軸としたものではないが、もともとのアニメの日本語化にあたってずいぶんなノリの変更が行われたらしく、アドリブも取り入れられて、大元は真面目なアニメなのに日本版は半分ネタアニメみたいな感じになってしまったらしい。
最初の方割と真面目だけど後の方になるにつれてどんどんアドリブや下ネタが増えていったとか。
絵も3DCGだし、後のアドリブ系アニメに対して影響を与えている気がする。

無印はYouTubeで無料で見れるぽい。
www.youtube.com

gdgd妖精s, なりヒロｗｗｗ

  • 1期: 2011年10-12月
  • 2期: 2013年1-3月
  • 劇場版: 2014年9月
  • なりヒロｗｗｗ: 2014年10-12月
  • 監督: 菅原そうた

MMDっぽい感じの3DCG映像で制作されている。映像を見ながらそれに対し声を当てて行くなどのアドリブのコーナーがあった。

本編は、妖精たちが各話のテーマに沿ってテーブルトークを行う「gdgdティータイム」、魔力が増幅される空間で妖精たちが魔法で何かを呼び出して遊ぶ「メンタルとタイムのルーム」、湖面に映し出される異世界の一場面を見ながら適当にセリフを当てる「アフレ湖（アフレコ）」の三部構成となっている

gdgd妖精s - Wikipedia
1期:

www.nicovideo.jp

2期:

www.nicovideo.jp

なりヒロｗｗｗ

劇場版gdgd妖精sで、なりヒロｗｗｗが同時上映され、その後地上波でも放送された。
なりヒロｗｗｗの方は本編では基本アドリブパートはない。（4話から、次の「ヒロイン検定」コーナーが本編に加わったとのこと）
www.nicovideo.jp
配信限定のおまけ動画「ヒロイン検定」にてgdgd妖精sっぽいアドリブのネタ振りが行われている。
www.nicovideo.jp

リンク

直球表題ロボットアニメ

  • 2013年2-4月
  • 監督: 石舘光太郎, アニメーション監督: cort

gdgd妖精sと近い感じ。MMDで制作されている。見てなかったのでWikipediaの解説を掲載する。

流れとしては、監督の石舘光太郎が携わった『gdgd妖精s』のような「脚本によるトークパート」、「映像を中心にしたパート」、「声優がその場で出されたお題に対してアドリブで感想を入れる大喜利パート」（本作では声優がモノボケを実践する）という3パートで構成されている。音声収録に関しても同様にプレスコで、モノボケパートはボケについて事前打ち合わせ+スケッチブックに各人が描いたイラストを使ってのアドリブ方式となっている

直球表題ロボットアニメ - Wikipedia

www.nicovideo.jp
また、こちらにも詳しい。
『直球表題ロボットアニメ』はこうして作られた！ スタッフに聞く！ | アニメイトタイムズ

リンク

てさぐれ！部活もの, てさプル

  • 1期: 2013年10月 - 12月
  • 2期: 2014年1月 - 3月
  • 3期: 2015年4月 - 6月
  • 監督: 石舘光太郎/石ダテコー太郎, アニメーション監督: たつき

タイトルに部活ものとあるように、新しい部活動を考えるというメタい部活「てさぐり部」を舞台に繰り広げられる、部活動に関するメタいネタを出していくアニメ。日本テレビで放送されていた。3DCGソフトはCinema 4Dを使用している*1。

www.nicovideo.jp

3期は漫画作品『みならい女神 プルプルんシャルム』とのコラボで、もともと超A&Gで夜8時から放送されていたLady GO!!というラジオ番組の1コーナーで、セリフが空になっているプルプルんシャルムの一コマに対しリスナーから吹き出しに入るセリフを募集し、それを読み上げるということをやっていたということもあり、プルプルんシャルム側としてLady GO声優5人が参加している。
www.nicovideo.jp

リンク

みならいディーバ（※生アニメ）

NOTTV*2で毎週放送されていた。モーションキャプチャにより声優さんがリアルタイムで声と振りをつけるという生放送アニメ作品。りえしょんがりえしょんなので見て。

キャラは音声合成プログラムという設定で、持ち歌がないから自分たちで曲を作ろうということでリアルタイムで番組内で作詞をしていき、最後に出来上がった歌を歌うという流れ。
最初に曲が流れ、歌詞ネタをTwitterなどで募集し、それを元にネタをどんどん出して行って、音楽担当のGhost Writer (こと井上純一)がそれを歌詞にまとめて、最後にキャラ2人が歌うという結構多方面に大変そうな感じ。
www.nicovideo.jp

モーションキャプチャには、ディー・バイ・エル クリエイション（当時）によるDL-EDGEという慣性式モーションキャプチャシステムが使われた。
フェイシャルは8種のベースとなる表情を設定し、口をマイク音声を解析して動かしているとのこと。特別な表情操作はゲームパッドによる入力*3。

腕を下ろすとスカートなどの裾に手がめり込んでしまうので、それを物理的に避けるために浮き輪を付けていた。ライブでは浮き輪が客席に投げられたリしてた。

スタッフのニコ生で聞いたと思うのだが、モーショントラッキングスーツ（システム？）が一人分数百万するとか言ってた気がする…。

一話でルーリーのシステムがダウンしてしまい、キャラが3Dモデルの初期状態である両手をまっすぐ横に広げたTポーズで固定されるトラブルがあった。
最終回はライブを行った*4。
最終話の後、2014年12月21日にクリスマス生ライブが行われ、途中でルーリーのシステムがダウンしてしまい、図らずも1話を再現した感じになって面白かった。また、ライブで歌った音源をUSBメモリに焼いてお土産として配るという試みもあった。*5

リンク

魔法少女？なりあ☆がーるず

魔法少女もののアニメをつくることがテーマとなっている。
金曜夜9時から、モーションキャプチャを用いてリアルタイムでアニメーションを作っていく様子『生でアニメをつくるさま』がニコニコ生放送で配信され、翌週水曜日にそれを編集してアニメ作品としてまとめたものがTokyo MXなどで放送されるという2段階の構成となっている。

ニコ生版:
www.nicovideo.jp
テレビ放送版:
www.nicovideo.jp

モーションキャプチャシステムとして、みならいディーバでアニメーション監督を務めていたcortなどが開発に関わっているKiLAが利用されている。

リンク

直感×アルゴリズム♪

  • 2017年7月-10月
  • Docomoと中国の咪咕文化の共同プロジェクト
  • 中国・日本同時生放送
  • 1回30分で、1/3程度が生パートとなっている。
  • 言語は日本語と中国語が併用されている。
    • Kilinが日本語、Xiが中国語のみを話し、BunnyPというキャラがその間を通訳するという形になっている。
  • モーションキャプチャシステムはセガ・インタラクティブのDL-EDGE

NOTTVを運営していたのがNTTドコモの子会社なので、みならいディーバとのつながりが感じられるが、制作スタッフは変わっているっぽい。
中国で放送する都合もあり、安定して通信できるようにしたり、向こうの検閲に引っかからないよう調整するのが大変だったらしい。
2017年12月現在、全話ニコニコチャンネルで無料で見れる。
www.nicovideo.jp

リンク

アドリブアニメ研究所, ヴォイス・アカデミア

アドリブアニメ研究所

BSフジで放送されていた声優バラエティ番組。加藤英美里と福原香織の2人*6がメインの出演者として、毎回ゲスト一人を迎えて行っていた。
アニメ作品ではないのだが、カードによるお題や指示（無茶振り）に従ってアドリブで音声収録をしていき、最後にそれを短くまとめたものにアニメーション（Flashアニメのような感じ）がつけられたものを最後に流すという流れで、アドリブを主体にしている。
gdgd妖精sと同時期に始まったのが面白い。

ヴォイス・アカデミア

ヴォイス・アカデミアはアドリブアニメ研究所の後番組で、加藤英美里と福原香織の2人とゲスト声優が吹き出しが空白になっているイラストや漫画に自由に声を当てていく感じで、大喜利感が強い。

リンク

こちら娘島高等学校ほーそお部（こちむす）

  • 2014年3月-2016年4月?

DeNAとMUGENUPによる、Showroomで放送されたライブアニメーションによるリアルタイムコミュニケーション番組。Showroomでは視聴者のコメントが表示され、そのコメントに対して反応したり、リアルタイムでコミュニケーションするという感じの番組がストリーミング配信されていて、この番組は映像として人ではなくキャラクターが出ているという感じ。

YouTubeチャンネルがあったのだけれどいつの間に消えてしまって、放送時を垣間見れる動画はネット上では見れなくなってしまったっぽい。
www.youtube.com

リンク

えぬすて！

  • 2014年9月-2016年6月?

こちむす同様のシステムによる、DeNAとMUGENUPによるShowroomで放送されたライブアニメーションによるコミュニケーション番組。
見てなかったのでわからないのだが、放送を垣間見れる動画がいくつか残っているようだ。
www.youtube.com
www.youtube.com

リンク

KizunaAI

  • 2016年12月-

バーチャルYoutuberのさきがけ。人工知能*8であるキズナ アイがYouTubeに動画をアップロードしている。基本収録・編集した動画をアップロードしているが、時々生配信もやっているらしい。
www.youtube.com
www.youtube.com

慣性式モーションキャプチャか? 表情はプリセットから選択とかで、口は音声入力によるリップシンクとかだと思う。

KiLAチームはすでに
(略)
チャンネル登録者数60万人越えのバーチャルYoutuberへの技術提供。
等々、他の追従を許さない圧倒的な実績と技術とノウハウを持っております。

6月28日~30日に開催されるコンテンツ東京にKiLA出展します | Kigurumi Live Animator [KiLA]

とあるので、恐らくKiLAは使ってる模様*9。

インタビュー記事もあるので参考に:

リンク

Hop Step Sing!

  • 2015年10月- (生放送2017年07月-)

講談社が主催するバーチャルアイドルプロジェクト。楽曲の全天球PVなどを公開していた。HMDなどを使って実際に体験できるPVがSteamなどで販売されている。
最近YouTubeを利用した全天球パノラマVR生配信を始めた。(ニコニコ動画でも同時配信しているが、そちらは普通にカメラをスイッチングしている)。生放送時のモーションキャプチャ等のシステムはKiLA。
youtu.be

リンク

虎妮 Hoonie

台湾のYahooTVチャンネルで活動している。主にゲームの配信をしてるっぽい。
日本語の紹介記事があった: 台湾版キズナアイ！？ バーチャルYahooTVer『虎妮 Hoonie』登場 【とらフレ】 | 中国アニメブログ ちゃにめ！

リンク

あんたま(岩本町芸能社)

Twitterのフォロワーが10000超えしたらデビュー決定みたいな企画で夏コミの時に(悪い意味で)話題になっていたが、無事CDデビュー決まったみたいで、よかった。
www.youtube.com

イベント(http://rbc-geino.com/2017_christmas_party/ (魚拓))のクリスマスプレゼント送付先の住所をみると、宛先の岩本町芸能社はForces11と同じビルの同じ階にあるようだ。

リンク

PROJECT MariA

  • 2017年8月-? (CEDEC 2017で初披露)
  • VRアイドル
  • Happy Elements Asia Pacific社による。
  • 現実の会場でキャラクターとのリアルタイムなインタラクションが可能
  • モーキャプは光学式モーションキャプチャ(OptiTrack Prime)とUnityによる。システムは自社開発。
  • 表情制御は、オペレーションスタッフの表情を解析して連動させていて、さらに音声データを解析してリップシンクをしている。決め顔がプリセットされていてキーボードのボタンを押している間だけ切り替えることができる*10。
  • 手は現状プリセットの形をキーに割り当てているらしい
  • CGWORLDの記事を読むと、声優とモーションアクター、表情制御は別々の人がやっているようにも読める。

参考: ヴァーチャルアイドルとコール＆レスポンス!? Unityを活用したリアルタイムLIVE「PROJECT MariA」 | 特集 | CGWORLD.jp

www.youtube.com

リンク

2017年11月頃～: バーチャルYouTuber群雄割拠時代

これは、誰かほかの人がまとめてくれるでしょう。
企業がやっているものと並んで個人でも参入する例があり、レッドオーシャンと化してきた気がする。

モーションキャプチャ技術について

リアルタイムアニメに関連して、モーションキャプチャなどのシステムについても書いておく。
モーションキャプチャには幾つかの方式がある。

光学式

おそらくスタジオとかでは一番使われてるのではないかと思う。
赤外線ライトとハイスピードカメラがセットになったカメラユニット(数十万〜100万円くらいするっぽい)を演者を取り囲む様にいくつか設置し、再帰性反射材のマーカーをたくさんつけたスーツを着た演者がそこで演技を行う。マーカー位置をトラッキングし三次元的に座標を復元することでそれぞれのマーカー位置を取得する。
カメラユニットは少なくとも3台必要だが*11、人に対してマーカーが付いているためマーカーが設置したカメラから死角となってしまうことがあり、この死角(オクルージョン)の問題に対処するため普通はさらに多くのカメラが設置される。
また、複数人についてもオクルージョンの問題があるため同時に収録することが難しい。
さらに、カメラを固定して設置してキャリブレーションを行う必要があり、正確ではあるが、リアルタイム性とポータビリティに欠ける。

慣性センサ式

体の各部に慣性センサー（ジャイロセンサー、加速度センサーなど）をつけ、それらのセンサの値を累積計算して現在の位置を測定する。絶対位置を取得できるわけではないので、最初にキャリブレーションを行う必要がある。またしばらく動かしていると誤差が蓄積し、実際の位置とシステムによって認識される位置がずれてきてしまうので、それを直すために頻繁なキャリブレーションが必要となる。
精度は光学式に比べて低いが、慣性センサ式においてはオクルージョンの問題は発生しない。またカメラを利用しないため屋外などの光環境が一定しない場合でも使え、スーツなどの形にまとめてしまえばポータビリティも高い。

ビデオ式

カメラ映像をコンピュータビジョン的アプローチによって解析し、三次元的な情報を得るというもの。Kinectもこの方式。

Kinect

Kinectは、取得した距離画像から、機械学習的アプローチによって姿勢を推定しているらしい。
特殊なマーカーをつけたり専用のスーツを着用したりという必要がなく、セットアップも大掛かりにならないので手軽である。一方で、カメラの視界に入ってないとトラッキングできない(障害物に弱い)などの弱点がある。

FaceShift Studio

顔の表情の取得・トラッキングについても、ビデオベースで、結構な精度で行えるものがあり、その一つがFaceShift Studioである。動作にはKinectなどの深度カメラを必要とする。

Live2Dと組み合わせてリアルタイムにキャラの顔を動かすデモが話題になった。
www.youtube.com

その他

Wikipediaによると、他にも機械式や磁気式といった方式があるらしいが、省略。

リアルタイムアニメCGシステムについて

アニメ調のキャラになりきってリアルタイムにモーションがつけられるようなシステムを挙げる。多分抜けがあると思う。

DL-EDGE

ディー・バイ・エル クリエイション（当時）によるモーションキャプチャ・映像出力システム。演者が慣性式センサを搭載したモーションキャプチャスーツを着て演技をすると、3DCGのキャラクターがそれに合わせて動く。
みならいディーバで採用。

ちなみに株式会社ディー・バイ・エル・クリエイションの事業は株式会社セガ・ライブクリエイションに2016年9月に移されているとのこと。また、株式会社セガ・ライブクリエイションは香港企業に売却され、2017年1月にCAセガジョイポリスと名前を変えている。
2017年8月現在、DL-EDGEは株式会社セガ・インタラクティブのものであるらしい。

リンク

KiLA

みならいディーバなどでアニメーション監督を務めていたcort、およびほえたんによって開発された、リアルタイムでモーションキャプチャによってアニメ風の3DCG映像を作り出すシステム。
なりあ⭐︎がーるずで採用。
www.youtube.com

開発時の動画

www.nicovideo.jp
www.nicovideo.jp
これを見る限りUnity上で動いてるっぽい。

リンク

FaceRig+Live2D module

FaceRigという、顔のトラッキングしてCGキャラクターに表情を反映した映像を出力するソフトに、アニメやイラストらしい見た目で半立体的な動きの表現ができるLive2Dのモデルが読み込めるモジュールを組み合わせたもの。
www.youtube.com

  • Steamで購入できる
  • FaceRigが顔のトラッキングを行う
  • Live2Dがアニメやイラストらしい表示部分を担当
  • 顔以外の、手などのトラッキングには対応していない
リンク

最後に

コンピュータの高性能化や3DCG技術の発達、およびMMDの登場の影響などもあり、かなり短い期間でもそれなりの映像がつくれるようになった。このことが、アドリブを主体としたCGアニメの興隆のキーとなったと思う。また、モーションキャプチャ技術の高性能化やコモディティ化によりそれをリアルタイムで行おうという試みが出てきた。そのような方向性で、これからもどのような作品が作られるか注目していきたい。

間違いの指摘や情報提供お待ちしております。
(2017-12-24 キズナアイ以降を追記)

*1:同じくヤオヨロズ制作の『けものフレンズ』もCinema4D.

*2:NOTTVも無くなりましたね。

*3:『CGWORLD』2014年9月号, vol.193. ワークスコーポレーション. pp.56-59.

*4:気づいた時には遅かったので行けなかった

*5:おみや付きのチケットは数が限定されてて、抽選だった。ところで、サイン入りのカラーボールが投げられてたんですけど、目の前の席の人が二人分キャッチしてて強かった、一つ分けてほしい…

*6:かと*ふくも活動終了してしまいましたね…寂しい。

*7:『CGWORLD』2014年6月号, vol.190. ワークスコーポレーション. pp.48-49

*8:自称

*9:ちなみに、KiLAが対応している慣性式モーションキャプチャシステムのPerception Neuronは、ファームウェアの設定を変えないとジャンプが反映されない(地面にくっついたままになる)と聞いたことがある。

*10:『CGWORLD』2017年9月号, vol.231. ボーンデジタル pp.74-79

*11:三次元位置を復元するには一つのマーカーが同時に3つのカメラから見えている状態でないと精度が出ないらしい。