博報堂アイ・スタジオと博報堂、 3DCG女子高生Sayaとの会話を通して AI技術を学ぶ授業「1日転校生Saya」を鎌倉女学院高等学校で実施
～超高精細3DCGでのリップシンクによる発話機能「Talk to Saya」を開発～
株式会社博報堂アイ・スタジオ(本社：東京都千代田区、代表取締役社長：神戸 純、以下 博報堂アイ・スタジオ)と株式会社博報堂(本社：東京都港区、代表取締役社長：水島 正幸、以下 博報堂)は、CGアーティストTELYUKAの制作する3DCG女子高生Sayaとの会話が可能となる機能「Talk to Saya」を開発しました。また、11月28日に学校法人鎌倉女学院高等学校にて「Talk to Saya」を使って、AI技術を学ぶことができる、高校生向け授業プログラム「1日転校生Saya」を実施いたしました。
AI技術を学ぶ授業「1日転校生Saya」
Saya Virtual Human Projectは、CGアーティストTELYUKAと博報堂ＤＹグループを中心メンバーとする、3DCGや自然言語処理などのテクノロジーで17歳の女子高生を再現する「バーチャルヒューマンプロジェクト」です。
2019年1月より博報堂アイ・スタジオが技術開発に参画し、このたび、TELYUKAが制作する超高精細3DCGでのリップシンクによる発話機能「Talk to Saya」を新たに付加することで、Sayaとリアルタイムに「会話」することが可能になりました。
■「Talk to Saya」リップシンクの仕組み：
1. マイクを通して生徒の声を取得
2. 音声データをテキストデータに変換(Speech to Text)
3. テキストデータを解析し返答文章を生成
4. 返答文章を音声データに変換(Text to Speech)
5. 返答文章および音声データを元に口の動きを生成
6. 生成した口の動きと音声データを組み合わせて発話
その結果、口の動きと声を限りなく人間の自然な動きに近づけることができます。
「1日転校生Saya」は、教室の大型ディスプレイや班ごとに与えられた小型デバイスを介して生徒たちがSayaとの質問・相槌などの会話を通して、AI技術の仕組みを知り、AIの成長プロセスに参加することで、バーチャルヒューマンと共生する未来の日常生活を体験し、AI技術の活用例を学ぶことができるプログラムです。
2019年11月28日に、学校法人鎌倉女学院高等学校の協力のもと、「1日転校生Saya」の体験授業を実施いたしました。Sayaが1日限りの転校生として2年生の生徒とともに「情報」の授業に参加し、生徒たちはAIとの会話体験「Sayaとトーク」をしたり、生徒の会話からSayaが思考し、その考えをSaya自身が発表する「Sayaの考えを聞いてみよう」などの体験を行いました。AI技術の基礎を学びつつ、複数のデモ体験を通じて最新テクノロジーを体験、複合的な技術の組み合わせによるバーチャルヒューマンの未来の姿を考える授業となりました。
当日の授業の様子
当日の授業の様子_2
博報堂アイ・スタジオおよび博報堂は、「1日転校生Saya」の普及を通じ、生徒・学生の皆さんの情報システムの理解促進、情報リテラシーの向上に貢献してまいります。また、SayaをはじめAI技術を活用したクリエイティブ開発についても積極的に取り組み、新たなビジネスを創出してまいります。
＜参考資料＞
■「Saya Virtual Human Project」について
最新のテクノロジーで、17歳の女子高生Sayaを3DCGで再現する共同プロジェクト。Sayaは石川晃之氏、友香氏の夫婦による3DCGアーティストユニットTELYUKAが生み出したキャラクターです。2015年にSayaをTwitterで公開し、「実写にしか見えない」と世界中で話題となりました。プロジェクトはSayaが人間と見分けのつかない完璧な見た目を持ち、自律して思考する存在となることを目指しています。初公開時は静止画でしたが、2016年には動きがつき、2018年には表情を認識できる「Emo-talk」*1機能を搭載し、アメリカ・オースティンで開催された「SXSW(サウス・バイ・サウスウエスト)2018」で公の場にデビュー・一般向けに体験ブースを出展するなど、進化と成長を続けています。
URL： http://www.sayaproject.com/
*1 「Emo-talk」とは
前に立った人物の表情をディープラーニング(深層学習)を用いてリアルタイムに解析を行い、体験者の感情を表情認識AIで推定します。その推定した感情に応じて、本物の17歳の女子高生のようにインタラクティブなコミュニケーションが可能。その一例として、見つめられると恥じらって目をそらし、大きな動きをされるとビクッとし、笑顔を向けられるとはにかんだ笑顔を見せてくれるといった様々な行動を、前後の文脈を加味し表現します。体験者の表情を認識し、反応する、非言語コミュニケーションを可能としています。
Emo-talk体験の様子
■博報堂アイ・スタジオについて
博報堂アイ・スタジオは、オウンドメディアを中心に、データを起点としたマルチタッチポイントでの顧客体験(CX)設計とUIデザイン、企画制作、テック活用、システム開発、PDCAマネジメント運用までをクロスボーダーで提供することで、クライアント企業の「ブランド創造」と「顧客創造」に貢献するデジタル領域のデジタルクリエイティブカンパニーです。
━━ 会社概要 ━━
【社名】 株式会社博報堂アイ・スタジオ
【所在地】 〒100-0006 東京都千代田区有楽町1丁目10番地1号
有楽町ビルヂング5階
【URL】 http://www.i-studio.co.jp/
【広報FB】 https://www.facebook.com/hakuhodoistudio.pr
【代表者】 代表取締役社長 神戸 純
【設立年月】 2000年6月
【資本金】 2億6,000万円
【事業内容】 インタラクティブ・クリエイティブ業務、システム開発業務、
CRM業務
