動画では、「Mei」というオリジナルキャラクターが登場するが、「3D描画モジュールはフリーの3Dソフトウェア「MikuMikuDance」と高い互換性をもっています」「つまりユーザーは自分の好きなキャラクターとの会話を楽しむことができるのです」とのことで、なんとMikuMikuDanceの「初音ミク3Dモデル」を使用したグラフィックスおよび「初音ミク」の音声に切り替えた例が提示。初音ミクとのインタラクティブなコミュニケーションという夢のような体験が、もうすぐ可能になることは疑いようもない事実のようだ。
ちなみに、「MMDAgentはオープンソースソフトウェアから構成されており、本ツールキットもフリーソフトウェアとしての配布を予定」だそうで、一般には「2010年秋のCEATECではビジネス&ソサエティゾーンで公開します」とのこと（なんと、「等身大のデジタルサイネージ用大型ディスプレイに組み込んだ本システム」として公開らしい）。初音ミクは「科学の限界を超えた存在」ではあるが、いったいどれだけのキセキを起こせば気がすむのか…という感じでつな＾＾
＞【MMDAgent】初音ミクとおしゃべりできるソフトをつくってみた
＞名古屋工業大学 国際音声技術研究所「音声インタラクションシステムMMDAgent?あの3Dキャラクターとおしゃべり！?」
名古屋工業大学国際音声技術研究所（代表：徳田恵一）はこの度、一般的なPCで動作可能な音声インタラクションシステム構築ツールキットMMDAgentを試作いたしました。MMDAgentを用いて構築されたシステムにより、ユーザーは画面上のキャラクターと、それがまるで生きているかのような会話を楽しむことができます。
MMDAgentは音声認識・音声合成・キャラクター表示・音声インタラクション制御などの要素技術を結集したソフトウェアツールキットで、次のような特徴を有しています。
(1) 当研究所で長年にわたり開発・公開している音声合成ツールキットHTS、音声認識エンジンJulius他をベースに独自開発した最先端の音声合成・認識技術を高度に統合しており、高速で高精度、かつ表情豊かな会話を実現可能。
(2) キャラクター表示部は、OpenGLを用いた3次元による高度な描画機能を有しており、トゥーンレンダリングやシャドウマップ法を駆使したリアルな3D描画、物理エンジンを用いたリアルな表現が可能。
(3) 音声インタラクション制御部は、様々な内部状態や外部イベント（音声入力等）に呼応した、細やかかつ豊かな音声対話シナリオを、専門知識無しに記述することが可能。
(4) オープンソースのソフトウェアとして公開予定。各種モデル等のデータ形式はオープン仕様となっているため、キャラクターの3Dモデル・モーション・声だけでなく対話シナリオに至るまで、自在にカスタマイズしたり、既存モデルやデータを利用したりすることができる。
なお、等身大のデジタルサイネージ用大型ディスプレイに組み込んだ本システムを、10月5日から幕張メッセで開催されるCEATEC Japan 2010に出展いたします。ご来場の皆さまには実際にキャラクターとの生き生きとした会話を楽しんでいただけます。名古屋工業大学国際音声技術研究所は、名古屋工業大学大学内に設置されたプロジェクト研究所であり、同大学の徳田・李研究室が中心となって音声言語処理に関する国際的な研究プロジェクトに取り組んでいます。音声技術に関連したトップレベルの研究成果をオープンソースソフトウェアの形で積極的に公開し続けています。
【応用例】
・デジタルサイネージ
・エンターテイメント
・受付案内システム
・プロモーション
＞CEATEC JAPAN 2010
＞CEATEC JAPAN 2010「名古屋工業大学 国際音声技術研究所」
追記
ITmediaの記事になったようなのでメモ。それによると、名古屋工業大学は、楽譜を入力するだけで自然な歌声で歌い上げる歌声合成技術「Sinsy」を発表したところのようだ。MMDAgentの場合には、リアルタイム音声認識のために「Julius」、感情表現を付加しつつ音声合成を行う「HTS」、テキスト音声合成技術の「Open JTalk」が使用されているようだ。さらに、「3D描画技術はOpenGLベースで、MikuMikuDance（MMD）と高い互換性を持ち、モデルおよびモーションデータをインポート可能」となっているもよう。
＞ITmedia「初音ミク、エージェントになる？――名工大「MMDAgent」がもたらす未来」
＞スラッシュドット「初音ミクとおしゃべりできる音声インタラクション構築ツールキット」
追記
オリジナルキャラクターの「メイちゃん 公式ウェブサイト」が出来ているそうなのでメモ。
＞メイちゃん 公式ウェブサイト
関連ページ
＞データ生成も可能な歌声合成システム「Sinsy」公式サイトがオープン
[初音ミク-音楽] 2010/09/22(水) 00:53:29
| ニュース
| コメント：1