エヴィクサー、音響透かし・特徴量マッチングに加えて 新たに音声認識を組み合わせた舞台字幕の同期技術を開発

エヴィクサー株式会社(本社：東京都中央区、代表取締役社長 CEO：瀧川 淳、以下 エヴィクサー)は、舞台・演劇の字幕サービス向けの機能充実を図るため、当社の音響透かし技術と、音の特徴量を照合する特徴量マッチング技術に加えて、セリフを自動で認識する音声認識技術を組み合わせた、新たな字幕同期技術を開発しました。本技術は、当社が提供する「HELLO! Theater」「HELLO! MUSEUM」、および子会社のハロームービー株式会社が提供する「HELLO! MOVIE」に順次搭載する予定です。

エヴィクサーの新技術のイメージ

■ 背景

生の舞台は、同じ演目でも公演ごとにテンポやセリフの間合いが変わり、生演奏・生歌唱の場面では演奏の速さも毎回異なります。エヴィクサーはこれまで、舞台音響に人の耳には聞こえにくい音響透かしを埋め込み、その信号から上演の進行位置を特定して字幕を表示する仕組みで、2018年から大規模なミュージカル公演などに字幕サービスを提供してきました。音響透かしは、事前に用意した効果音やBGMなどに埋め込むため、生演奏・生歌唱の区間や、BGMのないセリフだけの場面には入れることができません。そのため、こうした区間や公演ごとの揺らぎが大きい場面では、字幕のタイミング調整に運用上の工夫が必要でした。

■ 技術の概要

本技術は、役割の異なる3つの技術を組み合わせます。

・ 音響透かし：舞台音響に埋め込んだ信号から、上演のどの場面かを確実に特定します。

・ 特徴量マッチング：音の高さ(音程)などの特徴量に着目して、事前に登録した音(稽古時の録音など)と会場の音を照合します。音量や音色、会場の響きの違いに左右されにくく、幕開けが生演奏の場合でも、その始まりを捉えて字幕の起点をそろえる「頭合わせ」に使います。

・ 音声認識：上演中の俳優のセリフを自動で文字に起こし、台本と照合して、いまどのセリフが話されているかを特定します。BGMのない芝居の場面でも、セリフの間合いの変化に合わせて字幕を送ります。

3つを組み合わせることで、場面の特定は音響透かしで確実に行いながら、幕開けの頭合わせは特徴量マッチングで、セリフの区間のテンポや間合いの揺らぎは音声認識で追従し、生の舞台でも、お客様のスマートフォンやスマートグラスに字幕を自然なタイミングで表示します。

■ 主な特長

1. 幕開けが生演奏の場面や、BGMのないセリフの場面でも字幕を合わせられる

2. 公演ごとのテンポ・間合いの変化に自動で対応(オペレーターの手動送りの負担を軽減)

3. 既存の音響透かしの設備・運用を活かしたまま導入可能

4. 本技術では、表示する字幕は事前に用意・監修した字幕(翻訳字幕を含む)のまま。音声認識はタイミング合わせに使い、認識結果をそのまま表示するものではありません

■ 特許について

エヴィクサーは、上演中に流れる音から「同期ポイント」を検出し、予定のタイミングとのずれを補正して字幕などを再生する技術について、日本・米国・中国・韓国・香港で特許を取得しています。これらの特許では、同期ポイントの位置とは独立に字幕の表示タイミングを設定でき、上演のテンポが変わっても、検出したずれに合わせて字幕の開始タイミングを補正できます。さらに日本では、同期ポイントを音に埋め込んだ透かしだけでなく、音から抽出した特徴量によって検出する構成についても権利化しています。本技術は、これらの特許に含まれる「音響透かし」と「音の特徴量」による2つの検出方式を生の舞台の字幕同期で実用化し、さらに音声認識を組み合わせたものです。

■ 今後の展開

本技術は「HELLO! Theater」「HELLO! MUSEUM」「HELLO! MOVIE」に順次搭載し、ミュージカル・演劇・コンサートなど、生演奏や即興性の高い公演への字幕・ガイド提供を広げていきます。

■ サービス概要

・ HELLO! Theater https://hellotheater.info/

エヴィクサーが提供する、舞台・演劇・ミュージカル向けの字幕ガイドアプリ。電波を使わない音響通信方式で、舞台機構と干渉することなく、お客様のスマートフォンやスマートグラスに字幕を表示します。2025年8月に正式リリース(iOS／Android)。

・ HELLO! MUSEUM https://hellomuseum.info/

美術館・博物館・展示施設向けの汎用ガイドアプリ。音声ガイド・字幕・多言語対応を手軽に導入できます。

・ HELLO! MOVIE https://hellomovie.info/

子会社のハロームービー株式会社が運営する、映画のバリアフリー上映向けアプリ。音声ガイド・字幕ガイド・副音声を、公開初日からすべての映画館でスマートフォンやスマートグラスで利用できます。累計100万ダウンロードを突破(2026年10月)。

■ エヴィクサー株式会社について

音響分野のディープテック企業。音響識別技術(音響透かし・音響フィンガープリント)を中核に、映画・舞台のバリアフリー字幕・音声ガイド、音響連動グッズ、音声・動画コンテンツの真正性証明などのソリューションを提供しています。

代表者： 代表取締役社長 CEO　瀧川 淳

所在地： 東京都中央区新川1-17-22 松井ビル1階

URL　 ： https://www.evixar.com/