Serverless Operationsが北海道テレビの番組分析システムの内製開発を支援。AWSとAIを活用し、映像検索と視聴率分析を自動化

株式会社Serverless Operations（本社：東京都、代表取締役：堀家隆宏、以下「Serverless Operations」）は、北海道テレビ放送株式会社様（本社：北海道札幌市、以下「HTB様」）が推進する、AIを活用した番組分析システムの内製開発を技術支援しました。

本システムは、AIによる番組映像の自動解析・検索に加え、視聴率データとの照合や日次レビュー作成を自動化するものです。これにより、従来の手作業に伴う業務負担を軽減するとともに、映像素材の検索効率向上と、より詳細な番組分析を可能にしました。

Serverless Operationsは、AWSを活用した技術選定やシステム設計を支援し、HTB様主体でのシステム開発を実現するための技術的な基盤づくりに貢献しました。

HTB様では、オンエア済みの番組映像を活用した企画検証や視聴率分析において、映像素材の検索やデータ照合に多くの時間を要していました。テレビ局にとってオンエア済みの番組映像は今後の企画のための振り返りを行なうための重要な資産です。その中で、どのシーンでどのくらいの視聴率が取れているかを知ることは非常に重要であるにも関わらず、必要なシーンを探すには手作業で同時録画された映像内を探すしかありませんでした。また、映像と視聴率データは別々で管理されているため、それらを関連付けた分析にも多大な負担がかかっていました。

特に過去の映像を参照する際は、アーカイブ室に保存されているテープから必要な映像を確認する作業が必要でしたが、担当者の記憶を頼りに該当素材を探すことになるため、特定のシーンを探し出すのに多くの手間がかかっていました。こうした課題を解決するため、Serverless Operationsの支援の元、HTB様はAWSと生成AIを活用し、番組映像の自動解析から視聴率データとの統合、映像検索までを実現する新たなデータ分析基盤を内製開発しました。

これらの課題を解決するために自局のオンエア映像をマルチモーダルLLM（画像、音声、動画といったテキスト以外の情報を直接入力・統合して理解し、推論・出力ができるAIモデル）で自動解析し、視聴率データと統合してAmazon OpenSearch Serviceに蓄積、検索できる番組分析システムをAWS上に構築しました。各区間に分単位の視聴率推移を紐付けシーンごとの素材を検索することが可能です。画面では映像再生と視聴率推移を同時に確認でき朝・夕方の情報番組で日次稼働しています。

従来、過去の映像を探すにはアーカイブ室のテープを担当者の記憶を頼りに確認する必要がありましたが現在はキーワードを入力するだけで自局の過去素材を横断検索し、その場で映像をプレビューできます。番組名や放送日を覚えていなくても断片的な言葉や意味の近い表現から目的のシーンにたどり着けるため、担当者以外でも素材を探せるようになりました。また、映像を再生しながら分単位の視聴率推移を同じ画面で確認できるため「どの話題やシーンで数字が動いたか」を直感的に把握できるようになりました。

以下の構成図は本システムのアーキテクチャを示したものです。本システムの特徴は赤枠で示した「Pre-processing（前処理）」の部分にあります。

Amazon S3にアップロードされた動画ファイルに対し、AWS Step Functionsを用いて処理を制御し、生成AIサービスであるAmazon BedrockおよびGoogle CloudのGeminiを活用して、検索可能なデータ形式へと変換します。変換したデータは検索エンジンサービスであるAmazon OpenSearch Serviceに登録されます。これにより、自然言語を用いた番組横断的なシーン検索に加え、各シーンと視聴率データを紐付けた分析が可能になりました。

Pre-processing（前処理）を具体的に掘り下げると以下のようなワークフローが組まれています。

Context Processor
アップロードされた番組動画と視聴率データをロード、番組動画は分刻みに分割します。Gemini Pro3を使いシーン毎の区間の境界・種別・コーナー名・タイトル・要約を抽出、さらに時間をキーとして分刻みに分割されたシーンに視聴率データをマッピング。厳密に定義したスキーマのJSONで出力します。

Screenshot/Thumbnail Generator
各シーンの検索結果に表示するサムネイルをOpenCVを使って切り出します。Geminiで取り出した映像情報の中間地点をキャプチャとして取得し、Amazon S3にアップロードします。

Vectorizer
1のContext Processorで抽出した音声情報とサムネイルをAmazon BedrockのAmazon Titan Embbeting Text V2モデルを利用してベクトル化、自然言語で各シーンを音声情報から検索できるようにします。

Insert Data
加工したデータをAmazon OpenSearch Serviceに投入します

Context Processorでは生成AIによる映像解析の精度を高めるための処理を行っています。

生成AIによる映像解析では、番組内のコーナーの開始・終了時刻がずれたり、必要な情報が抜け落ちたり、実際の映像とは異なる内容が生成されたりすることがありました。そこでAIが生成したデータを検証し、問題があれば修正する仕組みを構築しました。

具体的には各シーンの開始・終了時刻に矛盾がないか、必要な情報が揃っているかといった明確なルールで判断できる項目はプログラムによって自動的に検証します。一方、映像の要約が適切かどうかなど、単純なルールでは判断が難しい項目については生成AIを活用して検証しています。

この一連の処理には、LLMを活用したワークフローを構築できるフレームワーク「LangGraph」を採用しています。Context Processor内では、動画の読み込み（Load）→ 解析（Analysis）→ 検査（Audit）→ 修正（Repair）→ 再検査（Audit）→ 結果出力（Report）というワークフローを構築し、検査フェーズでは複数の評価ルールを設け、あらかじめ定めた合格基準を満たすまで「修正（Repair）→ 検査（Audit）」の処理を繰り返します。

これにより生成AIの出力結果を段階的に改善し、精度の高いデータを生成できるようにしています。また、修正が必要な場合も映像全体を最初から解析し直すのではなく問題のある区間だけをキャッシュし再解析することで処理コストの抑制も図っています。

プログラムによる自動検証と生成AIによる内容の評価を組み合わせ検査と修正を繰り返すことで、処理コストを抑えながら映像解析の精度と信頼性を高めています。

今回のプロジェクトでは、HTB様が主体となってシステムの内製開発を進め、Serverless Operationsが技術面から支援しました。特に評価いただいたのが技術選定とシステム設計に関するアドバイスです。将来的な機能拡張も見据えたデータベースやシステム構成の選定に加え、LLMによる映像解析の精度向上についてもLangGraphを活用した具体的な改善アプローチを提案しました。

生成AIを活用したシステム開発では、その特性上必ずしも期待どおりの結果が1回で得られるとは限りません。そのためプロンプトの改善やデータ構造の最適化、ワークフローの設計、生成AIへの制約条件の設定など、様々なアプローチを組み合わせながら試行錯誤を重ねる必要があります。HTB様からは、こうした場面で専門的な視点からアドバイスを得られたことで、試行錯誤の方向性が明確になり開発をスムーズに進められたとの評価を頂いています。

AIエージェントをアプリケーションに組み込み、ユーザーにとってより価値の高いプロダクトを提供するためには生成AIの特性や出力品質を十分に理解しそれらを踏まえた適切なシステムアーキテクチャを設計することが重要です。Serverless Operationsでは、AWSを中心としたさまざまなAIアプリケーションの開発実績と、そこで培った技術的なノウハウを有しています。今回のHTB様の事例のような内製開発支援はもちろん、要件定義から設計・実装までを担う受託開発にも対応しています。

AIアプリケーションの開発や既存業務への生成AIの導入をご検討の企業様は、ぜひお気軽にお問い合わせください。 お客様の課題や開発体制に応じて最適なアプローチをご提案しAIを活用した業務改革や新たな価値の創出を支援してまいります。

▼導入事例の詳細は以下より参照頂けます
https://serverless.co.jp/works/8qlor_9yl_8/

【会社概要】
会社名：株式会社Serverless Operations
所在地：東京都渋谷区千駄ヶ谷3丁目51番10号
代表者：堀家隆宏
設立：2018年11月26日
URL：https://serverless.co.jp

株式会社Serverless Operations は「企業を支えるパートナーとして未来の成長の礎を作る」という理念の元、主に企業のAX, DXを目指すお客さまにAIやAWSクラウドの活用・導入支援を行っています。デジタルテクノロジーを戦略的に活用して、企業の競争力と成長を促 進するためのご支援を提供しております。

【お客様から及び本リリースに関するお問い合わせ先】
info@serverless.co.jp 担当；堀家