記事一覧に戻る
guide··Rabbitpair

字幕なし動画にAIリアルタイム字幕を自動生成する方法|DualPiP + Deepgram 設定ガイド

#ASR#リアルタイム字幕#音声認識#Deepgram#Chrome拡張#ピクチャーインピクチャー#語学学習#自動字幕

字幕のないオンライン動画にAI字幕を自動生成するには?

多くのオンライン動画には字幕がないか、プラットフォームが自動生成した低品質な字幕しかありません——句読点が不正確で、文の区切りも不自然です。DualPiP 1.7.0のASR(自動音声認識)リアルタイム字幕機能は、あらゆるWeb動画に高精度なAI字幕をリアルタイムで自動生成しますピクチャーインピクチャー(PiP)ウィンドウ内に完全表示され、学習モードAI翻訳と完全統合されています。

DualPiPのASRはブラウザ内の動画音声ストリームをキャプチャし、Deepgramなどの音声認識サービスにリアルタイムで送信してテキスト化し、タイムスタンプ付きの字幕を動画上にオーバーレイ表示します。動画にネイティブ字幕があるが品質が悪い場合は、DualPiPの字幕検索機能でOpenSubtitlesなどから高品質な字幕をダウンロードすることもできます。字幕ソースがまったくない場合、ASRリアルタイム字幕が最適な解決策です。


DualPiP ASRとChrome内蔵ライブキャプションの違いは?

Chromeブラウザには設定→ユーザー補助からオンにできるライブキャプション機能が内蔵されています。しかし、Chrome内蔵のライブキャプションは動画学習のシーンでは大きな制約があります。特にPiPモードに入ると字幕が消えてしまう点は、作業しながら動画を視聴するユーザーにとって致命的です。

比較項目Chrome内蔵ライブキャプションDualPiP ASRリアルタイム字幕
PiP対応PiP時に字幕が消えるPiPウィンドウ内に完全表示
認識精度一般的、文の区切りが不正確Deepgram nova-3モデル、自動句読点・文区切り
二言語翻訳別途翻訳機能を有効化が必要DualPiPの12種の翻訳エンジンと統合、AI大規模言語モデル翻訳推奨
学習モード非対応字幕リストパネル、ABループリピート
字幕スタイル固定フォントサイズ、色、位置、背景など完全カスタマイズ
字幕位置ブラウザ下部のバブル、ページを遮る動画内にオーバーレイ、再生ウィンドウに追従
言語対応約20言語22言語 + 多言語自動検出
認識モードリアルタイムストリーミングのみリアルタイムWebSocket + プリダウンロードバッチ

DualPiP ASRの最大の強みはPiPシーンでの完全な字幕体験です。動画をフローティングウィンドウにポップアウトすると、Chrome内蔵字幕は消えますが、DualPiPのASR字幕はPiPウィンドウに常に表示されます。


DualPiP ASRはどの音声認識サービスに対応している?

DualPiP ASRはBYOK(Bring Your Own Key)アーキテクチャを採用しており、ユーザーが自分で音声認識サービスを設定します。リクエストはブラウザから直接プロバイダーに送信され、中間サーバーを経由しません。2種類のバックエンドに対応しています:

クラウドASR:Deepgram

Deepgramは現在DualPiPにプリセット対応しているクラウドASRプロバイダーで、nova-3モデルで音声認識を行います。nova-3は現在業界で最も精度の高いリアルタイム音声認識モデルの一つです:

  • リアルタイムWebSocketストリーミング:300ms未満のレイテンシーで、字幕がほぼ同時に表示
  • スマート句読点・文区切り:自動的に句読点を追加し、文の境界を正確に認識
  • 22言語対応:日本語、英語、中国語、韓国語、フランス語、ドイツ語、スペイン語など
  • 多言語自動検出:Deepgram独自のmultiモードで言語を自動認識・切替
  • 低コスト:$0.007/分(nova-3)、2時間の映画で約$0.84

DualPiPのBYOKモデルは動画数の制限がなく、使用量に応じた従量課金制です。DualPiPと他の二言語字幕拡張機能の比較は2026年おすすめChrome二言語字幕拡張機能をご覧ください。

ローカルASR:Whisper

DualPiPはOpenAI互換のWhisperサーバーのローカルデプロイにも対応しており、音声は完全にローカルマシンで処理されます:

ローカルソリューション説明
SpeachesGPU高速化対応の高性能Whisper APIサーバー
whisper.cpp軽量C++実装、CPUでも動作
hwdsl2/whisper-serverDockerワンコマンドデプロイ
OpenAI互換サービス/v1/audio/transcriptionsエンドポイント対応

ローカルバックエンドはHTTPバッチ認識モードを使用し、完全無料でオフライン動作します。


Deepgramの無料$200クレジットとAPIキーの取得方法

クレジットカードは不要です。 Deepgramは新規ユーザーに**$200の無料クレジットを提供しており、登録時に支払い情報の入力は一切必要ありません。nova-3モデルの$0.007/分で計算すると、$200で約476時間の音声**をテキスト化できます——約238本の映画に相当します。

Deepgram登録とAPIキー作成の手順

  1. deepgram.comにアクセスし、Sign Up Freeをクリック
  2. Googleアカウントまたはメールアドレスで登録(クレジットカード情報不要)
  3. ログイン後、Consoleダッシュボードに入り、デフォルトプロジェクトが自動作成されます
  4. 左サイドバーのSettings → API Keysに移動
  5. Create a New API Keyをクリック
  6. 名前を入力(例:「DualPiP」)、権限をMemberに設定し、Create Keyをクリック
  7. APIキーを即座にコピーして安全に保存——ページを閉じると再表示できません
項目詳細
無料クレジット$200(登録時に付与)
クレジットカード不要
有効期限なし
クレジット消費後従量課金(Pay As You Go)
nova-3料金$0.007/分
$200の利用可能時間約476時間(≈238本の映画)

DualPiPでASRリアルタイム字幕を設定する方法

設定は2ステップです:拡張機能設定でASRプロバイダーを追加し、PiPウィンドウでライブキャプションを有効にします。

ステップ1:ASRプロバイダーの追加

  1. DualPiP拡張機能の設定ページを開く(拡張アイコン→歯車アイコン)
  2. ASR Settingsタブに移動
  3. Add Providerをクリック
  4. プリセットからDeepgram(クラウド)またはCustom Local Backend(ローカル)を選択
  5. Deepgram APIキーまたはローカルWhisperサーバーアドレスを入力
  6. デフォルトの認識言語(Multilingual自動検出推奨)とモデルを選択
  7. 保存をクリック

ステップ2:PiPウィンドウでライブキャプションを有効化

  1. 任意の動画サイトでDualPiPのPiPモードを開く(ショートカットCtrl+Shift+E
  2. PiPコントロールバーのASRボタン(マイクアイコン)をクリック
  3. Live Captionスイッチをオンに
  4. リアルタイム字幕が動画上に即座に表示開始

PiPウィンドウ内でショートカットShift+AでASRの切替も可能です。Chromeの拡張機能ショートカット設定(chrome://extensions/shortcuts)で「Toggle Live Captions」にグローバルショートカットを設定することもできます。


ストリーミングモードとプリダウンロードモードの違いは?

DualPiP ASRは視聴シーンに合わせた2つの音声キャプチャ・認識モードを提供します:

リアルタイムストリーミングモード(WebSocket)

音声がWebSocket経由でDeepgramにリアルタイム送信され、字幕レイテンシーは300ms未満です。Deepgramの中間結果機能が最終結果の前に暫定的なテキストを提供するため、字幕がさらに早く表示されます。ライブ配信、ビデオ会議、リアルタイムコンテンツに最適です。

プリダウンロードバッチモード(HTTP)

DualPiPが動画音声を事前ダウンロードしてセグメント分割し、HTTP経由でバッチ送信して認識します。公開済みの動画コンテンツに最適——視聴前に完全な字幕を生成でき、再生時の遅延はゼロです。DeepgramクラウドとローカルWhisperの両方に対応しています。

比較リアルタイムストリーミングプリダウンロードバッチ
レイテンシー300ms未満プリダウンロード完了後ゼロ
適したシーンライブ配信、リアルタイムコンテンツ公開済み動画、完全な字幕が必要
対応バックエンドDeepgram(WebSocket)Deepgram + ローカルWhisper
字幕カバー率リアルタイム生成、まれに欠落あり全音声を完全カバー

DualPiPはデフォルトでAutoモードを使用:WebSocketストリーミングを優先し、プロバイダーが非対応の場合はプリダウンロードバッチに自動フォールバックします。


ASR字幕を学習モードで語学学習に活用する方法

DualPiP ASRで生成された字幕はタイムスタンプ付きで、学習モードの全機能と互換性があります。字幕のない動画も語学学習の教材に変わります:

  • 字幕リストパネル:ASRで認識された各文が時系列で右側パネルに表示、クリックでジャンプ
  • ABループリピート:ASR字幕の任意の文を選んで繰り返し再生、リスニング練習
  • 自動一時停止:字幕ごとに自動一時停止、シャドーイングに最適
  • 二言語表示:ASR字幕をAI翻訳エンジンと組み合わせて原文+訳文を同時表示

ASR字幕と従来の字幕はDualPiPでは排他的です。ASRを有効にすると従来の字幕は自動的に無効になり、その逆も同様です。高品質なネイティブ字幕がある動画は従来の字幕を優先するか、字幕検索で字幕ファイルをダウンロードしてください。


ASR字幕にAI翻訳を組み合わせてリアルタイム二言語字幕を生成する方法

DualPiPのASRとAI翻訳を組み合わせることで、あらゆる言語の動画にリアルタイムで二言語字幕を生成できます。動画にネイティブ字幕がないが、二言語字幕で語学学習したいというシーンに対応します。

ASR + AI翻訳のワークフロー

  1. ASRが原語を認識:Deepgramが動画音声を原語テキスト字幕に変換
  2. AI大規模言語モデルがリアルタイム翻訳:DualPiPのAI翻訳エンジンがASR字幕をターゲット言語に翻訳
  3. 二言語字幕を同時表示:原文と訳文が二言語字幕として動画上にオーバーレイ

ASR字幕の翻訳にAI大規模言語モデルを強く推奨する理由

ASRで生成された字幕はリアルタイム音声転写であり、文の区切りが不完全だったり、口語的な表現が多かったりします。AI大規模言語モデル翻訳(DeepSeek、GPT、Claude等)は、ASR字幕の翻訳において従来の機械翻訳(Google、Microsoft)を大幅に上回ります

比較項目従来の機械翻訳AI大規模言語モデル翻訳
文脈理解一文ずつ翻訳、前後文なしDualPiPが直近N件の字幕を会話履歴として送信
口語処理口語を直訳、不自然会話の文脈を理解し、自然な訳文を出力
不完全な文の補完ASRの区切りが不完全だと翻訳が崩れる文脈から意味を補完して正確に翻訳
固有名詞人名・用語の誤訳が頻発DualPiPの映画情報連携で認識を強化

DualPiPのAI翻訳エンジンはスライディングウィンドウコンテキストメカニズムを使用し、翻訳結果の前後一貫性を確保します。これはASRシーンで特に重要です——音声認識の文区切りは従来の字幕と異なるため、AIは前文の文脈がなければ正確に翻訳できません。

DualPiPは30以上のAI翻訳プロバイダーに対応しています。ASR字幕にはDeepSeek V4 Flash(コスパ最良)またはGroq Llama(無料枠あり、最速レスポンス)がおすすめです。詳しくはAI字幕翻訳設定ガイドをご覧ください。


DualPiP ASRはどの動画サイトに対応している?

DualPiP ASRはブラウザのAudio Capture APIで音声をキャプチャするため、Chromeで再生可能なあらゆる動画に字幕を自動生成できます

プラットフォーム対応サイト
動画プラットフォームYouTube、Netflix、Disney+、Bilibili、Crunchyroll、HiAnime
学習プラットフォームCoursera、Udemy、TED、edX、Khan Academy
ライブ配信Twitch、YouTube Live
会議ツールZoom(ウェブ版)、Google Meet
その他HTML5 <video>タグを使用するすべてのサイト

ネイティブ字幕のない動画には、ASRが字幕を取得する唯一の方法です。DualPiPのAI大規模言語モデル翻訳と組み合わせれば、あらゆる言語のオンライン動画にリアルタイム二言語字幕を生成できます。ASR字幕はリアルタイム音声認識の産物であるため、従来の機械翻訳よりもAI大規模言語モデル翻訳の使用を強く推奨します。


よくある質問

Q:ASRリアルタイム音声認識の精度は? Deepgram nova-3モデルは英語の単語誤り率(WER)が8%未満で、2026年時点で最も精度の高いリアルタイム音声認識モデルの一つです。日本語、中国語などの認識精度も優れています。

Q:Deepgramの$200無料クレジットを使い切ったら? 従量課金(Pay As You Go)に自動移行します。nova-3は$0.007/分、2時間の映画で約$0.84です。ローカルWhisperバックエンドに切り替えれば完全無料ですが、ローカルGPUが必要です。

Q:ASR字幕と従来の字幕は同時表示できる? できません。DualPiPでは排他的な設計です。動画に高品質なネイティブ字幕がある場合は、従来の字幕を優先して使用してください。

Q:ASRは無料機能?Premium機能? ASRリアルタイム字幕はPremium機能です。YouTubeウェブ内の二言語字幕と基本PiPプレーヤーは無料です。

Q:ローカルWhisperバックエンドに必要なハードウェアは? NVIDIA GPU(VRAM 6GB以上)推奨。CPUでも動作しますが速度は遅くなります。hwdsl2/whisper-serverをDockerでデプロイするのが最も簡単です。

Q:動画内の複数言語を認識できる? Deepgramの多言語モードは同じ音声内の言語を自動検出・切替できます。多言語が混在するインタビューやポッドキャストに最適です。


DualPiP ASRリアルタイム字幕を今すぐ体験

4ステップであらゆるオンライン動画にAIリアルタイム字幕を生成:

  1. DualPiPをインストール:Chrome Web Store | Edge Add-ons
  2. Deepgramで無料$200クレジットを取得:deepgram.com(クレジットカード不要)
  3. DualPiP設定でDeepgramプロバイダーを追加し、APIキーを入力
  4. 任意の動画のPiPウィンドウを開き、ASRボタンでライブキャプションを有効化

字幕のないライブ配信や外国語学習コンテンツなど、DualPiP ASRがリアルタイムでAI字幕を生成します。AI二言語翻訳学習モードを組み合わせれば、すべての動画が効果的な語学学習教材になります。