DualPiP v1.9 リリースノート

DualPiP v1.9 では、リアルタイム字幕がより多くの動画サイトやストリーミングプラットフォームで動作するようになりました。音声テキスト変換エンジンを全面的に刷新し、音声ソースの検出精度向上、暗号化ストリームへの対応、動画全体ではなく音声データのみのダウンロードによる通信量削減を実現しています。

DualPiP v1.9.5 は YouTube・Twitch・Bilibili などのライブ配信向けにライブ字幕を強化しました。プレイヤーがすでにバッファした音声から認識し、字幕を音声に近づけます。バッファが戻ればリアルタイム取得から先読み認識へ戻せます。

• 主要ライブサイトで字幕同期が向上：YouTube、Twitch、Bilibili などでバッファ済み音声を認識。十分なバッファでリアルタイムから先読み生成へ自動復帰
• 冒頭に人声がない場合も待機：音楽や無音だけの長いイントロで、早すぎるリアルタイム切替をしません
• 音声 DRM のない配信を拡大：映像のみ保護で音轨が読める場合も先読み字幕に対応
• サイトごとの自動ライブ字幕を改善：動画に字幕がある場合はそれを優先。ない場合のみ音声認識。ピクチャインピクチャで次の動画へ進むと再判定
• 翻訳中の表示が安定：ライブ認識・翻訳時のちらつきを低減。早口では前の行を少し長く表示
• 字幕読み込みが高速・安定：ページ上の字幕を再利用。サイトのレート制限時はリクエストを一時停止

• 言語自動検出、先読みとリアルタイムの切替、長時間視聴時の DualPiP Cloud 接続を安定化
• 本日の試用枠終了後は「接続中」で止まらず、はっきり通知
• 音楽のみ・無音部分で誤って認識失敗と表示しない
• 言語自動検出時にリアルタイム字幕が音声より大幅に遅れる問題
• 独自の音声 API キー利用時にリアルタイム字幕が起動しないことがある問題
• YouTube：字幕のない動画で別動画の字幕表示、連続再生・前の動画へ戻る際に字幕が追従しない問題
• 動画切替後の先読み字幕の混線・中断。言語検出の通知は動画切替で消える
• DualPiP と CaptionGo を同時インストール時、一部サイトで先読み字幕・検出が効かない問題

• 事前字幕生成の対応サイト・形式を拡大：より多くの動画サイトとストリーム形式で、再生前にリアルタイム字幕（Live Captions）の字幕を準備できます。DualPiPは実際に再生中の動画に自動で紐づけるため、字幕が早く表示され、通信量も抑えられます
• 多言語動画で適切な音声トラックを優先：複数の言語トラックがある場合、デフォルトのトラック、またはページの言語に一致するトラックを優先して音声認識の精度を向上
• 言語の自動検出がより安定：長時間人の声がない場合でも、早すぎる「言語を検出できません」表示は出なくなりました。音声が認識されればメッセージは自動で消えます
• サムネイルプレビューにボタンを表示しない：ホバー用・プレビュー用の小さなプレイヤーでは、DualPiPのピクチャーインピクチャーボタンを表示しません
• PiPで次の動画に進むと字幕もリセット：ピクチャーインピクチャーでプレイリストの次の項目に進むと、リアルタイム字幕は新しい動画用に最初から開始します。そのサイトで自動リアルタイム字幕をオンにしている場合のみ、自動で再開します
• 音声を取得できないときの案内を改善：ブラウザがプレイヤーから音を拾えない場合、状態メッセージがより分かりやすくなりました

• リアルタイム字幕を停止した後も音声のダウンロードが続く問題を修正
• 一部のサイトで事前生成字幕が冒頭だけになる問題を修正。音声が認識できない場合はより早くリアルタイムモードに切り替えます
• 一部のプレイヤーでDualPiPボタンのクリックがシークバーを動かす問題、およびDailymotionでボタンが重なる問題を修正
• 音声信号が得られないときに再接続を繰り返す問題を修正

• PiPウィンドウにリアルタイム字幕のステータス表示を追加：PiPウィンドウの右上に、リアルタイム字幕の動作状況と字幕の生成状況を示すインジケーターを追加しました。クリックすると認識言語の切り替えや停止ができ、DualPiP Cloudでは本日の残り無料トライアル時間も確認できます
• 事前字幕生成の対応サイトを拡大：より多くの動画サイトで字幕を事前に生成できるようになり、動画の途中からオンにしても音声と正確に同期します
• Deepgramの詳細設定：Deepgramプロバイダー設定で、スマートフォーマット、不適切な表現のフィルター、キーワード（人名や専門用語の認識精度を向上）を調整できるほか、リアルタイム字幕と事前生成字幕それぞれの文の区切り設定も変更できます

• 長い発話を読みやすい字幕に分割：話し続けている部分も文末や自然な間で区切り、短い字幕として表示します。区切りのない長い字幕が表示されることがなくなり、文末の欠落も減りました（設定の「長い字幕を分割」でオフにできます）
• 言語の自動検出がより正確に：冒頭の音楽や無音など、人の声がない部分に検出が左右されなくなり、結果が信頼できる場合にのみ採用します
• 言語を確認してから本格処理：字幕を事前生成する際、1区間ずつ認識して話されている言語を確認してから高速処理に切り替えます。進捗の数字は字幕が実際に生成されてから増え、言語が違う場合はすぐに一時停止するため、クォータの無駄遣いを防ぎます
• DualPiP Cloudと自分のDeepgram APIキーで同じ使い心地：認識言語、キャプチャモード、無音フィルターなどの設定が内蔵のDualPiP Cloudでも有効になり、事前に生成される字幕の範囲も同じになりました
• 言語検出のメッセージがより分かりやすく：検出・確認・修正・失敗の各段階で簡潔なメッセージを表示し、言語コードではなく言語名で表示します。その場で言語を選ぶこともできます
• リアルタイム字幕メニューにエラーの原因を表示：リアルタイム字幕を開始できない場合や途中で停止した場合、メニューに具体的な原因を表示します
• リアルタイム字幕のタイミング精度を向上：ネットワークが一時的に切断・再接続しても、字幕が抜けたりずれたりしなくなりました
• 2言語字幕の表示を改善：古い行が再表示されて最新の行が押し出されることがなくなりました
• リアルタイム字幕の画面表示をすべて翻訳：英語のままだったボタンやステータス表示を翻訳しました

• PiPウィンドウ左上の通知が表示直後に消えてしまう問題を修正しました。ログイン後にリアルタイム字幕をオンにした場合も、言語の検出・確認メッセージが正しく表示されます
• リアルタイム字幕で長い文の冒頭が切れて後半しか表示されない問題を修正
• 認識言語が自動で切り替わった際、通知がすぐに消えてしまう問題を修正
• 音声認識サービスに接続できない場合に、進捗が同じ数字のまま長時間止まり、その後リアルタイムモードに誤って切り替わる問題を修正しました。現在は約40秒以内にネットワークの確認を促すメッセージを表示し、ワンクリックで再試行できます
• リアルタイムモードの接続に失敗しても何も表示されない問題を修正
• リアルタイム字幕を停止した後も、バックグラウンドで音声のアップロードが続きクォータを消費する問題を修正
• ログイン後、PiPを閉じて開き直さないとリアルタイム字幕が使えない問題を修正

• よりスマートな言語検出：リアルタイム字幕が音声言語を正確に検出できない場合、自動的に一時停止して手動での言語選択を促すようになりました — 認識クォータの無駄遣いを防止
• 中国語・日本語・韓国語の認識精度向上：中国語、日本語、韓国語の音声をより正確に識別
• シーク後の言語再検出：動画の別の位置にシークすると言語検出を新しい位置からやり直します — 音楽イントロのスキップに最適
• より安定した音声処理：幅広い動画形式との互換性を改善し、「音声ダウンロード中…」で停止したり字幕が生成されないケースを軽減
• 音声ダウンロード進捗表示：ダウンロード進捗と速度をリアルタイムで表示（例：「音声ダウンロード中… 35% (120 KB/s)」）
• 低速回線での信頼性向上：音声ダウンロードが不安定な接続で自動的にリトライし、パラメータを最適化
• セグメント間の処理進捗：字幕セグメント間に進捗情報（例：「音声処理中… 3/7」）を表示。現在字幕が表示されていない場合のみ
• AI翻訳品質の向上：字幕の文脈一貫性を高める翻訳プロンプトの改良、コンテキストウィンドウの拡大（過去30行まで）、動画メタデータを活用したより正確な翻訳
• ASR対応AI翻訳：音声認識字幕の翻訳時にAI翻訳が手法を最適化し、不完全な原文からもより自然な訳文を生成

• AI翻訳プライバシー設定：翻訳設定に新しいトグルを追加。動画の文脈情報（タイトル、URL、説明）をAI翻訳サービスに送信するかどうかを制御可能。デフォルトはオン

• ブラウザで動画ファイルURL（.mp4 リンクなど）を直接開いた際に黒画面になる問題を修正
• 特定の動画形式（講義・教育動画など）でMP4音声抽出がファイル全体をダウンロードしていた問題を修正
• 長い動画で途中から字幕が生成されなくなる問題を修正
• 処理済みセクションにシークした後「字幕を準備中…」が消えない問題を修正
• プリダウンロード進捗が停止して100%に達しない問題を修正
• 手動で言語を選択する必要がある際に言語選択バッジが表示されない問題を修正
• 異なる字幕セグメントで同じフレーズの翻訳キャッシュが共有され翻訳が不正確になる問題を修正
• ブラウザ再起動後にメンバーシップ状態が更新されない問題を修正

• Wistia プレーヤーを使用するサイト（オンライン学習プラットフォームなど）でリアルタイム字幕のプリダウンロードが繰り返し再起動する問題を修正

• プリダウンロードの安定性を向上：不要な再起動を削減し、処理済み音声セグメントの重複認識を回避

• リアルタイム字幕の対応サイト大幅拡大：音声テキスト変換エンジンを全面刷新、HLS・DASH・MP4 動画の音声ソースを自動検出
• 動画ストリームの自動検出：ページのネットワーク通信を監視して動画マニフェストと音声 URL を自動発見 — 事前設定なしでもリアルタイム字幕が利用可能に
• 暗号化動画対応：AES-128 暗号化音声を使用するサイトでもリアルタイム字幕が動作、コンテンツ保護のあるストリーミングプラットフォームにも対応拡大
• 通信量を抑えた音声ダウンロード：MP4 ファイルから音声トラックのみを抽出・ダウンロードし、データ使用量を大幅削減
• TikTok など保護サイト対応：正しいリクエストヘッダーを自動補完し、TikTok のようなホットリンク保護サイトでの音声ダウンロード失敗を解決

• 字幕の表示開始後は「ダウンロード中…」「処理中…」などの進捗メッセージを非表示に — エラーのみ表示
• 音声プリダウンロード設定のリモート更新に対応、拡張機能のアップデート不要
• DRM保護コンテンツや音声ソース取得失敗時に自動でリアルタイムモードにフォールバック
• AI翻訳の自動リトライ機能を追加し、モデル初期化の競合による翻訳欠落を軽減

• PiPウィンドウ内で字幕を上部にドラッグした際にドラッグハンドルがはみ出し、再配置できなくなる問題を修正
• Twitter/X等の複数動画ページでPiP字幕キャッシュが誤った動画に適用される問題を修正