DualPiP v1.9 릴리스 노트

DualPiP v1.9는 실시간 자막이 더 많은 비디오 사이트와 스트리밍 플랫폼에서 작동하도록 개선되었습니다. 음성-텍스트 변환 엔진을 전면 재구축하여 오디오 소스 감지 정확도를 높이고, 암호화 스트림을 처리하며, 전체 비디오 대신 오디오 데이터만 다운로드하여 데이터 사용량을 절약합니다.

DualPiP v1.9.5는 YouTube, Twitch, 빌리빌리 등 라이브 스트림 자막을 개선합니다. 플레이어가 이미 버퍼한 오디오로 인식해 자막을 음성에 더 가깝게 맞추고, 버퍼가 회복되면 실시간 캡처에서 선행 인식으로 돌아갑니다.

• 주요 라이브 플랫폼 자막 동기화: YouTube, Twitch, 빌리빌리 등에서 버퍼된 오디오 인식; 버퍼가 충분하면 실시간에서 선행 생성으로 자동 복귀
• 시작 시 음성을 기다림: 음악·무음만 긴 인트로에서 실시간 자막으로 너무 빨리 전환하지 않음
• 오디오 DRM 없는 스트림 확대: 영상만 보호되고 음轨을 읽을 수 있으면 선행 자막 지원
• 사이트별 자동 라이브 자막 개선: 동영상에 자막이 있으면 우선 표시; 없을 때만 음성 인식. PIP에서 다음 영상 시 재판단
• 번역 중 표시 안정: 라이브 인식·번역 시 깜빡임 감소; 빠른 말투에서 이전 줄을 조금 더 유지
• 자막 로딩 속도·안정성: 페이지에 로드된 자막 재사용; 사이트 속도 제한 시 요청 일시 중지

• 언어 자동 감지, 선행·실시간 전환, 장시간 시청 시 DualPiP Cloud 연결 안정화
• 오늘 체험 한도 소진 후 「연결 중」에 머무르지 않고 명확히 안내
• 음악만·무음 구간에서 잘못된 인식 실패 표시 제거
• 언어 자동 감지 시 실시간 자막이 음성보다 크게 늦는 문제
• 자체 음성 API 키 사용 시 실시간 자막이 가끔 시작되지 않는 문제
• YouTube: 자막 없는 영상에 다른 영상 자막 표시; 연속 재생·이전 영상 시 자막 미갱신
• 영상 전환 후 선행 자막 섞임·중단; 언어 감지 알림은 영상 전환 시 사라짐
• DualPiP와 CaptionGo 동시 설치 시 일부 사이트 선행 자막·감지 문제

• 더 많은 사이트·형식에서 사전 생성 실시간 자막: 더 많은 동영상 사이트와 스트림 형식에서 재생 전에 Live Captions 자막을 준비할 수 있습니다. DualPiP가 실제로 재생 중인 동영상에 자동으로 연결해 자막이 더 빨리 나타나고 데이터 사용량도 줄어듭니다
• 다국어 동영상의 오디오 트랙 선택 개선: 여러 언어 트랙이 있을 때 기본 트랙 또는 페이지 언어와 일치하는 트랙을 우선해 음성 인식 정확도를 높였습니다
• 자동 언어 감지 안정화: 오랫동안 음성이 없어도 「언어를 감지할 수 없음」 경고가 너무 일찍 뜨지 않으며, 음성이 인식되면 메시지가 자동으로 사라집니다
• 썸네일 미리보기에 버튼 표시 안 함: 호버·미리보기용 작은 플레이어에는 DualPiP 화면 속 화면 버튼을 표시하지 않습니다
• PiP에서 다음 동영상으로 넘어가면 자막도 재설정: 화면 속 화면이 재생 목록의 다음 항목으로 이동하면 Live Captions가 새 동영상용으로 다시 시작됩니다. 해당 사이트에서 자동 실시간 자막을 켜 두었을 때만 자동으로 재개합니다
• 오디오를 캡처할 수 없을 때 안내 개선: 브라우저가 플레이어에서 소리를 가져오지 못할 때 상태 메시지가 더 명확합니다

• Live Captions를 중지한 후에도 오디오가 계속 다운로드되는 문제 수정
• 일부 사이트에서 사전 생성 자막이 시작 부분에만 나타나는 문제 수정. 오디오를 인식할 수 없으면 더 빨리 실시간 모드로 전환합니다
• 일부 플레이어에서 DualPiP 버튼 클릭이 진행 바를 움직이는 문제 및 Dailymotion에서 버튼이 겹치는 문제 수정
• 오디오 신호가 없을 때 반복 재연결되는 문제 수정

• PiP 창에 실시간 자막 상태 표시기 추가: PiP 창 오른쪽 위에 실시간 자막 작동 여부와 자막 생성 진행 상황을 보여 주는 표시기가 추가되었습니다. 클릭하면 인식 언어를 바꾸거나 실시간 자막을 중지할 수 있으며, DualPiP Cloud 사용 시 오늘 남은 무료 체험 시간도 표시됩니다
• 더 많은 사이트에서 자막 미리 생성: 더 많은 동영상 사이트에서 자막을 미리 생성할 수 있으며, 동영상 중간에 켜도 음성과 정확히 맞습니다
• Deepgram 고급 설정: Deepgram 제공업체 설정에서 스마트 서식, 비속어 필터, 핵심 용어(인명과 전문 용어 인식 정확도 향상)를 조정할 수 있으며, 실시간 자막과 사전 생성 자막의 문장 구분 설정도 각각 변경할 수 있습니다

• 긴 발화를 읽기 쉬운 자막으로 분할: 계속 이어지는 말도 문장 끝과 자연스러운 쉼에서 나눠 짧은 자막으로 표시합니다. 끊김 없이 긴 자막이 더 이상 표시되지 않으며, 문장 끝이 빠지는 경우도 줄었습니다(설정의 '긴 자막 나누기'에서 끌 수 있음)
• 더 정확한 언어 자동 감지: 도입부 음악이나 무음처럼 사람 목소리가 없는 부분이 감지에 영향을 주지 않으며, 결과를 신뢰할 수 있을 때만 적용합니다
• 언어 확인 후 본격 처리: 자막을 미리 생성할 때 한 구간씩 인식하며 음성 언어를 확인한 뒤 속도를 높입니다. 진행 숫자는 자막이 실제로 생성된 뒤에만 올라가고, 언어가 맞지 않으면 즉시 일시 정지해 할당량 낭비를 막습니다
• DualPiP Cloud와 개인 Deepgram 키의 동일한 사용 경험: 인식 언어, 캡처 모드, 무음 필터 등의 설정이 내장 DualPiP Cloud에도 적용되며, 미리 생성되는 자막 범위도 같아졌습니다
• 더 명확한 언어 감지 안내: 감지, 확인, 수정, 실패 각 단계에서 간단한 안내를 표시하고, 언어 코드 대신 언어 이름을 보여 주며, 바로 언어를 선택할 수 있습니다
• 실시간 자막 메뉴에 오류 원인 표시: 실시간 자막을 시작할 수 없거나 도중에 중지되면 메뉴에 구체적인 원인이 표시됩니다
• 더 정확한 실시간 자막 타이밍: 네트워크가 잠시 끊겼다가 다시 연결되어도 자막이 누락되거나 어긋나지 않습니다
• 더 깔끔한 이중 언어 자막: 이전 문장이 다시 나타나 최신 문장을 밀어내는 문제가 없어졌습니다
• 실시간 자막 화면 번역 완료: 영어로 남아 있던 버튼과 상태 안내가 번역되었습니다

• PiP 창 왼쪽 상단의 안내가 나타나자마자 사라지던 문제 수정 — 로그인 후 실시간 자막을 켜도 언어 감지 및 확인 안내가 정상적으로 표시됩니다
• 실시간 자막에서 긴 문장의 앞부분이 잘려 뒷부분만 표시되던 문제 수정
• 인식 언어가 자동으로 전환된 후 안내가 바로 사라지던 문제 수정
• 음성 인식 서비스에 연결할 수 없을 때 진행 숫자가 오랫동안 멈춘 뒤 실시간 모드로 잘못 전환되던 문제 수정 — 이제 약 40초 안에 네트워크 확인 안내가 표시되며 한 번의 클릭으로 다시 시도할 수 있습니다
• 실시간 모드 연결에 실패해도 아무 안내가 표시되지 않던 문제 수정
• 실시간 자막을 중지한 후에도 백그라운드에서 오디오 업로드가 계속되어 할당량이 소모되던 문제 수정
• 로그인 후 PiP를 닫았다가 다시 열어야만 실시간 자막을 사용할 수 있던 문제 수정

• 더 스마트한 언어 감지: 실시간 자막이 음성 언어를 정확히 감지하지 못할 경우, 자동으로 일시 정지하고 수동 언어 선택을 요청하여 인식 할당량 낭비를 방지
• 중국어·일본어·한국어 인식 정확도 향상: 중국어, 일본어, 한국어 오디오 구분 정확도 개선
• 탐색 후 언어 재감지: 다른 위치로 이동하면 새 위치에서 언어 감지 재시작 — 음악 인트로 건너뛰기에 유용
• 더 안정적인 오디오 처리: 더 많은 비디오 형식과의 호환성 개선, 오디오 다운로드가 멈추거나 자막이 생성되지 않는 경우 감소
• 오디오 다운로드 진행률 표시: 실시간 다운로드 진행률과 속도 표시(예: "오디오 다운로드 중… 35% (120 KB/s)")
• 느린 네트워크에서 안정성 향상: 느리거나 불안정한 연결에서 오디오 다운로드가 자동으로 재시도하고 설정 최적화
• 세그먼트 간 처리 진행률: 자막 세그먼트 사이에 진행률 표시(예: "오디오 처리 중… 3/7"), 현재 자막이 표시되지 않을 때만 나타남
• AI 번역 품질 향상: 자막 일관성을 높이는 번역 프롬프트 개선, 컨텍스트 윈도우 확대(이전 30줄까지), 동영상 메타데이터 활용
• ASR 인식 AI 번역: AI 번역기가 음성 인식 자막 번역 시 접근 방식을 최적화하여 더 자연스러운 번역 제공

• AI 번역 개인정보 제어: 번역 설정에 새 토글 추가. 동영상 컨텍스트를 AI 번역 서비스에 전송할지 제어 가능. 기본값 켜짐

• 브라우저에서 동영상 파일 URL(.mp4 링크 등)을 직접 열 때 화면이 검게 표시되는 문제 수정
• 특정 동영상 형식(강의/교육 동영상 등)에서 MP4 오디오 추출이 파일 전체를 다운로드하던 문제 수정
• 긴 동영상에서 중간에 자막 생성이 중단되는 문제 수정
• 이미 처리된 구간으로 이동 후 "자막 준비 중…" 메시지가 사라지지 않는 문제 수정
• 사전 다운로드 진행률이 멈추고 100%에 도달하지 못하는 문제 수정
• 수동 언어 선택이 필요할 때 언어 선택 배지가 표시되지 않는 문제 수정
• 서로 다른 자막 세그먼트에서 동일한 구문이 번역 캐시를 공유하여 번역이 부정확해지는 문제 수정
• 브라우저 재시작 후 멤버십 상태가 갱신되지 않는 문제 수정

• Wistia 플레이어를 사용하는 사이트(온라인 강의 플랫폼 등)에서 실시간 자막 사전 다운로드가 반복 재시작되는 문제 수정

• 사전 다운로드 안정성 향상: 불필요한 재시작 감소, 이미 인식된 오디오 세그먼트의 중복 처리 방지

• 실시간 자막 지원 사이트 대폭 확대: 음성-텍스트 변환 엔진 전면 재구축, HLS·DASH·MP4 비디오의 오디오 소스 자동 감지
• 비디오 스트림 자동 발견: 페이지 네트워크 트래픽을 모니터링하여 비디오 매니페스트와 오디오 URL을 자동 발견 — 사전 설정 없이도 실시간 자막 사용 가능
• 암호화 비디오 지원: AES-128 암호화 오디오를 사용하는 사이트에서도 실시간 자막 작동, 콘텐츠 보호 스트리밍 플랫폼 지원 확대
• 데이터 절약 오디오 다운로드: MP4 파일에서 오디오 트랙만 추출·다운로드하여 데이터 사용량 대폭 절감
• TikTok 등 보호 사이트 지원: 올바른 요청 헤더를 자동 보완하여 TikTok 등 핫링크 보호 사이트에서의 오디오 다운로드 실패 해결

• 자막 표시 시작 후 "다운로드 중…" "처리 중…" 등 진행 메시지를 숨기고 오류만 표시
• 오디오 사전 다운로드 설정을 원격으로 업데이트 가능, 확장 프로그램 업데이트 불필요
• DRM 보호 콘텐츠 또는 오디오 소스 획득 실패 시 자동으로 실시간 모드로 폴백
• AI 번역 자동 재시도 기능 추가로 모델 초기화 경쟁 조건으로 인한 번역 누락 감소

• PiP 창 내에서 자막을 상단으로 드래그할 때 드래그 핸들이 넘쳐 재배치가 불가능해지는 문제 수정
• Twitter/X 등 여러 동영상이 있는 페이지에서 PiP 자막 캐시가 잘못된 동영상에 적용되는 문제 수정