Real-time captioning is a useful technique for deaf and hard-of-hearing (DHH) people to talk to hearing people. When communicating by real-time captioning using a mobile device, the body language cannot be confirmed because the mobile device must be viewed to see the result. When using an AR device, deaf or hard-of-hearing people can see the voice-recognized text while observing the partner's body language. To realize higher-quality communication and overcome the limitations of mobile and augmented-reality devices, real-time captioning that can be used comfortably while maintaining nonverbal communication and preventing incorrect recognition is required.

音声認識を使ったリアルタイム文字起こしは，声を聞き取りづらい人の日常生活を支援する重要なツールとなりつつある。音声文字変換アプリを使って会話をするときには，認識結果の確認のために画面を注視する必要があり，ボディーランゲージを確認することができない。ARデバイスを利用した場合は，音声認識の結果と会話相手のボディーランゲージを同時に確認できるが，会話相手はARデバイスを装着していないため，自分の声の認識が正しく行われたかどうかを確認できない。より良いコミュニケーションを図るためには，表情や身振り手振りなどのボディーランゲージを用い，誤認識を防ぎながら快適に利用できるシステムが必要だ。

We developed a real-time captioning system that utilizes a transparent display and allows people to check the speech-recognition results while seeing their partner during the conversation. In this system, the captions are presented on both sides of the display to address the problem of incorrect ASR, and the highly transparent display makes it possible to see both the body language and the captions. (Transparent display provided by Japan Display Inc.)

透明ディスプレイを利用したリアルタイム文字起こしのシステムを提案する。このシステムでは，自動音声認識の誤認識を話し手が確認するために，文字起こしの結果がディスプレイの両側に向けて表示される。また，透明度の高いディスプレイにより，お互いにボディーランゲージと文字の両方を確認しながら会話を行うことができる。*機材提供（透明ディスプレイ）：株式会社ジャパンディスプレイ