【聴覚障害者との会話を、気を使わずに楽しく!】会話スムーズ大作戦!音声認識を使った実験に成功しました

   

TOEIC独学830女子、聴覚障害の友達との会話をスムーズにしたい、こっこです。

(この記事は下書きを100%音声入力で作成しています)

今日は、聴覚障害者と健聴者がスムーズに会話をするための、画期的な方法の実験に成功したという話をします。
名付けて”Smooth Communication Strategy = SC Strategy”、日本語で言えば会話スムーズ大作戦!


聴覚障害者と健聴者が会話するにあたり、どうしても、障害者が見逃しなどで相手の口が読めなかったり、そもそも読唇という技術を持っていなかったりして、うまく理解が出来ないときがあります。
そんなとき、もう一度言って欲しいと相手に頼むことも、なんとなく気がとがめてしまうという人もいます。さらに相手が自分のために話すスピードを通常より落としているという現実に対して、何か申し訳ないなと感じる人もいると思います。
さらに、そう思わせたくないがために、健聴者側も普通に話すときならばもっと長く話している内容でも、聴覚障害者に説明するときはゆっくり簡潔な文字数で説明してしまうという現象が少なからずあると思います。
これらは両者が気を使い合っている状態でストレスが無いとは言い切れません。

私は聴覚障害者のペコさんに英語の指導をしていて、彼女がもっとスムーズに私の授業を理解することができれば、そしてもっと気分的な余裕を持って私の話を聞くことができればと思っていました。
今回、私が取り組んだのは、音声入力を使った健聴者側の言葉の文章化です。
そうしたアプリはすでにありますが、いちいちボタンをおさなければいけなかったり、精度がいまいちだったりとあまり実用的ではありませんでした。しかしこの方法であればかなり理解の助けになることはが分かっています。

こちらもどうぞ
【たった2ヶ月、1日5分〜の勉強】英語は無理だと誰が言った?聴覚障害者がゼロから英検4級を取ったよ
 
 

音声認識デバイスが一つあれば大丈夫

今回の使用ツール

①iPad mini 4 (iPhone、おそらくiPod touchでも代用が可能)

②iPhone 6 (iPad、おそらくiPod touchでも代用が可能)

③Bose Quiet Comfort 20i

④Lakko Bluetooth 4.1 ヘッドセット

 

基本的な仕組み


①iPadに何らかの方法で、健聴者側が音声を入力します。
②「音声認識メールクラウド」アプリを使って、iPad上に健聴者が話した文章を表示させる
③iPadを聴覚障害者側に見せて、そこにずっと途切れることなく健聴者の音声が文章になって現れる

というものです。

音声認識メール クラウド

音声認識メール クラウド
¥120
posted with アプリーチ

 
 

可能になるとできること

聴覚障害者へのメリット

これが可能になれば、聴覚障害者側は何か聞こえなかったり見逃してしまったりした時に、相手にもう一度と頼む前に画面を見て、言葉のヒントを得ることができます。仮に音声認識が不正確なものであってもヒントを得られるだけでも違うはずです。
実際にペコさんはこの実験を終えて、このような感想を書いてくれています。

また、発話に自信がなかったり、正確に伝えなければいけないようなときには、iPadにキーボードをつけているので、文字入力できるモードにし、聴覚障害者が質問を打ち込むことができます。

 

健聴者へのメリット

健聴者にも良いことがあります。相手の障害の度合いに関わらず、自分が使用するマイクに認識される速さと語彙であれば、いつも通りの言葉遣いができます。私の体感では速度は普段の60%から80%くらいです。
 

両者へのメリット

会話のログが残るので、それをEvernote等のクラウド上のメモに保管することで、2人で共有ができ後から見返すことができます。
特に私たちは英語のレッスンをしているので、そのログが残っていると生徒であるペコさんが、振り返って学習をするときに非常に便利です。

Evernote - あらゆる情報をまとめて記憶

Evernote – あらゆる情報をまとめて記憶
開発元:Evernote
無料
posted with アプリーチ

 
 

機器の組み合わせによる違い

フォーメーションA iPad + Bose Quiet Comfort20i(他の有線イヤホンマイクも?)

こちらが一番最初にして、最も使用感がよかった組み合わせとなります。
障害者側はiPadの画面を眺め、健聴者がiPadにつないだイヤホンマイクを耳につけマイクに向かって話します。このイヤホンマイクは高性能なこともあってマイクに健聴者が手をかけなくてもぶらっとした状態でも声を拾うことができています。

たまたま私の持っていたイヤホンマイクがBoseであるだけで、あらゆる有線のイヤホンマイクで同じことができるはずです。これなんか千円しませんね。

 

フォーメーションB iPadのみ

iPadには(iPhoneもそうですが)もともと音声認識の機能が備わっています。その上でアプリのスイッチを入れておいてずっと集音している状態にしておくのです。しかしやはりイヤホンマイクが健聴者の体の近くにある方が集音性も精度も高いと言う印象です。
可能性として、テーブルなどに一堂に会したメンバーの言葉を1つの機械で拾いたいのであればこの方法が1番いいかもしれません。あるいは大勢の会話も拾えるようなマイクを使うか、まだ1対1の使用に集中したいので、まだわかりません。
 

フォーメーションC iPad + Lakko Bluetooth 4.1 ヘッドセット


このとても小さなイヤホンもイヤホンマイクの一つです。音を上手く拾うこともできるはずなのですが、いまいち精度は良くないです。
また、iPhoneとすでにペアリングしてあったものなので、それを剥がすということが私の知識不足で出来ませんでした。これは今後、改良の余地ありだと思っています。
 
 

あるととても良い補助デバイス

補助デバイスとしてiPhoneを併用すると、すごくよかったです。
なぜなら私たちは英語のレッスンをしているため、日本語を認識するモードのデバイスと英語を認識するモードのデバイスがあると、とても便利なのです。
例えば英文法の説明をした後に、例文として実際に私がiPhoneに向かって目の前で英文を吹き込み、その画面を見せる。ということが可能になります。
これはとても大事なことで、目の前の日本人が英語をペラペラと話している。それがまざまざとその画面の中ですぐに英語に変わる。それが耳を使っていなくても、音が聞こえなくても感じることができるようになります。
英語が、私の口とマイクの間を飛び交っているということがリアルに理解できると思います。それが音という概念ですよね。簡単にではありますが可視化されるわけです。
 
 

わかったこと

余裕を持って考えることができる

ペコさんの感想の中で、私が1番印象に残ったのが「この仕組みのおかげで、余裕を持って考えることができる」ということでした。
つまり聴覚障害のある方は視覚に頼るしかない部分があり、相手の口の動きや表情など見逃してしまうと、情報がとれなくなります。そのため、一つの情報も見逃さないようにして神経が張り詰めてしまう部分があるんだそうです。それはとても大変ですよね。
健聴者は音が聞こえるから何か相手が発言したらそれを音で気が付くんですよね。でも障害者はそういうわけにはいかないのです。それがひいては考える余裕を奪い、コミニケーションをおっくうにさせてしまっているという側面もあるかもしれません。
 

通信環境が命

この、長い時間音声認識をさせっ放しにしておくという作戦は音声認識メールクラウドというアプリが可能にしています。
このアプリの素晴らしいところは、ボタンを押しておけばもう1回そのボタンを押されるまでずっと音声認識を続けてくれるというところです。そうでないと健聴者がボタンを押したりする手間が生じてしまいます。
しかし、唯一ともいえるデメリットが、電波のないところでは作動が難しいということです。途中何回か音声認識の文書化までの時間が、かなりかかるようになりました。原因はわかりません。接続だけではないかもしれません。しかしネット環境が大きく影響している事は間違いないでしょう。
 
 

今後の課題

さて、1対1の対面はかなりクリアできました。
今後課題となってくるのは歩行中の会話です。

歩いている時に健聴者同士なら普通、お互いの顔を同じタイミングでみないといけないということはないですよね。しかし、聴覚障害者の場合、お互いを視覚でしっかり捉えなければ意思疎通ができないので、同じタイミングで顔を合わせなければいけないです。
そうなると夜景を見たり景色を見たり、あるいは安全のために前を見るということが必要な状況では会話ができないことになってしまいます。それに、各々好きなタイミングでコミュニケーションを図りたいのは普通のことです。

もし、私につけているイヤホンマイクが無線で、ペコさんの持っているデバイスと繋がっていて、私の話したことがそのデバイス上に文章で表示されるとしたら?
2人とも、好きなタイミングでコミニュケーション図るということができます。
ちょっとそのあたりの無線(Bluetooth)に関する私の知識が希薄だったために、それ以上の実験は今回はできませんでした。
 
 

応用するとどうなるか

健聴者間の会話の文章化


例えばここに、ペコさんと私ともう1人健聴者Aがいたとします。
私とAとの間で会話をするときは、やはり聴覚障害者に向けたゆっくりではなく普通の早い速度で話してしまいます。そうすると、ペコさん1人が置いていかれて話題がよくわからなくなってしまいます。しかしだからといって彼女のためにすごくゆっくり話すというのも、彼女は気を遣ってしまうでしょう。
その時にもし、私とAが一つのデバイスに接続されたマイクをつけていれば、2人の間の会話も何らかの形で文章化できるはずなのです。
 

テーブルに議事録を映し出す


また、すでに例えば机の上にiPadのような画面を投影し、その机の上で指をスライドさせたり操作できるといったような、バーチャルの画面を好きな場所に映し出すことができる小さなプロジェクターが販売されています。


Xperia Touch G1109 | ソニーモバイルコミュニケーションズ

これを使えば、例えば私がスピーチした内容を、聴覚障害者の人が集まっているテーブルの上に映す出すことが可能になります。そうすれば私の口元が何らかの角度の問題などで見えなかったとしても、聴覚障害者の人たちが一度にその机に表示される文字を見て、私の話してることが理解できるということになります。
 

社内の会話を文章化

さらに例えば、コストを度外視した話にはなりますが、小さな会社などで、会社がお金を出してイヤホンマイクを買い与え、仕事時間中はその着用を義務付けることも技術的には可能です。
社員間で話していることが、スカイプのチャットのようにどこか大きなスクリーン上に提示される。そうすれば、大勢の中で聴覚障害者だけが取り残されるということが減ってきます。
 

スマートスピーカーで家の中の会話を文章化


さらに家のデバイスを一括管理する、スマートスピーカーというものが今後流行ろうとしています。Amazon Echo、Google Homeなどです。
【スマートスピーカー比較】Amazon Echo、Google Home、Apple HomePod どれを選ぶ? 本体、価格など徹底比較! | ロボスタ – ロボット情報WEBマガジン

これは例えば、誰かが家に帰ってきた時、スピーカーに決まったフレーズで声をかけます。すると、そのスピーカーはその声の主を判別し、その人用の情報を出していくことが可能です。今日の天気や株価、何でもいいですよね。
グーグルホームのAIが超進化 利用者の「声の聞き分け」に対応 | Forbes JAPAN(フォーブス ジャパン)

ということは、技術的には家族間での会話をそのままプロジェクターで大きな壁に映し出すということだって全くの不可能ではないと思うんですよ。そして、聴覚障害者側は話したい時に自分の口で話してもいいし、手話で話してもいいし、それが出来なければ文字を何らかの機械に打ち込んで、その機械から音声を出すということも可能です。
 
 

私がこんなに実験をする理由

なぜ私がここまで考えているかというと、なにも聴覚障害者の権利の主張、差別の撤廃や、障害への認知などを高めたいなどという発想ではありません。

私の大事な友達の1人であり、生徒であるペコさんと楽しく、お互い気を使わず会話したい。その一心です。他の事には本当に興味がないです。友達と楽しく会話をするためにお互い同じLINEを入れてIDを教え合うのは普通です。それと同じ発想で間に機械を介して、工夫をしようと言うだけなのです。

この実験を続けていきます。乞うご期待、ではまたね。
 
 
こっこのプロフィール


海外在住経験ゼロで、TOEIC830をとった日本人女子。LINEのタイピングはネイティブより速い。アメリカ人だとおもったよ、と外国人によくいわれる。
29歳にして、体内年齢18-19歳。心はアラサー、体はJKである。恋愛観が峰不二子で、彼氏複数。ストレスは人生の3%程度しかない。
海外旅行のファッションと、荷物が軽いことにこだわりまくる。
ネット上の悪口や中傷には、あらゆる手をつかって戦うから覚悟してほしい。
詳しくはこちら。

記述になにか明らかな間違いを発見なさった場合は問い合わせフォームからご連絡ください。
お名前となんらかのSNSアカウントの御記載のないもの、twitterのリプライなどでは受け付けません。
ご意見やアドバイスは、こちらから必要な時に然るべき方に求めていきますので結構です。

 - ガジェット, 主観のコラム, 恋愛・考え方, 社会と未来の話, 聴覚障害でも英語