みんなの声を文字化する音声認識システムを難聴の子どもたちに届けたい

 

 

 

～難聴者の日常～　その１

 

～難聴者の日常～　その２

 

ご覧いただきありがとうございます。

 

 

今回私たちが解決を目指すのは、上のような状況です。

 

 

聴覚障害を抱える子どもたちは、その「聞こえにくい」という障害の特性から、周りの音を聞きとったり、複数の人と会話したりすることを苦手としています。

 

 

友だちと仲良く話したくても、聞き取れないからと諦めていたり、参加できても会話についていけなかったりと、疎外感を感じていることもあります。

 

 

本プロジェクトは、このような状況を解決するために、ドラマ「Silent」でも登場した文字起こしアプリをさらにレベルアップしたものを開発し、子どもたちへ提供するプロジェクトです。

 

 

 

 

 

 

 

 

ろう者の翔さんにシステムを試していただきました！

 

 

メディア掲載実績

 

 

・中部経済新聞
　https://www.chukei-news.co.jp/news/2024/07/26/OK0002407260701_02/

 

 

 

 

はじめまして、hearing labと申します。

 

私たち「hearing lab」は、聴覚障害者（以下、難聴者）と健聴者の有志メンバーで結成されたプロジェクトチームです。

普段は聞こえや補聴器に関する研究、難聴者が本当に「ほしい」と思うサービスの開発、各種支援活動等を行っています。当事者が参加していることもあり、かなり踏み込んだ実情や現実的なトピックスを話せることが強みです。

 

 

難聴者の抱える本当の孤独感は、思った以上に世の中に知られていません。障害の実情やその解決策について精一杯お伝えしていきますので、最後までご覧いただけると嬉しいです。

 

　

 

 

 

 

 

 

 

あなたは聴覚障害について、どれくらいご存じでしょうか。

 

 

耳が聞こえにくい、補聴器を使う、手話や筆談が必要、滑舌が悪いetc...

 

 

いろいろなイメージがあると思いますし、実際も個人差が大きくて理解が得られにくい難しい障害なのですが、その実情が「コミュニケーション」に関わる障害であることは、思ったよりも知られていないように感じます。

 

 

「聞こえない」ということは、人間関係に直接的な影響をもたらします。

 

 

◆　声が聞こえなければ、相手との会話が難しくなります。

 

◆　会話が難しくなれば、相手との関係を築くことができなくなります。

 

◆　関係を築けなければ、社会とうまく関わることも難しくなります。

 

 

そんなコミュニケーションの障害だからこそ、人によっては孤立したり、人や社会との関わりを諦めてしまったり・・・というケースも少なくありません。

 

 

 

 

 

 

「補聴器をつければ聞こえるって勘違いされるけど、実際はそんなことないんだよね。口の動きとか会話の流れからなんとなく『こうかな？』って予想してるだけだし。だからずっと口を見てなきゃいけなくて、すっごく疲れるんだよね・・・」  

 

 

こんなことを言っていたのは重度の障害を抱える１５歳の女の子ですが、実はけっこうな割合の難聴者が「相手の口を動きを見て」コミュニケーションを行っています。


耳から入ってくる情報が頼りないため、自然と口の動きを読むようになる。中には口パクだけで発言を読み取れる人もいるくらい、難聴者は視覚情報に頼って生活しているのです。


そんな状況だからこそ、「口が見えないと会話がまったくわからなくなる」という人は少なくありません。それこそコロナによるマスク着用は本当に地獄だったようで、何をするにも発言が聞き取れず、仕事や趣味だけでなく、買い物や家族との会話などの日常生活にも支障が出た人が続出していました。

 

 

 

 

 

そんな相手の口を見る難聴者がとにかく苦手としているのが

 

 

「複数人の場面」です。

 

 

難聴の人たちにとって、口が見えない状況は何もわからないのと同じ。

 

 

だからこそ、突然みんなが笑い出したとしてもなぜ笑っているのかがわかりません。

 

 

周囲で何か起こったとしても、そのことを知ることができないのです。

 

 

 

 

 

同じような理由から、友だちとの会話でも難聴者は苦労します。グループでの会話は話し手が頻繁に入れ替わるので、口を追いきれなくなってしまうからです。

 

次に誰が話すかわかる場面であればまだいいのですが、そんなケースはほとんどありません。次に誰が話すかを予測し、集中し続けなければ、会話についていくことすらできないのが難聴という障害なのです。

 

 

 

 

 

 

みんなとの会話における不安や孤独感は、私たちの思う以上に大きなものです。

 

 

想像してみてください。

 

 

少しでも気を抜けば会話についていけなくなり、置いてけぼりにされてしまうこと。楽しそうに話している状況でも、なぜ楽しいかを理解できず、愛想笑いをするしかないこと。はじめは親切だった友達も、何度もわからないことを聞き返しているうちに、だんだん「もういいや」って顔に変わっていくことを。

 

 

 

◇　会話についていくこととに精一杯で、素直に楽しめない

◇　聞こえてなくてもとりあえず相槌を打ったり、聞いているフリをしている

 

◇　聞こえなかったことを「無視した」や「聞く気がない」と勘違いされる

 

◇　「〇〇ちゃんはどう？」と聞かれ、変な返答をしてしまって場が凍り付く。

◇　聞き間違いによるトラブルが頻繁に起こる
  

 

 

こういった話は誇張でも何でもないどころか、難聴者の日常です。

 

 

そんな状況だからこそ「みんなとの会話を最初から諦めてしまっている」そんな難聴者は少なくありません。 

 

 

難聴者にとって、「みんな」との会話はそれほど難しいのです。 

 

 

 

 

 

 

本プロジェクトでは、そんな「みんなとの会話」の困難を少しでも緩和するために、今までにない新しい音声認識システムを開発し、難聴者へ提供していきます。

 

 

それは声を文字に変換する文字起こしアプリをさらにレベルアップさせた、みんなが話している場面でも「誰が何を話しているか一目でわかる」そんな音声認識システムです。

 

 

 

 

詳細はこれからお話ししていきますが、ひとまずは「みんなの場面で使える、複数人特化の文字起こしシステム」を作るんだと思っていただければと思います。

 

 

 

 

 

今回開発するシステムは、以下のような特徴を持っています。

 

 

 

 

一言でいうと、

 

 

「みんなとの会話でも文字起こしができて、さらに雑音や環境音にも強い」

 

 

というものですが、文字起こしアプリについてあまり詳しくない方もいらっしゃると思いますので、既存の文字起こしアプリと何が違うのか、もう少し詳しく説明させていただきます。

 

 

 

 

 

 

ご存じの方も多いと思いますが、声を文字に変換する文字起こしアプリは既に多くのものがリリースされています。

 

中には多くの方に使われている本当に素晴らしいアプリもあるのですが、それらも含めたほとんどのアプリが「スマホのマイク」で声を拾う仕組みのため、「みんなとの会話」において多くの課題を抱えていました。

 

 

 

 

 

 

 

 

このような理由から、既存の文字起こしアプリをうまく機能させるためには、「限りなく静かな場所で、スマホの近くに話し手を集め、１人ずつ被らないよう順番に話す」という条件を整えてあげる必要がありました。

 

 

しかしそんな恵まれた条件は多くないですし、むしろ難聴者が困るのは、まさにそういった「人数が多かったり周りが騒がしかったりする」場面です。

 

 

そのため、多くの難聴者にとって文字起こしアプリは「あると便利だけど、肝心なところで使えない」そんなものになっていたのです。

 

 

 

 

 

 

このシステムでは、今あげた課題をすべて解決していきたいと考えています。

 

 

具体的には、「周囲がどんな状況でも、話し手が何人いても、誰が何を話しているかわかる形で確実な文字起こしができる」ように設計・開発を行っていきます。  

 

 

・・・とはいえ「そんなことできるの？」と思う方もいらっしゃると思いますので、実際の認識風景を見ていただければと思います。

 

 

 

 

 

 

 

これが実際の認識風景です。

 

 

参加していただいた方にはできるだけ自由に、そしていつも通りのスピードで話してもらうようにお願いしました。 

 

 

そしたらなぜか餃子がテーマになってしまいましたが、それはそれとして、１人１人の声がしっかり文字化されていることがわかるのではないかと思います。

 

 

 

 

 

このシステムは今までの文字起こしアプリとは大きく異なり、「複数のマイクを使って音声を取得する」という仕組みを採用しています。

 

 

 

動画ではボーカル用の有線マイクを使用しているので少し大掛かりに見えますが、下画像のようなヘッドセットマイクやピンマイクも使用可能なので、実際はもう少しコンパクトです。

 

将来的にはこれらのマイクを無線化してさらに手軽に使えるようにしていく計画を立てています。

 

 

 

 

 

 

 

 

このシステムは、マイクを使用してもらう必要がある代わりに、「マイクごとに名前をつけ、それが誰の発言かを一目で把握できる」形になるよう設計を行いました。

 

 

対応人数は最大８人で、仮に８人が同時に話したとしても、それらをすべて文字化することができます。これにより、

 

 

◆　相手が何人いても

 

◆　どれだけ離れていても

 

◆　みんなが好き勝手話していても  

 

 

聴き取りたい相手の会話を、確実に文字化することができるようになりました。  

 

 

 

 

 

このシステムでは、複数のマイクを使う仕組みを採用したことにより、騒音や雑音に強く、その人の声を確実に拾うことができる「指向性マイク」を使用できるようになりました。  

 

 

 

 

今年の７月に行われた難聴者向けのイベントで本システムの初お披露目を行ったのですが、その時会場では有志団体による大太鼓が披露されていました。しかし、そんな大きな音が鳴り響く場所でもこのシステムは問題なく文字起こしが行えました。

 

 

ここまで騒音に強いとは思っていなかったので私たちも驚きましたが、これであれば工事現場や学校、工場などでも問題なく文字起こしができそうだ、と嬉しくなったことを覚えています。

 

 

 

 

 

 

また本システムは難聴者が使いやすいよう、様々な機能を実装していく予定です。

 

 

１．単語登録・辞書機能

　辞書を作成し、場面に応じて使い分けることができます。人名や専門用語にも対応させ、より高い精度での認識が行える機能を搭載します。

 

 

２．認識結果の共有機能

　他の端末に認識結果を転送することができ、それぞれの端末で会話を見ることができるようになります。不特定多数の方に共有することも可能です。

 

 

３．編集機能

　誤認識をリアルタイムで修正することができます。共有機能と組み合わせることで、字幕の修正を協力者の方にやっていただくこともできるようになっています。

 

 

４．保存、ダウンロード機能

　テキスト化した結果は保存し、他端末へ送付したり、いつでも見返したりすることができます。

 

 

５．外部出力機能

　外部スクリーンやプロジェクターに投影して、大画面で字幕を見ることができます。

 

 

他にも様々な機能を実装していく予定です。

 

 

 

 

 

 

 

今までの内容を簡単にまとめると、今回のプロジェクトは

 

 

「みんなとの会話でも確実な文字起こしができる」

 

 

そんな音声認識システムの開発プロジェクトです。

 

 

マイクを複数使うという新しい仕組みで、難聴者が抱える「みんなの会話についていけない」という状況を少しでも緩和し、コミュニケーションを円滑に進めるお手伝いができるように設計を行いました。

 

 

そして、このシステムを難聴者本人や所属する組織、学校や難聴者の支援団体などに無償で提供する事業を行うこと。これが本プロジェクトの最終目標です。

 

 

以降では、このプロジェクトを実現するためのスケジュールやリターンについてお話しさせていただきます。

 

 

 

 

 

 

本プロジェクトは「500万円をファーストゴールとしたAll or Nothingのプロジェクト」です。※All or Nothingとは、目標金額が達成できなかった場合は失敗となり、支援者様に費用が全額返金されるプロジェクト形式のことです。

 

 

プロジェクトが成功した場合は、システムをさらにアップデートし、そして子どもたちへの無償貸与事業を行います。

 

 

リターンは全部で５つご用意させていただきました。

 

 

 

 

 

 

◆ 応援ありがとうコース

 

　本プロジェクトを応援してくださる、ありがたい方へ向けたコースです。目に見えるリターンはありませんが、その応援が私たちと支援を必要とするみんなの力になります。ささやかなお礼ですが、ホームページ等にお名前を記載させていただきます（希望者のみ）。

 

 

◆ 開発参加コース

 

　プロジェクト終了直後からプロトタイプを実際にご利用いただき、一緒にシステムを作っていくコースです。「もっとこうしたい」「こんな機能があるといいのでは？」そんなアイデアや意見を出し合いながら、より良いシステムを作っていけたらと考えています。誰よりも先にシステムを使ってみたいという方にもオススメで、開発終了後は完成版の製品も提供されます。

 

 

◆ 応援＋製品提供コース

 

　応援のお礼として、製品版のアプリを「正式リリースよりもちょっとだけ早く」ご提供するコースです。アプリのみのコースと、マイク等の音声入力機器がセットになったコースをお選びいただけます。

 

 

◆ お世話になった人にプレゼントコース

 

　ご希望の団体、組織、個人に本システムをプレゼントするコースです。母校やお世話になった人や団体、今所属している組織などに、本システムをすぐに使える状態でプレゼントします。このコースには5年間のシステム利用料、アプリやマイクなどが故障した場合の修理費等、アプリの使用・維持に必要な費用が含まれます。お手紙などを同封することも可能です。

 

 

◆ スポンサーコース

 

　本プロジェクトを応援してくださる企業様に向けたコースです（こちらの詳細はリターンページをご覧ください）。

 

 

 

以上がリターンになります。続いてスケジュールについてお話しします。

 

 

 

 

 

本プロジェクトのリターン提供は来年の1月頃を予定しています。

 

 

 

 

開発の関係で前後する可能性はありますが、基本的には上記のスケジュールで実行していく予定です。

 

 

 

 

 

続いて資金のお話です。

 

 

このクラウドファンディングでご支援いただいた資金は、システム開発と提供事業に使わせていただく予定です。


今回のプロジェクトはイチからシステム開発を行うものですが、その内訳は以下の通りです。

 

 

総額が4000万もするのでかなりの高額事業に思えるかもしれませんが、実際はそうではありません。

 

 

なぜかというと、既に「国から2000万円の助成」が決定しているためです。


また、本プロジェクトは国からの助成だけでなく、朝日新聞様や中日新聞様、中部経済新聞様等のメディアに取り上げていただいたり、難聴者団体や多くの当事者からもご支援をいただくことができました。

 

 

そんな関係もあり、実際の資金調達のイメージは以下のようになっています。

 

 

 

費用の一部は開発に回されますが、残りは「難聴者を支援する組織や学校などにシステムを無償で提供する」そんな無償提供・貸与事業に使用する計画です。

 

 

今回のシステムはマイクを複数使う関係で、従来のアプリのように「インストールして終わり」というものではありません。マイクなどの機材を購入する必要があり、その他準備等もいろいろ必要になってきます。

 

 

そういった負担をなくし、どんな方でもシステムが使えるようにするため、そしてこのシステムをもっとよくしていくために、クラウドファンディングを活用していきたいと考えています。

 

 

 

 

このように、一定額を達成したら無償貸与事業や難聴者の支援団体への提供等を行い、多くの難聴者の方に使用してもらえる環境を整えていきたいと考えています。    

 

 

ぜひ、多くのご支援をいただけると嬉しく思います。

 

 

 

 

 

 

最後に少し、このプロジェクトに込めた想いをお話しさせてください。

 

 

今の時代は、障害者差別解消法の施行や合理的配慮の義務化等によって、障害者が社会に対して「こうしてほしい」という希望が出せるようになってきた時代です。それ自体は大変すばらしいことではあるのですが、しかし一方で配慮してもらうことに申し訳なさを感じたり、配慮を求めることにハードルを感じている方も少なくないこともまた事実です。

 

 

私たちが関わってきた難聴者の中には、「配慮してくれるのは嬉しいけど、毎回してもらってばかりで申し訳ない。こちらから何も返せないのが辛い」と歯がゆい思いをしている人も多くいました。

 

 

「そんなこと気にしなくていいのになあ」と思うのですが、私が逆の立場だったらと想像してみると、その気持ちもわかるような気がします。

 

 

だからこそ、難聴者たちが要求するまでもなく、それが当たり前にあるようになってほしい。

 

 

難聴者がお願いしてやってもらうのではなく、健聴者が頑張ってやってあげるのでもなく、みんなにとって「そうすることが当たり前」である世界。そんな世界であれば、誰も負い目を感じることなく快適に過ごせるのではないかと思うのです。

 

 

 

 

 

 

この音声認識システムは、今まで対応が難しかった「みんなが話す場」でも文字起こしが行えることが特徴です。

 

 

それを実現した方法こそが「マイクを複数使い、マイク毎に認識を行う」ことにあったわけですが、その仕組みを採用したことで、別の方面でも応用が可能であることが分かっています。

 

 

それこそが「同時翻訳ツール」です。

 

 

 

 

このシステムはマイク毎に音声を取得するようにしたことで、マイク１は日本語、マイク２は英語といった「マイク別の言語設定」が可能となっています。

 

 

そしてマイク毎に認識できるということは、「日本語で話した内容を英語に翻訳」し、同時に「英語で話した内容は日本語に翻訳」するといった同時通訳的なこともできることを意味しています。  

 

 

このシステムには翻訳機能も実装する予定ですので、国際的なコミュニケーションツールとしての活用も期待できます。

 

 

 

 

 

会話の保存や共有にも対応しているため、議事録やリアルタイム字幕の共有ツールとして、様々な場面で使うことができるものになっています。

 

 

 

こういった健聴者にとっても便利なものであれば、難聴者が要求しなくとも常にそこにあって、難聴者は自然とその恩恵を得られるようになります。

 

 

難聴者側が「これを使ってください」とお願いするものではなく、当たり前にそこにある。

 

 

そういうものを目指して開発をしていけたらと考えています。

 

 

 

 

 

本プロジェクトは難聴者を対象とした音声認識システムの開発プロジェクトです。

 

 

難聴者が抱える「みんなでの会話」の困難を緩和し、友達との会話やグループに参加しやすくしたり、何を言っているかさっぱりわからない、という状況を少しでも減らすことを目指して設計・開発を行いました。

 

 

このプロジェクトはかなり大規模で、国からの大きな支援も受けることができました。しかし、よりよいシステムの開発、そして難聴者へ届けやすくするためにはまだまだ費用が必要で、特に近年の物価上昇により開発費が高騰、余裕があったはずのプロジェクトもさらに厳しくなっていることも正直な事実です。

 

 

難聴の子どもたちが「みんなの輪」に入れるよう、そして会話や打ち合わせなどの場に参加しより活躍できるようにするために、ご支援いただけると嬉しく思います。

 

 

支援ができない場合でも、SNSや口頭で拡散していただいたり、「こんなプロジェクトがあるらしいよ」って感じでお知り合いに勧めていただけるだけでも十分な支援になります。

 

 

当プロジェクトはYoutubeやTwitter（X）でも展開しておりますので、よければ応援のほどよろしくお願いします。

 

 

それでは、最後までお読みいただきありがとうございました。

 

 

ご質問やお問い合わせもXにてお受けしています