Giyilebilir Teknoloji Ürünü Eldiven İşaret Dilini Konuşma Diline Çevirebiliyor

Ucuz, esnek ve dayanaklı malzemelerden oluşan akıllı teknoloji ürünü giyilebilir eldiven, konuşma engellilerin dış dünya etkileşimlerine yardımcı olma potansiyeli taşıyor.

Los Angeles’taki Kaliforniya Üniversitesi (UCLA) bünyesinde araştırma faaliyetlerini yürüten biyomühendisler, Amerikan işaret dilini, akıllı telefon uygulaması yardımıyla İngilizce konuşma diline çeviren, eldiven benzeri bir giyilebilir teknoloji ürettiler. Söz konusu araştırma saygın bilim dergisi Nature Electronics’de yayınlandı ve büyük yankı getirdi.

UCLA Samueli Mühendislik Okulu’nda görev yapan baş araştırmacı Dr. Öğretim Üyesi Jun Chen, “İşaret dili bilenlerin sayısı oldukça az ve bu, konuşma engellilerin dış dünya ile iletişimi, iş gücüne katılımı önünde ciddi bir engel. Umudumuz, bu teknoloji sayesinde işaret dili kullananların, bu dili bilmeyenler ile çevirmen yardımı olmadan doğrudan iletişim kurabilmesi.” diyerek çalışmanın hedeflerini belirtti.
Sistem bir çift eldiven ve parmaklar boyunca uzanan esnek hareket sensörlerinden oluşuyor. İletken ipliklerden oluşan bu sensörler, farklı harf, ifade, kelime veya rakamlara denk gelen el ve parmak hareketlerini ve pozisyonlarını algılayabiliyor.

Algıladığı bu hareketleri ve pozisyonları elektrik sinyallerine dönüştüren sistem, bilek kısmına denk gelen ve bir bozuk para büyüklüğünde olan devre kartına bu sinyalleri gönderiyor. Kart ise kablosuz teknolojiyle bu bilgileri akıllı telefona iletiyor. Uygulama içerisinde çalışan yapay zeka algoritmaları sayesinde saniyede bir kelime hızla el hareketleri konuşma diline çevriliyor.

4 işitme engelli katılımcı ile sürdürülen test aşamaları ile yapay zeka algoritmalarının eğitilmesi sağlandıktan sonra 660 işaret ile alfabedeki tüm harfler ve sıfırdan dokuza tüm rakamlar yapay zekaya öğretildi.

Araştırmacılar testleri yaparken katılımcıların yüzlerine de sensör yerleştirdi. Kaşların ortasına ve yanaklara yerleştirilen sensörler ile Amerikan işaret diline eşlik eden yüz ifadelerinin de tespit edilmesi amaçlanıyor.

Benzer çözümler çok büyük ve çok masraflı olduğu için bu hafif, ucuz ve esnek polimerden yapılma ürün gelecek vaat ediyor.

Kaynak:
Zhihao Zhou, Kyle Chen, Xiaoshi Li, Songlin Zhang, Yufen Wu, Yihao Zhou, Keyu Meng, Chenchen Sun, Qiang He, Wenjing Fan, Endong Fan, Zhiwei Lin, Xulong Tan, Weili Deng, Jin Yang & Jun Chen. Sign-to-speech translation using machine-learning-assisted stretchable sensor arrays. Nature Electronics, 2020 DOI: http://dx.doi.org/10.1038/s41928-020-0428-6

Video İçin: Tıklayın.

Tasarlab