İnsan Beyni Sinyallerini

İnsan Beyni Sinyallerini 

Metne Çevirir

AI, İnsan Beyni Sinyallerini Metne Çevirir

UCSF sinirbilimcilerin beyin-bilgisayar arayüzü, doğal konuşma hızlarında kod çözer.

05 Nis 2020

Teknoloji ve sinirbilim bir gün insanların sadece zihni kullanarak sessizce yazmalarına olanak sağlayabilir mi? 

Şimdi bilim adamları, insan düşüncelerinin yönlendirdiği bir bilgisayar arayüzüne bir adım daha yaklaştı. 

California Üniversitesi, San Francisco'daki (UCSF) nörobilimciler bir çalışma yayınladıNature Neuroscience'da geçen hafta , beyin-bilgisayar arayüzünün (BCI) yapay zeka (AI) makine öğrenimini kullanarak insan beyni aktivitesini nispeten yüksek doğrulukla ve doğal konuşma hızlarında metne nasıl çevirebildiğini gösteren .

Nörobilim araştırmacıları Edward Chang, David Moses ve Joseph Makin, UCSF Bütünleştirici Sinirbilim Merkezi ve Nörolojik Cerrahi Departmanında çığır açan çalışmalarını kısmen Facebook Reality Labs'tan sağlanan fonla gerçekleştirdiler. 

Facebook, üç yıl önce, teknolojinin geleceğine odaklanan yıllık bir geliştirici etkinliği olan F8'de, beyin hasarı olan hastaların iletişim kurmasına yardımcı olmayı amaçlayan UCSF araştırmacılarından oluşan bir ekibi destekleyerek beyin-bilgisayar arayüzleri geliştirme girişimlerini duyurdu. 

Nihayetinde Facebook'un vizyonu, insanların kendilerini konuşurken hayal ederek yazı yazmalarını sağlayan, müdahaleci olmayan bir giyilebilir cihaz yaratmaktır.  

UCSF araştırmacıları, son dönemdeki atılımlarını gerçekleştirmek için, modern makine çeviri algoritmalarının nasıl çalıştığına benzer şekilde, bir seferde bir cümleyi çözme yaklaşımını kullandılar. 

Hipotezlerini test etmek için, konuşma üretimi ve ilgili sözlü cümlelerin transkripsiyonları sırasında elektrokortikgramlardan (ECoG) alınan beyin sinyallerini kullanarak bir model eğittiler. 30-50 benzersiz cümle ile sınırlı, kısıtlı bir dil kullandılar.

Çalışmanın katılımcıları, halihazırda epilepsi tedavisi gören ve nöbetler için klinik izleme altında olan UCSF Tıp Merkezi'nde rıza gösteren dört hastaydı. 

Katılımcılar bilgisayar ekranında görüntülenen cümleleri yüksek sesle okurlar. İki katılımcı, 30 cümle ve yaklaşık 125 benzersiz kelimeden oluşan resimli açıklamalar içeren bir setten cümleleri okurken, kalan iki cümle 460 cümle ve 1800 benzersiz MOCHA-TIMIT veri setinden 50 bloktan (veya son blokta 60 kelimeden) okundu. kelimeler.

Katılımcılar yüksek sesle okurken beyin aktiviteleri, her hastanın kortikal yüzeyine cerrahi olarak implante edilen 120-250 elektrottan oluşan ECoG dizileri kullanılarak kaydedildi. 

Spesifik olarak, üç katılımcıya perisylvian korteksleri üzerinde 256 kanal ızgaraları ve bir katılımcı da Sylvian fissürün dorsalinde yerleştirilmiş 128 kanallı ızgarayla implante edildi.

ECoG dizisi, kodlayıcı-kod çözücü tarzı yapay sinir ağına (YSA) girdi verileri sağladı. Yapay sinir ağı dizileri üç aşamada işledi.

İlk aşamada YSA, ECoG verilerinden gelen sinyalleri altörneklemek için zamansal evrişimli filtreleri öğrenir. 

Bunun yapılmasının nedeni, ECoG verileri dizisindeki farklı noktalarda meydana gelebilecek benzer özelliklerle ortaya çıkabilecek ileri beslemeli bir ağın sınırlamasını potansiyel olarak ele almaktır. 

Filtre, yüz özellik dizisi üretir.

Bir sonraki aşamada, bu diziler, dizileri son bir gizli durumda özetlemeyi öğrenen ve tüm dizinin yüksek boyutlu bir kodlamasını sağlayan kodlayıcı tekrarlayan sinir ağına (RNN) geçirilir.

Son aşamada, kodlayıcı RNN tarafından üretilen yüksek boyutlu durum, bir kod çözücü tekrarlayan sinir ağı tarafından dönüştürülür. 

Bu ikinci tekrarlayan sinir ağı, sıradaki bir sonraki kelimeyi tahmin etmeyi öğrenir.

Genel olarak, sinir ağı, kodlayıcının çıktı değerlerinin hedef mel frekansı sepstral katsayısına (MFCC) yakın olduğu bir şekilde eğitilirken, aynı zamanda kod çözücü her bir hedef kelimeye yüksek olasılık atar. 

Eğitim, geri yayılım yoluyla stokastik gradyan inişi kullanılarak yapılır.

Araştırmacılar, sistemlerinin diğer mevcut beyin-makine arayüzlerinden daha yüksek doğruluk oranları elde ettiğini bildirdi. 

UCSF sinirbilimcileri, teknikleriyle, konuşmanın, 250 kelimelik kelime dağarcığına sahip veri setlerinde yüzde üç gibi düşük kelime hatası oranlarıyla ECoG verilerinden çözülebileceğini bildirdi. 

USCF araştırmacılarına göre, "kelimelerin% 40'ından daha azını doğru bir şekilde çözmek" ile sınırlı olan diğer mevcut beyin-makine arayüzleri. 

Araştırmacılara göre, bu çözümü diğerlerinden ayıran şey, sinir ağlarının "sadece cümleleri değil, ECoG verilerinden kelimeleri tanımlamayı ve bu nedenle yeni cümlelerin kodunun çözülmesine genellemenin mümkün olduğunu" öğrenmiş olmasıdır.

Günümüzde bilgiler bilgisayar cihazlarına konuşma, dokunmatik ekranlar ve klavye ile aktarılmaktadır. 

Akıllı telefonlar ve diğer bilgi işlem cihazları bir gün düşünme yerine, yazmaya, parmak dokunuşlarına veya konuşmaya göre yönlendirilecek mi? 

Nörobilim ve yapay zeka makine öğreniminin disiplinlerarası kombinasyonu sayesinde bilim adamları, yalnızca kilitli sendromlu ve konuşma engelli kişilere yardımcı olmakla kalmayıp, aynı zamanda hepimizin akıllı telefonlar ve bilgi işlem cihazlarıyla nasıl etkileşim kurduğumuzu ve bunlarla nasıl etkileşim kurduğumuzu da değiştiren teknolojiler geliştirmede daha ilerideler. çok uzak olmayan bir gelecek.

https://www.psychologytoday.com/us/blog/the-future-brain/202004/ai-translates-human-brain-signals-text