İnsan Beyni Sinyallerini
Metne Çevirir
AI, İnsan Beyni
Sinyallerini Metne Çevirir
UCSF sinirbilimcilerin beyin-bilgisayar arayüzü, doğal
konuşma hızlarında kod çözer.
05 Nis 2020
Teknoloji ve sinirbilim bir
gün insanların sadece zihni kullanarak sessizce yazmalarına olanak sağlayabilir
mi?
Şimdi bilim adamları,
insan düşüncelerinin yönlendirdiği bir bilgisayar arayüzüne bir adım daha
yaklaştı.
California
Üniversitesi, San Francisco'daki (UCSF) nörobilimciler bir çalışma yayınladıNature
Neuroscience'da geçen hafta , beyin-bilgisayar arayüzünün
(BCI) yapay
zeka (AI) makine öğrenimini kullanarak insan beyni
aktivitesini nispeten yüksek doğrulukla ve doğal konuşma hızlarında metne nasıl
çevirebildiğini gösteren .
Nörobilim
araştırmacıları Edward Chang, David Moses ve Joseph Makin, UCSF Bütünleştirici
Sinirbilim Merkezi ve Nörolojik Cerrahi Departmanında çığır açan çalışmalarını
kısmen Facebook Reality Labs'tan sağlanan fonla gerçekleştirdiler.
Facebook, üç yıl önce,
teknolojinin geleceğine odaklanan yıllık bir geliştirici etkinliği olan F8'de,
beyin hasarı olan hastaların iletişim kurmasına yardımcı olmayı amaçlayan UCSF
araştırmacılarından oluşan bir ekibi destekleyerek beyin-bilgisayar arayüzleri
geliştirme girişimlerini duyurdu.
Nihayetinde
Facebook'un vizyonu, insanların kendilerini konuşurken hayal ederek yazı
yazmalarını sağlayan, müdahaleci olmayan bir giyilebilir cihaz yaratmaktır.
UCSF araştırmacıları,
son dönemdeki atılımlarını gerçekleştirmek için, modern makine çeviri
algoritmalarının nasıl çalıştığına benzer şekilde, bir seferde bir cümleyi
çözme yaklaşımını kullandılar.
Hipotezlerini test
etmek için, konuşma üretimi ve ilgili sözlü cümlelerin transkripsiyonları
sırasında elektrokortikgramlardan (ECoG) alınan beyin sinyallerini kullanarak
bir model eğittiler. 30-50 benzersiz cümle ile sınırlı, kısıtlı bir dil
kullandılar.
Çalışmanın katılımcıları,
halihazırda epilepsi tedavisi gören ve nöbetler için klinik izleme altında olan
UCSF Tıp Merkezi'nde rıza gösteren dört hastaydı.
Katılımcılar
bilgisayar ekranında görüntülenen cümleleri yüksek sesle okurlar. İki
katılımcı, 30 cümle ve yaklaşık 125 benzersiz kelimeden oluşan resimli
açıklamalar içeren bir setten cümleleri okurken, kalan iki cümle 460 cümle ve
1800 benzersiz MOCHA-TIMIT veri setinden 50 bloktan (veya son blokta 60
kelimeden) okundu. kelimeler.
Katılımcılar yüksek
sesle okurken beyin aktiviteleri, her hastanın kortikal yüzeyine cerrahi olarak
implante edilen 120-250 elektrottan oluşan ECoG dizileri kullanılarak
kaydedildi.
Spesifik olarak, üç
katılımcıya perisylvian korteksleri üzerinde 256 kanal ızgaraları ve bir
katılımcı da Sylvian fissürün dorsalinde yerleştirilmiş 128 kanallı ızgarayla
implante edildi.
ECoG dizisi,
kodlayıcı-kod çözücü tarzı yapay sinir ağına (YSA) girdi verileri
sağladı. Yapay sinir ağı dizileri üç aşamada işledi.
İlk aşamada YSA, ECoG
verilerinden gelen sinyalleri altörneklemek için zamansal evrişimli filtreleri
öğrenir.
Bunun yapılmasının
nedeni, ECoG verileri dizisindeki farklı noktalarda meydana gelebilecek benzer
özelliklerle ortaya çıkabilecek ileri beslemeli bir ağın sınırlamasını
potansiyel olarak ele almaktır.
Filtre, yüz özellik dizisi üretir.
Bir sonraki aşamada,
bu diziler, dizileri son bir gizli durumda özetlemeyi öğrenen ve tüm dizinin
yüksek boyutlu bir kodlamasını sağlayan kodlayıcı tekrarlayan sinir ağına (RNN)
geçirilir.
Son aşamada, kodlayıcı
RNN tarafından üretilen yüksek boyutlu durum, bir kod çözücü tekrarlayan sinir
ağı tarafından dönüştürülür.
Bu ikinci tekrarlayan
sinir ağı, sıradaki bir sonraki kelimeyi tahmin etmeyi öğrenir.
Genel olarak, sinir
ağı, kodlayıcının çıktı değerlerinin hedef mel frekansı sepstral katsayısına
(MFCC) yakın olduğu bir şekilde eğitilirken, aynı zamanda kod çözücü her bir
hedef kelimeye yüksek olasılık atar.
Eğitim, geri yayılım
yoluyla stokastik gradyan inişi kullanılarak yapılır.
Araştırmacılar,
sistemlerinin diğer mevcut beyin-makine arayüzlerinden daha yüksek doğruluk
oranları elde ettiğini bildirdi.
UCSF sinirbilimcileri,
teknikleriyle, konuşmanın, 250 kelimelik kelime dağarcığına sahip veri
setlerinde yüzde üç gibi düşük kelime hatası oranlarıyla ECoG verilerinden
çözülebileceğini bildirdi.
USCF araştırmacılarına
göre, "kelimelerin% 40'ından daha azını doğru bir şekilde çözmek" ile
sınırlı olan diğer mevcut beyin-makine arayüzleri.
Araştırmacılara göre,
bu çözümü diğerlerinden ayıran şey, sinir ağlarının "sadece cümleleri
değil, ECoG verilerinden kelimeleri tanımlamayı ve bu nedenle yeni cümlelerin
kodunun çözülmesine genellemenin mümkün olduğunu" öğrenmiş olmasıdır.
Günümüzde bilgiler
bilgisayar cihazlarına konuşma, dokunmatik ekranlar ve klavye ile
aktarılmaktadır.
Akıllı telefonlar ve
diğer bilgi işlem cihazları bir gün düşünme yerine, yazmaya, parmak
dokunuşlarına veya konuşmaya göre yönlendirilecek mi?
Nörobilim ve
yapay zeka makine
öğreniminin disiplinlerarası kombinasyonu sayesinde bilim adamları,
yalnızca kilitli sendromlu ve konuşma engelli kişilere yardımcı olmakla
kalmayıp, aynı zamanda hepimizin akıllı telefonlar ve bilgi işlem cihazlarıyla
nasıl etkileşim kurduğumuzu ve bunlarla nasıl etkileşim kurduğumuzu da
değiştiren teknolojiler geliştirmede daha ilerideler. çok uzak olmayan bir gelecek.
https://www.psychologytoday.com/us/blog/the-future-brain/202004/ai-translates-human-brain-signals-text

