Przełomu dokonali naukowcy z Uniwersytetu Teksańskiego w Austin, którzy opracowali algorytm, który może “odczytać” słowa słyszane lub wizualizowane podczas badania fMRI. W przeszłości były spore postępy w rekonstrukcji języka lub obrazów na podstawie sygnałów z implantów mózgowych, ale to pierwszy raz, gdy z powodzeniem użyto metody nieinwazyjnej. Szczegóły opisano w pracy opublikowanej na serwerze preprintów bioRxiv.
Czytaj też: “To nie brzmi dobrze”. Jak odróżnić dźwięk właściwy od niewłaściwego? Nasz mózg to wie!
Dr Alexander Huth z Uniwersytetu Teksańskiego w Austin mówi:
Gdybyś 20 lat temu zapytał jakiegokolwiek neuronaukowca na świecie, czy jest to możliwe, wyprosiłby cię z pokoju.
Jak się czyta w myślach?
Funkcjonalny rezonans magnetyczny nie jest idealnym narzędziem “dekodowania” słów w mózgu. Zamiast wykrywać sygnały przekazywane między neuronami w skali milisekund, maszyny fMRI mierzą zmiany w przepływie krwi w mózgu, które są manifestacją aktywności neuronalnej. Nie są jednak im równoznaczne.
Zespół dr Hutha wytrenował algorytm przy pomocy skanów fMRI, które wykonano, gdy trzy osoby (jedna kobieta i dwóch mężczyzn) słuchały 16 godzin podcastów. Na podstawie zebranych danych, stworzono zestaw przewidywań dotyczących tego, jak będą wyglądać skany fMRI tych osób. Porównano je z obrazami rzeczywistymi, a przewidywania, które najbardziej pasowały do właściwych odczytów, określały słowa, które wygenerowano.
Uczeni oceniali podobieństwo wygenerowanych przez dekoder słów do bodźca odbieranego przez osobę badaną. Ocenili również język wygenerowany przez ten sam dekoder, który nie został sprawdzony z zapisem fMRI.
Czytaj też: Przełom w neurobiologii! Ludzkie neurony połączono z mózgiem szczura
Dr Huth tłumaczy:
Procedura “zgadnij i sprawdź” algorytmu ostatecznie generuje całą historię z nagrań fMRI, która pasuje “całkiem dobrze” do rzeczywistej historii opowiadanej w nagraniu audio. Dekoder ma jednak pewne niedociągnięcia, np. nie jest zbyt dobry w stosowaniu zaimków i często miesza pierwszą i trzecią osobę. Dekoder wie dość dokładnie co się dzieje, ale nie wie, kto to robi.
Opracowana metoda ma ogromny potencjał do zastosowania klinicznego, bo jest w pełni nieinwazyjna. Należy jednak pamiętać, że maszyny do rezonansu magnetycznego są duże i dość drogie, więc nie jest to coś, co można zrobić w dowolnym miejscu na świecie. Magnetoencefalografia – inna nieinwazyjna, ale bardziej “mobilna” technika obrazowania mózgu – może potencjalnie posłużyć do stworzenia podobnego dekodera.
Pierwsza taka metoda na świecie
Przeprowadzone badania ujawniają, które części mózgu są odpowiedzialne za tworzenie znaczenia słów. Udało się określić, który region mózgu reprezentuje jaką informację semantyczną. Najbardziej zaskakujące jest to, że dekoder potrafił zrekonstruować bodźce, które nie wykorzystywały języka semantycznego. Algorytm z powodzeniem odtworzył znaczenie oglądanego filmu niemego, jak również wyobrażone doświadczenie uczestnika opowiadającego historię.
Ponieważ opracowany dekoder wykrywa znaczenie lub semantykę, a nie pojedyncze słowa, ocena jego użyteczności może być trudna. To dlatego, że liczne kombinacje słów mogą mieć różne znaczenie, którego algorytm nie “odgadnie”. Na ten moment nie można jednoznacznie stwierdzić, że potrafi czytać w myślach nas wszystkich.
Czytaj też: Ruchy gałek ocznych podczas snu nie są przypadkowe. Oglądają świat wykreowany przez nasz mózg
Dr Huth przyznaje, że możliwość “czytania w myślach” może być dla niektórych osób przytłaczająca, ale jego zespół dokładnie przemyślał implikacje tych badań. Dekoder wyszkolony na skanach fMRI jednej osoby, nie jest w stanie “zrozumieć” innej osoby – w tym przypadku jest pełna personalizacja. Aby technologia zadziałała, musi być chęć współpracy na linii operator-pacjent.
Metoda stworzona przez uczonych z Uniwersytetu Teksańskiego w Austin otwiera szeroko drzwi do lepszych interfejsów mózg-komputer oraz komunikacji z osobami, które mówić nie mogą (np. cierpiących na zespół zamknięcia). Potencjalnych zastosowań jest znacznie więcej, choć sama technika wymaga dopracowania – jest w tej materii pole do manewru.