Choć sztuczna inteligencja zmienia współczesny świat, jedno z jej najważniejszych narzędzi, czyli głębokie sieci neuronowe, nadal pozostaje częściowo nieprzeniknioną “czarną skrzynką”. Wiemy, co wprowadzamy na wejściu i co uzyskujemy na wyjściu, ale jak dokładnie model wewnętrznie reprezentuje dane, to pytanie, które wciąż dezorientuje zarówno nowicjuszy, jak i ekspertów.
Czytaj też: Sztuczne neurony uczą się same. Przełomowe badania przybliżają AI do biologicznego mózgu
Zespół badaczy z Laboratorium Informatyki i Sztucznej Inteligencji (CSAIL) na MIT zaproponował właśnie nową, potencjalnie unifikującą teorię, która tłumaczy, w jaki sposób sieci neuronowe tworzą swoje wewnętrzne reprezentacje podczas treningu. Teoria może rzucić nowe światło na zjawiska, które dotąd były rozpatrywane osobno i intuicyjnie, jak np. neural collapse czy tajemnicze wyrównywanie cech (feature alignment).
Hipoteza Kanonicznej Reprezentacji – porządek z chaosu
Nowa koncepcja nosi nazwę Hipotezy Kanonicznej Reprezentacji (Canonical Representation Hypothesis, CRH). Główna idea jest pozornie prosta, ale jej konsekwencje są daleko idące: podczas treningu sieć neuronowa naturalnie dąży do wyrównania pomiędzy swoimi reprezentacjami, wagami i gradientami neuronów na poziomie każdej warstwy.
Czytaj też: Neurony nie są rozmieszczone w mózgu w przypadkowy sposób. Odkryto matematyczny wzór, który za tym stoi
To wyrównanie nie jest przypadkowe – oznacza, że sieć samoczynnie organizuje dane w bardziej zwarte, strukturalnie spójne reprezentacje, co z kolei wpływa na efektywność uczenia się, zdolność do generalizacji i potencjalnie interpretowalność modeli. Jak tłumaczy główny autor badania, prof. Tomaso Poggio, zrozumienie i wykorzystanie tej wewnętrznej struktury może pozwolić na projektowanie sieci, które będą bardziej zwięzłe, szybsze i łatwiejsze do zrozumienia – co ma kluczowe znaczenie w kontekście coraz bardziej złożonych architektur AI.
Co się dzieje, gdy sieć nie spełnia warunków CRH? MIT-owski zespół zaproponował wtedy alternatywną hipotezę – PAH (Polynomial Alignment Hypothesis). Gdy “kanoniczny” porządek zostaje zaburzony, zaczyna dominować inna struktura: reprezentacje, wagi i gradienty stają się wielomianowymi funkcjami siebie nawzajem.
W praktyce oznacza to, że w takich fazach działania sieci można zaobserwować inne zjawiska głębokiego uczenia, np. wspomniany neural collapse (brak polskiego odpowiednika), czyli fazę, w której dane należące do jednej klasy w przestrzeni reprezentacji zaczynają się niemal całkowicie nakładać. Zarówno CRH, jak i PAH mogą stanowić ramy teoretyczne, które unifikują dotychczasowe obserwacje, często traktowane jako odrębne i trudne do zinterpretowania efekty uboczne treningu sieci.
Teorie CRH i PAH nie są czysto spekulatywne – zespół MIT przetestował je na wielu zestawach danych i zadaniach uczenia, w tym klasyfikacji obrazów oraz uczeniu samonadzorowanym. Wyniki opisane w pracy umieszczonej na serwerze preprintów arXiv potwierdzają, że w różnych warunkach rzeczywiście dochodzi do wspomnianych faz, a strukturę reprezentacji można częściowo kontrolować.
Co więcej, jeśli reprezentacje rzeczywiście są ściśle powiązane z gradientami neuronów, to – jak sugerują naukowcy – możliwe jest ręczne “wstrzykiwanie szumu” do tych gradientów, aby ukierunkować rozwój struktury modelu. To otwiera nowe możliwości dla tzw. inżynierii reprezentacji (representation engineering), czyli świadomego wpływania na to, jak sieć widzi dane.
Most do neuronauki?
Co ciekawe, współautor badania, dr Liu Ziyin, sugeruje, że CRH może mieć także zastosowania w neuronauce. Hipoteza przewiduje, że sieci neuronowe mają tendencję do uczenia się zortogonalizowanych reprezentacji – a to zjawisko zostało ostatnio zauważone także w badaniach nad ludzkim mózgiem. Jeśli te analogie się potwierdzą, możliwe będzie lepsze zrozumienie podobieństw między uczeniem maszynowym a przetwarzaniem informacji w układzie nerwowym.
Naukowcy podkreślają, że kolejnym krokiem jest dokładne zrozumienie, jakie warunki prowadzą do poszczególnych faz – kiedy sieć przechodzi od fazy kanonicznej do wielomianowej i co to oznacza dla jej działania. Mogłoby to nie tylko pomóc w projektowaniu bardziej stabilnych i precyzyjnych modeli, ale również wyjaśnić wiele znanych problemów w trenowaniu sieci, takich jak przetrenowanie, niestabilność gradientów czy problemy z generalizacją.
Jeśli ta teoria się potwierdzi i zostanie szerzej przyjęta, może znacząco wpłynąć nie tylko na sposób, w jaki budujemy modele AI, ale także na nasze rozumienie samej inteligencji – zarówno sztucznej, jak i biologicznej.