Vědci z MIT provedli srovnání 59 vědeckých AI modelů, které byly trénovány na různé úkoly, jako jsou chemické vzorce, 3D atomové koordináty nebo sekvence proteinů.

Navzdory rozdílným architekturám a tréninkovým datům se ukazuje, že modely vyvíjejí podobné interní reprezentace molekul, materiálů a proteinů. Čím lépe model splňuje svou úlohu, tím více se jeho interní zastoupení blíží zastoupení nejlepšího modelu. To naznačuje, že výkonné AI systémy se učí společnou reprezentaci fyzikální reality.

Různé vstupy a interní učení

Vědecké AI modely pracují s širokým spektrem vstupů. Některé zpracovávají molekuly jako kódované řetězce, jiné pracují s 3D atomovými koordináty, zatímco další se zaměřují na proteinové sekvence. Ačkoli byly trénovány na zcela odlišných datech, zdá se, že se interně učí něco podobného. To potvrzuje nová studie výzkumného týmu z Massachusetts Institute of Technology.

Tým pod vedením Sathyi Edamadaky a Soojung Yang prozkoumal 59 různých modelů, včetně specializovaných systémů pro molekuly, materiály a proteiny, ale také velkých jazykových modelů jako DeepSeek a Qwen. Vědci extrahovali interní reprezentace každého modelu a porovnali je pomocí několika metrik.

Konvergence výkonu modelů

Výsledky ukazují, že naučené reprezentace jsou mezi různými formáty vstupů signifikantně synchronizovány. Modely zaměřené na 3D koordináty vykazují silnou shodu, stejně jako textové modely. Překvapivě jsou zde také zřetelné podobnosti mezi těmito skupinami.

Pokud model exceluje ve své tréninkové úloze, jeho reprezentace se více přibližuje nejlepšímu modelu. Výzkumníci tvrdí, že silné modely se učí společnou reprezentaci fyzikální reality. Rovněž komplexita interních reprezentací všech modelů spadá do podobného úzkého rozsahu, což naznačuje univerzální strukturu.

Omezení u neznámých struktur

Analýza však také odhaluje omezení. U známých struktur, které se podobají tréninkovým datům, poskytují silné modely shodné reprezentace, zatímco slabší modely nacházejí každé své vlastní, méně přenosné řešení. V případě zcela nových struktur, které se výrazně liší od tréninkových dat, selhávají téměř všechny modely: jejich reprezentace se stávají povrchními a ztrácejí důležité chemické informace.

Aktuální modely materiálů tak dosud nedosáhly zakládajícího statusu, neboť jejich reprezentace jsou příliš silně ovlivněny omezenými tréninkovými daty. Pro skutečnou generalizaci jsou nezbytné daleko rozmanitější datové sady. Vědci navrhují orientaci reprezentací jako novou benchmarkovou metodu: model dosahuje zakládajícího statusu pouze tehdy, pokud vykazuje vysokou výkonnost a současně je silně sladěn s jinými výkonnými modely.

Přetrvávající problém generalizace

Tato nedostatečná generalizace mimo tréninková data je známým základním problémem současných AI modelů. Výzkumné výsledky naznačují, že například architektury transformerů selhávají v generalizaci při úlohách skládání, tedy při kombinování známých faktů do nových odvozených faktů, mimo tréninková data (Out-of-Distribution, OOD).

Už v květnu 2024 studie téhož institutu ukázala, že různé AI modely se při rostoucím výkonu sbližují ke společným reprezentacím. Vědci tento jev nazvali „platonická reprezentace“ ve smyslu Platónovy jeskyně. Nová studie tuto teorii poprvé aplikuje na vědecké modely a poskytuje důkazy o tom, že i specializované AI systémy pro chemii a biologii by mohly konvergovat k univerzální reprezentaci hmoty.

Další forma konvergence

Nedávno zveřejněný benchmark SDE pro vědecký výzkum odhaluje další formu konvergence: modely se u nejtěžších otázek často shodují na stejných chybných odpovědích. I zde vykazovaly nejlepší modely největší shodu. To již dříve naznačila jiná studie, která se zabývala dohledem procesů AI jinou AI. Podobnost v hodnoceních by mohla vést k „slepým místům“ a novým režimům selhání.

Novinky o AI bez humbuku – kurátorováno lidmi. S abonentem THE-DECODER čtete bez reklamy a stanete se součástí naší komunity: Diskutujte v komentářovém systému, získávejte náš týdenní AI newsletter, 6× ročně „AI Radar“ s nejnovějšími vývoji na vrcholu AI výzkumu, až 25 % slevu na AI Pro akce a přístup do kompletního archivu za posledních deset let. Nyní se můžete přihlásit.