8 věcí, které musíte vědět o LLM

Samuel R. Bowman sepsal "Osm věcí, které je třeba vědět o velkých jazykových modelech". ChatGPT a spol. (LLM) jsou sledovány často s obavami, například ze zkreslení či chování. Co bychom tedy měli o LLM vědět?

1. LLM vykazují předvídatelné zlepšení s rostoucími náklady, a to i bez výrazných inovací. To umožňuje výzkumným a vývojovým týmům navrhovat projekty trénování modelů v hodnotě mnoha milionů USD s přiměřenou jistotou, že se jim podaří vytvořit ekonomicky hodnotné systémy.

Zákon škálování umožňuje přesně předpovědět některá hrubá, ale užitečná měřítka toho, jak schopné budou budoucí modely, když je budeme škálovat ve třech dimenzích: množství dat, velikost (měřeno v parametrech) a množství výpočtů použitých k trénování (měřeno v FLOP).

Původní GPT nebyl schopen vytvářet souvislý text. GPT-2 přidal schopnost produkovat přiměřeně kvalitní text a omezenou schopnost sledovat jednoduché instrukce. GPT-3 byl první moderní univerzální LLM a je skutečně užitečný v široké škále jazykových úloh.

2. Se zvýšenými náklady na výcvik se však mohou nepředvídatelně objevit specifické dovednosti, takže je obtížné předvídat, kdy bude model schopen plnit určité úkoly.

Rozložení kvality modelu v jednotlivých úlohách ukázalo, že malé a střední modely měly omezené schopnosti, zatímco u větších modelů došlo k výraznému zvýšení výkonnosti.

Investování do LLM je investicí do blackboxu: máme přiměřenou jistotu, že získáme hromadu nových cenných dovedností. Ale nejsme schopni jistotou předpovědět, jaké dovednosti to budou.

3. LLM jsou schopny učit se a používat reprezentace vnějšího světa, jak se ukázalo u modelů vycvičených ke hraní deskových her na základě textových popisů tahů. To znamená, že mohou porozumět takovým věcem, jako jak vypadá kočka nebo co dělá auto, i když je nikdy v životě neviděly. Dělají to tak, že analyzují slova a věty v textu, na kterém jsou trénovány, a vytvářejí mezi nimi souvislosti.

Pokud si například učící se LLM přečte větu typu "Kočka seděla na parapetu", může se naučit, že kočka je zvíře, které má srst, vousy a čtyři nohy a že může sedět na věcech, jako jsou parapety. Tuto znalost pak může použít k vytvoření nových vět o kočkách, jako například "Černá kočka honila myš" nebo "Chlupatá kočka vrněla, když ji někdo hladil".

LLM se ale mohou dopustit chyb nebo přijít s nepravdivými informacemi, zejména pokud nejsou vyškoleni v rozmanitých textech. I když se tedy mohou dozvědět o světě, stále musíme být opatrní v tom, jak je používáme a jaké informace jim svěřujeme.

4. V současné době neexistují spolehlivé metody řízení chování LLM, a to i přes pokrok při zmírňování různých problémů, jako je učení ze zpětné vazby. Narůstají obavy, že tyto problémy se v budoucích rozsáhlých systémech mohou stát katastrofálními.

Zjednodušeně řečeno, LLM jsou jako opravdu chytří roboti, kteří dokáží porozumět jazyku a generovat jej. Jsou však tak chytré, že je těžké kontrolovat, co říkají nebo dělají. Je to jako snažit se kontrolovat opravdu chytrého kamaráda, který občas říká věci, které nečekáte. Někdy mohou tito roboti dělat chyby nebo říkat věci, které nejsou pravdivé, a je těžké zjistit proč. Vědci se stále snaží přijít na to, jak tyto roboty přimět, aby se chovali lépe a dělali to, co po nich chceme.

5. Odborníci v současné době nejsou schopni interpretovat vnitřní fungování LLM, protože neexistuje metodika, která by umožnila vyjádřit, jaké znalosti, úvahy nebo cíle model používá k vytváření výsledků.

Moderní velké jazykové modely jsou postaveny na umělých neuronových sítích, které jsou volně modelovány podle lidských neuronů. Vědci nejsou schopni interpretovat vnitřní fungování těchto modelů, což znamená, že nedokážou vysvětlit, jaké znalosti, úvahy nebo cíle model používá, když vytváří nějaký výstup.

6. LLM mají potenciál překonat člověka v mnoha úlohách, i když jsou vycvičeny tak, aby napodobovaly chování člověka při psaní, jak se ukázalo v užších úlohách, jako je například hraní šachů.

LLM mohou potenciálně překonat člověka v mnoha úlohách, protože jsou vycvičeny na mnohem větším množství dat, než jaké vidí člověk, a mohou být dodatečně vycvičeny pomocí posilování učení. To znamená, že modely LLM mají přístup k většímu množství informací a mohou se naučit vytvářet odpovědi, které jsou užitečnější než odpovědi, které dokáže vytvořit člověk.

Představte si, že se snažíte naučit řešit matematický problém. Máte k dispozici učebnici s několika příklady, ale velký jazykový model má přístup k mnoha učebnicím s tisíci příklady. Čím více příkladů model má, tím lépe se může naučit, jak problém vyřešit.

Kromě toho lze modelu poskytnout další pomoc, jako je doučování, aby se naučil řešit problém ještě lépe. To je podobné tomu, jak lze modelům LLM poskytnout posilování učení, aby se zlepšil jejich výkon.

7. LLM nemusí vyjadřovat hodnoty svých tvůrců nebo hodnoty zakódované ve vzorku z internetu. Když prostý předtrénovaný LLM vytvoří text, bude se tento text obecně podobat textu, na kterém byl trénován. To zahrnuje podobnost v hodnotách vyjádřených textem. Tyto hodnoty však podléhají dobré míře kontroly ze strany jejich vývojářů, zejména když je prostý předtrénovaný LLM dále podněcován a trénován, aby byl přizpůsoben pro nasazení jako produkt. To znamená, že hodnoty vyjádřené v chování nasazeného LLM nemusí odrážet nějaký průměr hodnot vyjádřených v jeho tréninkových datech.

8. Počáteční hodnocení LLM může být zavádějící, protože pečlivě vytvořená výzva nebo příklad mohou výrazně zlepšit jeho výkon a odhalit jeho skutečné schopnosti.

LLM mohou být citlivé na obsah instrukcí idiosynkratickým způsobem a často nedokážou splnit zadanou úlohu. Jakmile je však nalezen vhodný způsob, jak modelu zadat úkol, může model konzistentně podávat dobré výkony v různých případech úlohy. LLM sice rozumí jazyku, ale někdy je může zmást způsob, jakým je otázka položena. To znamená, že nemusí být vždy schopni splnit úkol správně napoprvé, ale pokud je otázka přeformulována nebo mírně změněna, mohou úkol splnit správně.

Je to podobné, jako když požádáte kamaráda o pomoc s matematickou úlohou - pokud mu ji nevysvětlíte jasně, nemusí vám být schopen pomoci, ale pokud ji vysvětlíte jinak, může vám ji pomoci vyřešit.