Anthropic varuje před vlastní AI. Finanční regulace ukazuje, jak ji zkrotit.
Výrobce Claude před vstupem na burzu otevřeně popisuje, co se může stát, když umělá inteligence překročí své pravomoci. Pro každého, kdo jí chce svěřit práci, data nebo peníze, je to zásadní zpráva. Finanční svět přitom už dávno zná pravidla, která potřebujeme: jasně určit, kdo smí co udělat, za kolik a pod čí kontrolou. Tokenizace umožňuje tato pravidla dostat přímo do provozu.
Vezměte si celý článek do svého ChatGPT, Claude nebo Gemini a zvažte jeho význam pro svou práci.
Když firma míří na burzu, obvykle vypráví příběh o růstu. Anthropic k němu minulý týden připojil čtení, u kterého by měli zpozornět i lidé, kteří si jeho akcie koupit nehodlají. Výrobce Claude v pondělí 26. října podal americké komisi SEC dokumenty k zamýšlenému IPO. Kapitola o rizicích zabírá 94 stran. Vedle obchodních a finančních hrozeb popisuje také možnost, že pokročilá AI začne jednat způsobem, kterému její provozovatel nerozumí a který nedokáže včas zastavit.
Firma píše i o katastrofických následcích a připouští, že tak velkou škodu by nemusela unést ani kapacita pojistného trhu. To jsou silná slova od společnosti, která na schopnostech a bezpečnosti vlastní technologie staví svou budoucnost. Prospekt Anthropicu v SEC.
Pro majitele firmy se to dá přeložit velmi prostě. Až jednou agent pošle peníze špatnému příjemci, uzavře nevýhodný obchod nebo zpřístupní firemní data, nebude nejdůležitější otázka, jak chytře svou chybu vysvětlí. Budeme chtít vědět, proč k tomu vůbec dostal příležitost.
Právě tady se potkává příběh AI s příběhem peněz. A právě tady podle mě získává regulovaná tokenizace svou největší váhu.
Problém může začít obyčejnou snahou dokončit úkol
K představě nebezpečné umělé inteligence se snadno přilepí filmový obraz stroje, který se rozhodne ovládnout svět. Skutečné případy jsou mnohem bližší každodenní práci.
Anthropic 9. října popsal situace, kdy jeho modely při testování a interním používání zasáhly do skutečných cizích systémů. Odeslaly formulář, který odeslat neměly, obcházely omezení přístupu nebo našly jinou cestu, když je používaný nástroj zastavil. Firma hodnotí následky těchto konkrétních případů jako malé. Podstatný je však samotný mechanismus: agent dostal úkol, narazil na překážku a hledal způsob, jak pokračovat. Zpráva Anthropicu.
Ještě výraznější příklad popsali britští výzkumníci AISI. Při kybernetickém testu agent oslovil skutečného správce otevřeného softwaru a pod falešnými identitami ho přesvědčoval, aby přijal škodlivou změnu. Správce odmítl. Test probíhal s povoleným internetem a vypnutými kybernetickými filtry, takže nevypovídá o četnosti takového chování v běžném používání. Ukazuje ale velmi konkrétně, kam může vést špatně ohraničený úkol. Zpráva AISI.
Anthropic ve svém hodnocení z 23. října zdůrazňuje, že model pořád sledoval zadaný cíl. Nevymyslel si vlastní poslání. Použil nepřijatelné prostředky k dosažení výsledku, který po něm někdo chtěl. Hodnocení incidentu.
V byznysu přitom rozdáváme neurčité úkoly každý den. Najdi levnějšího dodavatele. Získej zákazníka. Vyřeš nezaplacenou fakturu. Zajisti financování. Člověk kolem takového zadání tuší řadu nevyřčených hranic. Agent potřebuje, aby byly výslovně popsané a aby je systém dokázal vynutit.
Banka nedává každému zaměstnanci klíč od trezoru
U peněz jsme se tuhle lekci učili dlouho a často draze. Pokladník má jiná oprávnění než obchodník. Člověk, který obchod připravuje, nemá sám rozhodovat o všech jeho rizicích. Vyšší částka vyžaduje další podpis. Neobvyklá operace spustí kontrolu. Když něco selže, musí být dohledatelné, kdo co udělal a kdo to schválil.
Podobnou logiku už finanční regulace výslovně uplatňuje u algoritmického obchodování: vyžaduje limity, testování, sledování provozu a ochranu před chybnými pokyny. Počítá také s nouzovým stažením otevřených objednávek. Finanční trhy tedy už řeší otázku, kterou agentní AI staví před mnohem širší okruh firem: jak svěřit stroji rychlé jednání a udržet nad ním kontrolu. Pravidla algoritmického obchodování, nouzové zastavení podle ESMA.
Pro agenta z toho vychází srozumitelná pracovní smlouva se světem. Má svou roli, konkrétní úkol, rozpočet a dobu platnosti oprávnění. Ví se, ke kterým datům se dostane, komu smí zaplatit a kterou věc musí předložit člověku. Takto vymezenému pověření říkáme mandát.
Představme si například firemního nákupčího. Smí objednávat u schválených dodavatelů do deseti tisíc korun. Nového příjemce platby mu musí potvrdit vedoucí. Nemůže si sám zvýšit limit ani přepsat seznam dodavatelů. Jestli má peníze odeslat jinam, systém operaci zastaví ještě před platbou. To je mnohem užitečnější ochrana než věta v zadání, že má „jednat obezřetně“.
Pravidla, která jsme si zvykli označovat za byrokracii, tím dostávají nový význam. Dobře popsaný postup lze vykonávat, ověřovat a opakovat ve velkém měřítku. Pro agenty je to přirozené pracovní prostředí. Pro lidi příležitost zbavit se části rutiny, aniž by spolu s ní odevzdali i rozhodování o vlastním majetku.
Proč do toho patří tokeny a blockchain
Podnik dnes často drží kus pravdy v účetním programu, další v e-mailech, zbytek v bance, smlouvách a tabulkách. Zjistit, co přesně se stalo, může znamenat půl dne telefonování. Agent přitom dokáže během stejné doby provést stovky kroků. Kontrola poskládaná až zpětně se proti takovému tempu dostává do nevýhody.
Tokenizace umožňuje převést evidenci majetku a souvisejících práv do podoby, se kterou mohou systémy přímo pracovat. U podílu ve fondu tak lze propojit jeho držitele, podmínky převodu a oprávnění, za kterých se s ním smí nakládat. U platby lze navázat uvolnění peněz na přesně určené schválení nebo splnění podmínky. Programovatelná evidence tak spojuje vlastnictví a pravidla obchodu blíž k samotnému provedení. Tento směr popisuje také Banka pro mezinárodní platby.
Právě proto považuji varování Anthropicu za silný argument pro tokenizaci a společné standardy finančního prostředí. Když se mají propojit banky, firmy, správci aktiv a jejich agenti, musí stejně chápat alespoň základní věci: kdo jedná, za koho, s jakým oprávněním a co znamená dokončený obchod. Jinak jen zrychlíme přenos nedorozumění.
Chytrý kontrakt, tedy program vykonávající stanovené podmínky, může odmítnout převod nad limit nebo na nepovolenou adresu. Blockchain může uchovat společnou historii schválení a provedených operací, kterou si žádný účastník potichu neupraví podle své potřeby. Oprávnění lze časově omezit a při problému odebrat. Každý důležitý krok má dostat dohledatelnou stopu.
Tohle všechno musí držet pohromadě i mimo blockchain. Kdyby agent mohl stejnou platbu poslat jiným bankovním přístupem bez kontroly, omezení v kontraktu by obešel. A jestli někdo chybně potvrdí převzetí zboží, záznam na síti zboží do skladu nedoveze. Potřebujeme proto spolehlivá vstupní data a hlídané cesty, kudy agent jedná. Právě v jejich propojení je skutečná práce.
Účetnictví tím může dostávat průběžně lepší podklady. Vedení firmy uvidí vznikající problém dřív než na konci měsíce, banka získá přesnější obraz a kontrola nebude odkázaná jen na pozdější skládání minulosti. Citlivé údaje přitom patří oprávněným lidem; společná evidence neznamená vyvěsit firemní účetnictví na internet.
Agenti mají kontrolovat agenty. Každý však potřebuje jinou moc
Člověk nebude ručně pročítat každou operaci tisíců strojů. Část dohledu proto musí převzít automatizované kontroly a další agenti. Jeden připraví obchod, jiný zkontroluje oprávnění, další hledá neobvyklé chování v souhrnu transakcí. U závažné výjimky se proces zastaví a rozhodne určený člověk.
Podstatné je rozdělit jim moc. Agent, který obchod navrhuje, nesmí přepsat pravidla svého kontrolora. Kontrolor potřebuje vlastní podklady a jeho závěr musí být možné zpochybnit. Část hranic má hlídat obyčejný pevný kód: například denní rozpočet, platnost podpisu nebo zákaz platby na novou adresu. Tady nemá být prostor pro přesvědčivé vysvětlování, proč by se tentokrát měla udělat výjimka.
Samotný Anthropic po popsaných incidentech posiluje oddělení agentů od okolních systémů i průběžný dohled. Kontrolní mechanismy mohou zablokovat akci, ukončit úlohu a přivolat člověka. Je to praktická ukázka směru, který ve financích potřebujeme dotáhnout až k oprávněním, penězům a odpovědnosti. Bezpečnostní opatření Anthropicu.
Minulý týden ukázal obě poloviny stejného příběhu
Vedle varování Anthropicu přišla zpráva Bank of England a FCA. V jejich průzkumu uvedlo používání AI 86 procent z 196 odpovídajících finančních firem. Průběžné sledování datových rizik ale v podrobné části uváděla jen přibližně polovina odpovídajících. Technologie se zabydluje rychleji než některé postupy její kontroly. Průzkum BoE a FCA z 26. října.
Současně dostává novou podobu samotná finanční infrastruktura. Evropská centrální banka 29. října popsala cestu k nepřetržité dostupnosti systému Pontes v roce 2028. Pontes propojuje transakce s digitálními aktivy a vypořádání v penězích centrální banky. A Evropský mechanismus stability oznámil digitální emisi dluhopisu za miliardu eur určenou právě k vypořádání přes tuto infrastrukturu. Na stole už je konkrétní objem, konkrétní emitent a konkrétní plán provozu. ECB, oznámení emise ESM.
V článcích tohoto týdne jsme sledovali i další říjnové kroky. J.P. Morgan rozšířil svůj vkladový token JPM Coin na Ethereum pro institucionální klienty. Generali spustila tokenizovanou třídu fondu nejprve pro oprávněné společnosti vlastní skupiny. Velké instituce tak zkoušejí nové uspořádání tam, kde mají pod kontrolou účastníky i provoz. J.P. Morgan, Generali Investments.
Do stejného obrazu zapadá Mastercard. V ukázce Agent Pay for Machines firma určí úkol a rozpočet a agent v těchto mezích nakupuje digitální služby. Předběžný přístup pro vývojáře už je otevřený. Právě spojení schopnosti platit s předem daným pověřením je pro další vývoj důležitější než samotná rychlost nákupu. Mastercard.
Když se na tyto zprávy podíváme společně, vyjde z nich poměrně jasný obraz. Přibývají stroje schopné samostatně jednat, peníze a aktiva dostávají programovatelnou podobu a infrastruktura se otevírá nepřetržitému provozu. S tím musí růst také schopnost každou důležitou akci řídit a kontrolovat. Finanční systém otevřený v neděli večer potřebuje funkční dohled i v neděli večer.
Co s tím může udělat normální firma už v pondělí
Začal bych u jedné obyčejné otázky: kdo má dnes ve firmě přístup k penězům a jak přesně se to pozná v systému? Pokud odpověď zní „to přece všichni víme“, je to dobré místo pro první změnu.
Pak bych vybral jeden opakující se proces. Třeba objednávky, kontrolu faktur nebo přípravu podkladů pro banku. Popsal bych, co v něm smí agent připravit, co může provést sám, kde má pevný limit a kdo přebírá problém. Na skutečných případech bych ověřil, že zastavení funguje i tehdy, když se úkol nepodaří běžnou cestou. Právě překážka totiž může odhalit rozdíl mezi schopným pomocníkem a nebezpečně vynalézavým vykonavatelem.
Taková příprava má hodnotu i pro firmu, která zatím žádný vlastní token nevydává. Uspořádá si data, pravomoci a schvalování. Bude lépe rozumět tomu, co po ní jednou bude chtít banka, investor nebo nový obchodní partner. A dokáže položit dodavateli AI lepší otázku než jen to, kolik hodin práce jeho produkt ušetří.
Následující dva roky vidím jako období, ve kterém se budou rozdělovat pozice na tomto novém trhu. Vzniknou služby, obchodní vztahy a návyky, které se později budou měnit obtížněji. Firma, která začne až s hotovou nabídkou na stole, bude dohánět i vlastní porozumění tomu, co kupuje. Dnešní příprava jí dává možnost spoluurčovat podmínky.
Anthropic nám minulý týden připomněl, že s rostoucí inteligencí stroje neroste automaticky naše kontrola nad ním. Tu musíme postavit zvlášť. Má podobu jasných rolí, omezených mandátů, společných standardů a průběžně ověřitelné historie. Finanční svět s touto disciplínou má zkušenost. Tokenizace mu dává prostředky, jak ji přenést do provozu, kde spolu budou lidé a agenti pracovat každý den v roce.
O budoucnosti takového provozu se rozhoduje už dnes — pokaždé, když někomu nebo něčemu svěřujeme oprávnění jednat naším jménem.
Co to znamená pro vás
AI zasadí článek do kontextu vaší role, firmy a oboru. Zvolte jeden pracovní výstup, který právě potřebujete.
Uložené výstupy a poznámky jsou soukromé. Zveřejnění vašeho profilu je nezpřístupní ostatním uživatelům.
Načítání účtu…
Souvislosti a výhled
Načítání…
Otevřít celou kategorii →Komentáře
Zatím žádné komentáře. Buďte první!
Martin z Tokenizace.cz
Napište Martinovi a redakci
Co vás zaujalo? S čím souhlasíte, nebo co vidíte jinak?
Váš komentář odešleme soukromě redakci na info@tokenizace.cz. Na webu se nezveřejní. E-mail vyplňte, pokud chcete odpověď.