Od agentů přes kvantizaci až po ztrátové funkce. Tady jsou pojmy, bez jejichž znalosti se v dnešní AI rychle ztratíte

I když velké jazykové modely dokážou vysvětlit principy svého fungování samy, vytvořili jsme přehled základních i pokročilejších pojmů, které s pochopením umělé inteligence pomohou. Termíny jsou seřazené tematicky od jednoduchých po pokročilé.

Základní pojmy

Umělá inteligence (AI)

Počítačové systémy, které jsou schopné napodobit lidskou inteligenci a její schopnosti. Alan Turing v roce 1950 položil základy moderní umělé inteligence ve studii Computing Machinery and Intelligence, ve které navrhl i test rozpoznání strojové inteligence od skutečného člověka.

K překonání Turingova testu došlo částečně poprvé v roce 2014, kdy počítačový systém předstíral, že je z Ukrajiny a plně neovládá angličtinu. Oficiální překonání Turingova testu přišlo až v roce 2024, kdy studie ze Stanfordu ukázala, že GPT-4 v rozsáhlém testu přesvědčil o své „lidskosti“.

Strojové učení (Machine Learning, ML)

Podobor umělé inteligence, která umožňuje počítačovým systémům učit se rozpoznáváním vzorů v datech s pomocí příkladů nebo metodou pokus omyl. Metod učení je celá řada. Mezi první rozšířené systémy umělé inteligence založené na strojovém učení patřily například spamové filtry v e-mailech.

Neuronová síť (Neural Network)

Výpočetní model inspirovaný strukturou mozku. Neuronovou síť tvoří vrstvy propojených „neuronů“ (jednoduchých matematických jednotek), které díky vzájemným spojením dokážou vyjádřit velmi složité funkce.

Hluboké učení (Deep Learning)

Strojové učení pomocí neuronových sítí s velkým počtem vrstev, které představují hloubku z názvu tohoto pojmu. Díky komplexní struktuře zvládá síť rozpoznat i velmi abstraktní vzory – od obrazových bodů po významy slov.

Špičkový model (Frontier/SOTA Model)

Označení pro modely umělé inteligence, které patří v době svého uvedení nebo hodnocení mezi nejschopnější dostupné systémy na trhu. Pojem SOTA (State of the Art) označuje nejlepší dosud známý výsledek v konkrétní úloze nebo benchmarku. Nemusí tedy znamenat, že jde o nejlepší model obecně.

Pojem frontier model se nejčastěji používá pro nejlepší systémy trojice největších AI laboratoří: Anthropicu, Googlu a OpenAI. Označení frontier ani SOTA samo o sobě neříká nic o ceně, rychlosti nebo vhodnosti modelu pro konkrétní úkol.

Chatbot

Toto označení představuje aplikovanou umělou inteligenci, jde o počítačový program nebo webovou aplikaci, která zprostředkovává přístup ke konverzační umělé inteligenci.

Jazykové modely a jejich stavba

LLM (Large Language Model, velký jazykový model)

LLM je to, co známe jako moderní umělou inteligenci. LLM představuje rozsáhlou neuronovou síť natrénovanou na obrovském množství textu, jejímž základním úkolem je předpovídat další token (viz další bod) v sekvenci.

Z této zdánlivě jednoduché schopnosti vzniká porozumění jazyku, jeho tvorba, odpovídání na otázky nebo analýza textu a vytváření sumářů či překladů. Jednotlivé modely se liší velikostí, která určuje objem jejich znalostí a nepřímo také jejich schopnosti.

Token

Token je základní jednotka textu, se kterou model pracuje. Může jít o celé slovo, jeho část, číslo, interpunkční znaménko nebo jinou pasáž textu. Systém text nejprve rozdělí na tokeny a ty převede do číselné podoby.

Transformer

Architektura neuronové sítě popsaná ve vědecké studii Attention Is All You Need z roku 2017, na které stojí prakticky všechny dnešní velké jazykové modely. Klíčová je schopnost zpracovat celou vstupní sekvenci najednou a vážit důležitost jednotlivých částí vůči sobě.

Attention (mechanismus pozornosti)

Mechanismus pozornosti je klíčová součást transformeru, která určuje, jakou váhu mají jednotlivé tokeny při zpracování jiných tokenů. Model tak může při interpretaci určitého slova „věnovat pozornost“ relevantním částem celého kontextu a zachycovat mezi nimi vztahy. Právě díky pozornosti dokáže pracovat například s odkazem zájmena na slovo, které se ve větě objevilo o několik pozic dříve.

Parametry

Číselné hodnoty uvnitř neuronové sítě, které určují sílu spojení mezi neurony a které lze během tréninku systému upravovat. Když se řekne, že model má „70 miliard parametrů“, jde o počet těchto nastavitelných čísel.

Počet parametrů je jedním z hrubých vodítek pro odhad velikosti a potenciálních schopností modelu, sám o sobě ale jeho kvalitu neurčuje. Moderní systémy navíc mohou mít velké množství parametrů, z nichž se při zpracování konkrétního požadavku aktivuje jen jejich část, aby se snížily nároky na výpočetní výkon.

Váhy (Weights)

V praxi se pojem váhy často používá jako synonymum pro parametry modelu. Přesněji jsou váhy hlavní, nikoli však jedinou kategorií parametrů systému určující jeho chování.

Když se řekne „stáhni si váhy modelu“, myslí se tím soubor obsahující natrénované číselné hodnoty, které určují chování modelu. Po stažení je lze provozovat na vlastním hardwaru, pokud je kompatibilní s daným modelem a má dostatek výpočetního výkonu a paměti.

Kontextové okno (Context Window)

Maximální množství tokenů, které může model v jednom požadavku zpracovat. Zahrnuje vstupní text, například prompt (viz sekci používání modelu) a historii konverzace, i generovaný výstup. Pokud požadavek překročí tento limit, systém musí část kontextu zkrátit, komprimovat nebo požadavek odmítnout – záleží na konkrétní implementaci.

Velké kontextové okno navíc neznamená, že model dokáže stejně dobře využít všechny informace, které se do něj vejdou. U velmi dlouhého kontextu může mít systém problém najít a správně použít konkrétní informace.

Embedding

Reprezentace slova, tokenu, věty, dokumentu nebo jiného obsahu jako vektoru čísel v mnohorozměrném prostoru. Obsahy s podobným významem nebo vlastnostmi mají v tomto prostoru tendenci být blízko sebe – například vektory pro „král“ a „královna“. Embeddingy se používají uvnitř neuronových sítí i samostatně, například pro vyhledávání významově podobných textů.

Multimodalita

Jako multimodální se označují systémy umělé inteligence, které dokážou pracovat s různými typy vstupu a výstupu. Vedle textu mohou zpracovávat a vytvářet hlas, obrázky nebo video. Uživatel tak může z textového zadání získat například animovanou webovou stránku i se zvuky a vygenerovanými obrázky.

Případně může systému zadat svůj požadavek ve formě krátkého videa, pokud by se například žádost o pomoc s technickým problémem špatně popisovala slovně. Na multimodalitě staví například funkce Gemini Live na telefonech s Androidem.

Trénování modelu

Dataset (trénovací data)

Obrovský soubor textů (knihy, weby, počítačový kód, internetové diskuse), obrázků, videí nebo hudby, na kterých se model umělé inteligence učí. Kvalita a rozmanitost dat zásadně ovlivňuje, co se systém naučí a jaké má „mezery“ ve znalostech.

Největší objem dat pro trénink umělé inteligence je dostupný v angličtině, kterou mluví velké množství lidí a která je primárním jazykem vědy a obchodu. Díky tomu v angličtině (a v čínštině u čínských modelů) nabízí velké jazykové modely nejkvalitnější textové výsledky.

Horší dostupnost výukových dat je důvod, proč v jiných jazycích systémy umělé inteligence mohou fungovat hůře. Čeština bohužel patří mezi jazyky, se kterými mají velké jazykové modely stále problémy, zejména verze s menšími počty parametrů.

Pretraining (předtrénování)

Prvotní fáze učení na obrovském množství dat, kdy má model typicky za úkol předpovídat následující slovo. Opakováním tohoto úkolu se postupně učí gramatiku, význam slov, vztahy mezi pojmy, strukturu jazyka i další vzory obsažené v trénovacích datech. Výsledkem je základní model, který ještě nemusí být dobře připravený k běžné konverzaci nebo plnění konkrétních úkolů.

Fine-tuning (dolaďování)

Další fáze vývoje, při které se již předtrénovaný model učí na menším a cíleně vybraném souboru dat. Místo obecného učení jazyka se zaměřuje například na konkrétní úkol, obor, styl odpovědí nebo způsob komunikace.

Fine-tuning tak může z obecného modelu vytvořit například systém specializovaný na programování, právní rešerše nebo model lépe přizpůsobený konverzaci s uživatelem. Z jednoho základního systému je možné vytvořit celou řadu modelů s odlišnými schopnostmi.

Ztrátová funkce (Loss Function)

Ztrátová funkce představuje matematické měřítko toho, jak moc se predikce modelu liší od správné odpovědi. Trénování systémů je v základu proces postupného snižování této hodnoty úpravou parametrů modelu.

Checkpoint

Uložený stav modelu v určitém okamžiku trénování. Obsahuje především aktuální hodnoty parametrů systému a podle způsobu trénování také další informace potřebné k pokračování v tréninku. Checkpoint může být průběžný i finální; průběžný představuje stav modelu v různých fázích vývoje, finální pak označuje systém, který je možné nabídnout uživatelům. Jazykové modely se stejným názvem mohou mít různé checkpointy.

Posilované učení (Reinforcement Learning, RL)

Typ strojového učení, při kterém se model učí na základě odměn a trestů za své chování. Opakovaně zkouší různé postupy a upravuje své chování tak, aby dlouhodobě maximalizoval získanou odměnu. U jazykových modelů může být odměnou například hodnocení kvality odpovědi člověkem, jiným modelem nebo automatickým systémem.

Posilované učení s lidskou zpětnou vazbou (Reinforcement Learning from Human Feedback, RLHF)

Metoda následující po tréninku jazykových modelů, při které lidé hodnotí nebo porovnávají odpovědi modelu, například označí, která ze dvou odpovědí je lepší. Z těchto preferencí se může natrénovat odměňovací model (reward model), který odhaduje, jak by lidé danou odpověď hodnotili. Tento systém pak poskytuje odměnu při dalším trénování velkých jazykových modelů pomocí posilovaného učení. Cílem je upravit jejich chování tak, aby lépe odpovídalo požadavkům a preferencím lidí.

Výchova (Alignment)

Proces přizpůsobování chování AI modelu tak, aby odpovídalo stanoveným cílům, pravidlům a lidským preferencím. U velkého jazykového modelu jde například o to, aby byl užitečný, pravdivý, předvídatelný a neškodný a zároveň plnil pokyny uživatele. K dosažení alignmentu se používají metody jako fine-tuning nebo reinforcement learning from human feedback (RLHF).

Problematické je určit, co přesně znamená žádoucí nebo neškodné chování a kde už začíná nevhodná cenzura. Přílišná nebo špatně nastavená výchova může vést k odmítání legitimních požadavků, horšímu plnění úkolů nebo jinému nežádoucímu chování modelu.

Směs expertů (Mixture of Experts, MoE)

Pod označením mixture of experts se skrývá architektura, ve které je model rozdělený na několik menších „expertních“ podsítí a pro každý zpracovávaný token se aktivuje jen malá část z nich. Tento přístup umožňuje mít obrovský celkový počet parametrů a zároveň udržet nároky na výpočetní výkon na rozumné úrovni.

Destilace (Distillation)

Technika, při které se menší „studentský“ model učí napodobovat chování většího „učitelského“ systému. Student se může učit nejen z výsledných odpovědí, ale také z „přemýšlení“ učitelského modelu, tedy z pravděpodobností, které učitel přiřazuje jednotlivým možným odpovědím. Cílem je přenést část schopností většího modelu do menšího, který je levnější a rychlejší na provoz.

Základní model (Foundation Model)

Foundation model je široký pojem pro velký předtrénovaný systém, který slouží jako univerzální

základ přizpůsobitelný pro spoustu různých úkolů. Vedle textových systémů lze ze základního modelu vytvořit i obrazové nebo multimodální systémy. Velký jazykový model je vlastně jeden konkrétní typ foundation modelu.

Škálovací zákony (Scaling Laws)

Škálovací zákony jsou vyjádřením vztahu mezi velikostí modelu, množstvím dat, výpočetním výkonem a výsledným výkonem systému. Zhruba platí, že více dat plus více parametrů plus více výpočtů rovná se předvídatelně lepší model.

Tento vztah je jeden z hlavních důvodů, proč v posledních letech rostla velikost nejschopnějších modelů na stovky miliard až biliony parametrů. Spekuluje se o tom, že Anthropic Mythos má osm bilionů parametrů, ale největší oficiálně potvrzený model je zatím čínský Kimi K3 s 2,8 bilionu parametrů. Z nich se však aktivně používá jen malá část díky architektuře MoE (Mixture of Experts).

Výpočetní kapacita (Compute)

Množství výpočetního výkonu dostupného v daném čase. V oblasti umělé inteligence se pod pojmem compute myslí především celková kapacita čipů používaných pro trénování a provoz modelů. Čím více výpočetní kapacity je k dispozici, tím více výpočtů lze provést například při trénování většího systému nebo zpracování většího množství dat. Nároky na compute se proto používají také jako měřítko nákladů na vývoj a provoz AI.

Řetězec myšlenek (Chain-of-Thought, CoT)

Technika, která vede velké jazykové modely k tomu, aby místo okamžitého vygenerování výsledků na základě celkové pravděpodobnosti pracovaly v mezikrocích. U složitějších úloh, například při řešení matematických úkolů nebo plánování tento přístup výrazně zlepšuje přesnost výstupů. Příkaz použij CoT překvapivě pomáhá zvýšit kvalitu výstupů i u modelů, které nativně nepodporují „přemýšlení“.

Paretova hranice (Pareto Frontier)

Popis kompromisu mezi dvěma metrikami – typicky výkon modelu versus cena/rychlost, nebo schopnost oproti bezpečnosti systému. Model na Paretově hranici znamená, že v daném bodě nejde zlepšit jednu metriku bez zhoršení druhé. Pojem se často zjednodušeně používá pro modely s nejlepším dosažitelným poměrem mezi cenou a výkonem.

Hranice znalostí (Knowledge Cutoff)

Knowledge cutoff označuje datum, ke kterému měl velký jazykový model přístupná data. Kvůli časové náročnosti vývoje chybí systémům umělé inteligence znalosti za několik měsíců, které uplynuly od shromáždění trénovacích dat. Tato mezera často vede k halucinacím, pokud se uživatel ptá na aktuální události nebo produkty.

Používání modelu

Inference

Označení inference se používá pro proces, kdy už natrénovaný model zpracovává požadavky uživatelů. Na rozdíl od trénování systému se v průběhu inference nemění parametry modelu, velký jazykový model pouze generuje výstup na základě vstupu uživatele a parametrů systému. Každý dotaz zadaný do Claude, Gemini nebo ChatGPT spouští inferenci.

Prompt

V kontextu umělé inteligence představuje prompt formulaci požadavku na systém umělé inteligence. Vedle textu může obsahovat obrázky, videa a další počítačové soubory.

Formulace promptu výrazně ovlivňuje kvalitu výstupu. Největší vliv má vedle jasné a jednoznačné formulace použití příkladů či upřesňujících parametrů. Moderní velké jazykové modely dokážou zadání od uživatele rozšířit nebo zpřesnit. Tuto metodu používají například AI systémy pro generování obrázků, které do základního zadání od uživatele přidají technické specifikace ohledně kompozice, simulace konkrétního objektivu nebo uměleckého stylu.

Systémový prompt (System Prompt)

Skrytá instrukce pro velký jazykový model, která nastavuje roli, pravidla chování a tón odpovědí. Systémový prompt může být velmi jednoduchý (jsi nápomocný asistent, odpovídej stručně a zdvořile), ale může být také velmi složitý a předem definovat různé chování podle kategorií vstupů, případně může obsahovat příklady dotazů a vhodných výstupů.

U veřejně dostupných chatbotů bývá systémový prompt zpravidla skrytý před uživatelem a tvoří součást instrukcí, které systém dostává od provozovatele služby. Při spouštění lokálních velkých jazykových modelů je možné nastavit vlastní systémový prompt.

Při využívání velkého jazykového modelu prostřednictvím API (aplikačního programového rozhraní) může aplikace rovněž zadat vlastní systémové instrukce a některá API navíc používají samostatnou vrstvu takzvaných developer instrukcí. Ty mají vyšší prioritu než uživatelský prompt, ale jejich přesné pořadí a vztah k systémovým instrukcím se liší podle konkrétního API.

Prompt Engineering

Označení pro cílené formulování promptů tak, aby z daného modelu uživatelé získali co nejlepší výsledek. Vedle technik, jako je požadavek na použití řetězce myšlenek nebo přidání příkladů požadovaného výstupu, jde o definování role, kterou má velký jazykový model při odpovědi zaujmout. Zdůraznění vědeckého pohledu pak může pomoci získat méně cenzurované odpovědi u témat, která provozovatelé systémů umělé inteligence mohou považovat za kontroverzní nebo nepřípustná.

Teplota (Temperature)

Teplota modelu je parametr, který řídí náhodnost výstupu. Nízká teplota (blízko 0) znamená, že systém při generování odpovědi volí nejpravděpodobnější tokeny. Odpovědi jsou v takovém případě konzistentní, předvídatelné a méně variabilní. Vysoká teplota znamená víc variability a kreativity, ale také riziko méně konzistentního a věrného výstupu.

Zero-shot / Few-shot

Způsob zadání úkolu modelu bez příkladů (zero-shot) nebo s několika ukázkovými příklady přímo v promptu (few-shot), které modelu pomohou pochopit, jaký výstup se očekává – bez nutnosti ho přetrénovat pro daný typ požadavků.

V případě zero-shot dostane model pouze instrukci, například „Zařaď následující text podle tématu“. U few-shot přístupu prompt obsahuje i několik příkladů zadání a očekávaného výsledku, podle nichž se systém při řešení úkolu orientuje. Nejde o skutečné přetrénování modelu – příklady jsou pouze součástí kontextu. Tento termín se často vyskytuje ve výsledcích testů velkých jazykových modelů a ukazuje rozdíl mezi schopností systému dosáhnout správného výsledku přirozeně a s daným počtem příkladů.

Halucinace

Situace, kdy model sebejistě vygeneruje informaci, která je fakticky nesprávná nebo smyšlená. Může jít o odkazy na neexistující weby, ale také o zcela vymyšlená tvrzení bez faktické opory. Výskyt tohoto problému je spojený s tím, že velké jazykové modely nehledají univerzální pravdu, ale pouze statisticky nejpravděpodobnější tokeny. Zásadní problém pro velký jazykový model představuje snaha odpovědět za každou cenu místo přiznání, že pro daný případ nemá systém dostatečné informace.

Koncový bod (Endpoint)

Endpoint je v IT žargonu koncové zařízení, které komunikuje v rámci počítačové sítě. V kontextu umělé inteligence stejný pojem označuje konkrétní URL adresu, na kterou používaný nástroj posílá požadavky prostřednictvím API. U velkého jazykového modelu může endpoint sloužit například k odesílání promptů a přijímání odpovědí systému.

Pokročilejší pojmy

Agent (AI agent)

Systém využívající velký jazykový model nebo jiný systém umělé inteligence, který nejen odpovídá na uživatelský dotaz, ale dokáže samostatně plánovat jednotlivé kroky. Umí také používat nástroje, jako je prohlížeč, kalkulačka nebo API k dosažení zadaného cíle. Uživatel přitom může mít nad jeho činností větší či menší míru kontroly – od schvalování každého kroku až po téměř plně autonomní provoz.

Více AI agentů může spolupracovat v takzvaných swarmech. Jednotliví agenti v nich mohou mít různé úkoly a vzájemně si předávat výsledky. V praxi může řídicí agent využívající pokročilejší jazykový model ovládat další agenty založené na levnějších systémech. Nebo naopak, agent běžící na vlastním hardwaru může v případě potřeby využívat schopnější AI systémy prostřednictvím API.

Benchmark

Standardizovaný test (sada úloh), podle kterého se srovnává výkon různých modelů. Podobně jako u testů výkonu PC nebo mobilních telefonů existuje několik různých testů zaměřených na odlišné aspekty práce velkých jazykových modelů. A to od programování po odpovídání na otázky z vysoce specializovaných vědeckých oborů. Velmi často se schopnosti jednoho modelu liší v různých doménách.

Skvělý model pro tvorbu počítačového kódu může například selhávat při kreativní práci s textem. Benchmarky navíc neříkají, zda je daný systém obecně nejlepší, testy ukazují pouze výsledky v konkrétní, jasně vymezené oblasti. Velké firmy i vývojáři proto často používají interní testy, které odpovídají tomu, jak systémy umělé inteligence v praxi využívají.

Benchmaxxing

Novotvar benchmaxxing označuje rozšířenou praxi, kdy se vývojáři systémů umělé inteligence zaměřují na dosahování co nejvyšších výsledků ve veřejných srovnávacích testech namísto toho, aby zlepšovali skutečné schopnosti modelu v praxi. Dosahují toho vyladěním vah systému pro určitý typ úloh a zařazením většího podílu benchmarkových dat už během pretrainingu nebo intenzivním fine-tuningem s využitím dat přímo z konkrétních benchmarků. Benchmaxxing se často spojuje s čínskými systémy, které v testech překvapují výsledky blízko frontier modelů.

Ukotvení (Grounding)

Grounding je technika, při níž model využívá externí zdroje informací, například výsledky internetového vyhledávání, a opírá o ně svůj výstup. Grounding umožňuje systému pracovat s aktuálními informacemi, které nemusí znát z trénovacích dat. Pokud model využívá výsledky webového vyhledávání, mluví se o web groundingu nebo search groundingu. Odpověď může být doplněna citacemi odkazujícími na zdroje, z nichž model čerpal.

RAG (Retrieval-Augmented Generation)

RAG představuje techniku, kdy se model před generováním odpovědi nejdřív podívá do externí databáze nebo dokumentů a relevantní úryvky textu si vloží do kontextu a použije je při generování odpovědi.

Tento přístup zásadně pomáhá snížit halucinace a dodává modelu aktuální nebo soukromé firemní informace, které daný systém neměl v trénovacích datech. Příkladem RAG je například služba Gemini Notebook (dříve NotebookLM), která generuje studijní materiály či podcasty na základě uživatelských dokumentů a poznámek.

Otevřené váhy (Open Weights)

Slovní spojení open weights se používá v souvislosti s velkými jazykovými modely, jejichž natrénované váhy jsou veřejně ke stažení. Kdokoli s odpovídajícím hardwarem si tak může model stáhnout a provozovat na vlastním zařízení nebo serveru. Možnost jeho dalšího upravování nebo komerčního provozu závisí na licenci konkrétního systému. Mezi nejznámější open-weights modely patří DeepSeek-V4.1-Flash, Qwen3 (Alibaba), Gemma 4 (Google) nebo Nemotron 3 (Nvidia).

Důležitý je rozdíl mezi open-weights modely a termínem open source. Open weights obvykle neznamená, že je zveřejněný i trénovací kód nebo trénovací data – veřejné jsou především samotné výsledné váhy modelu. Uživatel proto nemůže jednoduše vzít původní trénovací data a postup trénování a vytvořit stejný velký jazykový model od základů.

Opakem open-weights systémů jsou proprietární neboli uzavřené modely, jako jsou systémy rodiny Claude nebo GPT. Jejich natrénované váhy nejsou veřejně dostupné, takže je uživatel nemůže stáhnout a provozovat na vlastním hardwaru. K těmto modelům se přistupuje například prostřednictvím API nebo webových a mobilních aplikací.

Kvantizace (Quantization)

Technika, která zmenší model tak, že sníží přesnost čísel, ve kterých jsou uložené váhy. Například ze 32bitových desetinných čísel se hodnoty převedou na 8bitová, nebo dokonce 4bitová čísla. Model pak zabírá výrazně méně paměti a běží rychleji za cenu mírného poklesu kvality výstupů. Díky kvantizaci jde spustit i relativně velké modely na běžném počítači nebo telefonu.

Vibe Coding

Neformální označení pro styl programování, kdy člověk zadává AI modelu pokyny pro vytvoření počítačového kódu a zpětnou vazbu na výsledek místo ručního psaní kódu. Vibe coding umožňuje tvorbu počítačových programů i lidem bez znalosti programovacích jazyků.

Tento přístup funguje dobře pro rychlé prototypování a osobní projekty, ale u produkčního nebo kritického softwaru přináší rizika v podobě bezpečnostních chyb, nekvalitního kódu a absence dokumentace.

Pro spolehlivou tvorbu složitějšího softwaru jsou stále potřeba dobré programátorské znalosti, například pro kontrolu výsledného kódu, odhalování chyb a správné vedení AI agentů.

Harness Harness

představuje software obalující samotný velký jazykový model, který je nezbytný pro fungování AI agentů. Harness určuje například to, jaké nástroje má systém k dispozici, jak pracuje s chybami, jaké má limity a kdy se má úloha ukončit.

Příkladem harnessu jsou nástroje jako Claude Code, Cursor nebo Devin, které využívají velký jazykový model jako jednu ze svých součástí. Správně zvolený harness může výrazně ovlivnit kvalitu výstupů, schopnosti agenta i cenu používání umělé inteligence.

MCP (Model Context Protocol)

MCP je otevřený standard, který sjednocuje způsob, jakým se AI aplikace a agenti připojují k externím nástrojům a zdrojům dat. MCP je něco jako společný konektor, díky kterému AI nemusí mít pro každý externí nástroj vlastní speciální integraci.

MCP podporují například služby jako Gmail a Slack nebo různé databázové systémy. Díky tomu lze například připojit ChatGPT nebo Claude k e-mailům či dokumentům uloženým v prostředí Google Workspace, aniž by bylo nutné pro každou kombinaci aplikace a služby vytvářet vlastní integrační rozhraní.

Zábrany (Guardrails)

Guardrails představují technická a procesní opatření okolo samotného modelu, která omezují, co smí vygenerovat nebo udělat – filtry obsahu, kontroly oprávnění, validace výstupu. Nejčastěji se tyto nástroje týkají erotického obsahu, vývoje biologických zbraní, hledání bezpečnostních slabin v softwaru nebo potenciálně škodlivého obsahu.

Red Teaming

Pojem red teaming označuje záměrné a kontrolované pokusy najít slabá místa modelu nebo AI systému a zjistit, jak by ho bylo možné obejít nebo zneužít. Vývojáři systémů umělé inteligence používají metody reálných útočníků k tomu, aby včas našli slabá místa a zabezpečili je proti zneužití, a to před zveřejněním modelu i v průběhu jeho dostupnosti.

Jailbreak

Technika nebo formulace promptu, která se snaží obejít vestavěná bezpečnostní pravidla modelu a přimět ho ignorovat vlastní omezení. Jailbreak může například využívat speciálně formulované instrukce, které systému podsouvají jinou roli, snaží se změnit prioritu jeho pokynů nebo ho přesvědčují, že bezpečnostní pravidla se na daný požadavek nevztahují. Úspěšný jailbreak může vést k tomu, že model poskytne obsah nebo provede akci, kterou by za běžných okolností odmítl.

Prompt Injection

Prompt injection představuje útok, při kterém je škodlivá instrukce vložena do obsahu, který AI systém zpracovává, například do webové stránky, dokumentu nebo e-mailu. Model pak může tuto instrukci zaměnit za pokyn, kterým se má řídit, a změnit kvůli němu své chování. Na rozdíl od jailbreaku nemusí útok přicházet přímo od uživatele, který s modelem komunikuje.

Příkladem může být vzkaz schovaný v životopisu zaslaném firmě. Pokud HR použije AI k automatickému vyhodnocení životopisů, vložená instrukce může model přimět například k tomu, aby daného uchazeče doporučil mezi nejperspektivnější kandidáty. U AI agentů může prompt injection představovat ještě větší riziko, protože zmanipulovaný systém může následně provést akci prostřednictvím nástrojů, ke kterým má přístup.