Lokální AI modely

Jindřich: před, padesáti lety jsme jako přistávali na Měsíci, s výpočetním výkonem kalkulačky

Filip: kolik nás je? Deset milionů. To je míň než New York, takže nikdo to moc jako neřeší.

Jindřich: sedmdesát procent toho jako compute power datovejch center dnešní doby tak se využívá nějakým způsobem pro jako využití v umělý inteligenci,

Filip: tenhleten model ty prakticky jako nejsi schopnej rozjet ani na běžným serveru.

Jindřich: kdybych já na to měl mít hardware tady, ty náklady jako půjdou třeba do milionů Umělé inteligenci patří i to, že si jednotlivý jazykový modely, některý z nich můžeš rozjet i sám, ty na počítači anebo na, eh, nějaký serverový infrastruktuře třeba. Eh, čau Filipe, pojďme tohleto téma trošku probrat. Pojďme si říct, co to jsou open source, open weight modely a pojďme do toho trošku zabřednout. Rád tě zase vidím.

Filip: Jindra, zdravím tebe, zdravím i naše posluchače. Open source, open weight modely. Hele, to je téma, který slýchávám víc a víc a často se setkávám s tím, že firmy jako přijdou s tím, že hele, jako my chceme používat AI a teďka ale nechcem posílat data do Ameriky nebo do Číny, že jo, v případě nějakejch modelů a chtějí si to řešit sami. Chtějí to řešit třeba u sebe na serveru. Nebo některý lidi to chtějí třeba řešit u sebe na počítači. No a ty vlastně abys todleto mohl dělat, tak potřebuješ takzvaný open source nebo open weight modely. A já možná začnu hnedka tady tím rozdělením, byť to zní jako technicky, ale je to vlastně poměrně stěžejní. Open weight model tak znamená, že ten model má takzvaný otevřený váhy. To znamená, že ty si ho můžeš vzít, můžeš ho použít u sebe na serveru, na počítači, prakticky jako kdekoliv, ale máš ten model vlastně jako hotovej. Ty nejsi schopnej třeba vytrénovat stejným stylem vlastní model nebo zjistit, jak ten model byl natrénovanej. Zkrátka máš hotovej model, máš tu černou krabičku, ale to je prakticky jako všechno, co s ní můžeš dělat. Kdežto když pak máš open source model a open source, to je takovej jako běžnej pojem, kterej se používá v softwaru, že jo, že prostě máš open source projekty. To znamená, že vidíš do toho zdrojáku. Tak to je ještě jako o úroveň výš nad tím open weight modelem. Je to úplně stejný, že ho můžeš používat zadarmo, můžeš ho, eh, vlastně jako rozběhnout na svym počítači, ale ještě k tomu ti poskytli, na jakejch datech to bylo trénovaný, jakým způsobem to bylo trénovaný, jak byl ten model dotrénovanej a zkrátka jako dostaneš veškerý ty díly skládačky, aby tys byl teoreticky schopnej si ten model natrénovat, eh, vlastně sám. Takže to je takovej jako rozdíl. Ale u obou modelů to je, že si ho můžeš rozběhnout sám a vždycky pak záleží samozřejmě na tý licenci, co s tím můžeš dělat, jestli pro sebe, pro komerční použití a tak dál.

Jindřich: Já nevím, jestli ten, eh, termín jako open weight vůbec vlastně existoval předtím, než přišly nějaký jazykový modely. No minimálně já jsem ho nezaregistroval, ale samozřejmě open source, tak open source soft-software tady, eh, s náma je prakticky od počátku věků samotnýho softwaru, že jo. Ale možná hodně pro zjednodušení mě totiž zaujala jedna paralela, kterou jsem jako četl v rámci přípravy na tenhleten díl. A, eh, co vlastně je ty-ten open weight? Ty s-- byť ty jsi to teď jako vysvětlil, tak mně se líbila ta paralela, že open weight je, jako když si objednáš jídlo z luxusní restaurace. Ty máš to jídlo, můžeš si ho upravit tím, že si ho dosolíš, jako dopepříš, jo, vidíš, jak to jídlo vypadá. Můžeš si s ním vlastně dělat, co chceš, ty s tím jako konkrétním jídlem, ale už jsi k tomu nedostal ten recept a už je vlastně, jako nevíš, z jakejch surovin byl vyrobenej. A ta paralela vlastně se dost týká právě jako tohohle toho termínu. Takže ty víš, nebo ty můžeš mít ten tvůj open weight model, můžeš si ho rozjet na ty tvý infrastruktury, můžeš si ho rozjet lokálně, můžeš si ho dotrénovat, eh, můžeš si tam udělat nějakej vlastní fine tuning, ale už vlastně nevíš, na čem byl natrénovanej anebo jakým způsobem a jakým způsobem byl natrénovanej prakticky. Takže ta paralela mě vlastně tady zaujala a myslím si, že do tohohle toho kontextu sedí krásně.

Filip: Hele, to je, to je zajímavý přirovnání. Jako nevím, jak tam pak zapadaj do tý paralely jako ty closed source modely. To jsou ty, ke kterým se jako nedostaneš. Ale to chápu, že není jako, jako tou pointou, ale možná

Jindřich: Je, je to zjednodušení asi, jo?

Filip: No jasně, ale možná se to taky sluší zmínit, že jako ty modely, který používáme přes ty providery, ty poskytovatele, jako je Opus, že jo, GPT a tak od OpenAI a Anthropiku, tak tomu se říkají takzvaný closed source modely. To znamená, že jsou jako uzavřený. Ty ho můžeš používat, ale nemůžeš ho používat tak, že by sis ho vzal a někam nainstaloval, ale musíš to používat přes nějakýho poskytovatele, typicky přes to takzvaný API. To znamená, že ty voláš do internetu, dostaneš odpověď a buďto voláš přímo toho poskytovatele nebo nějakýho jeho partnera. To je ve výsledku jedno, ale nemůžeš si to jako rozjet, eh, A to je vlastně prakticky ten hlavní, hlavní jako rozdíl. a u těch jako open weight modelů tak pak se nabízí ta otázka jako OK, open weight znamená lokální? No jako úplně ne, že jo. Jako open weight jenom fakt znamená, že to jako můžeš rozjet kdekoliv, ale to, jestli to rozjedeš na svym kompu, nebo jestli musíš mít super silný datacentrum jenom si ho pronajmout, tak to je úplně jako jiná pohádka. A tam se pak bavíme o tom, o těch počtech parametrů, že jo, jak tady mícháme, kdy ty biliony, miliardy už jsme to párkrát zmiňovali, tak, tak tady ty počty parametrů ti pak udávají, kde to rozjedeš.

Jindřich: Tak ono obecně jako gen-- ta generalizace, že jo, když jako mluvíme jako lokálně, tak to znamená, že se to jako rozjíždíš ty, ty se jakoby o to staráš, že jo. Ty prakticky do jistý míry, pokud chceš, tak jenom ty k tomu máš přístup třeba a podobně.

Filip: Mhm.

Jindřich: Zkrátka nejsou to ty, eh, jako hostovaný modely těch, eh, společností, kde ty platíš třeba subscription a podobně. Takže byť to možná není jako úplně přesný, tak takhle generalizovat to asi lze. No a každopádně ty už si to jako trošku nakousnul, že jo. Takže kde, kde vlastně ty modely můžu, eh, spustit? Můžu si spustit lokálně. Samozřejmě hodně, eh, záleží, jaký modely, j-jaký má jaký requirements a jaký ty máš ty hardwarový specifikace. A úplně podobně si to můžu spustit i třeba v nějaký serverový infrastruktuře, ať už to je třeba jako Bedrock od AWS, k tomu se jako možná dostanem. Ale jako kam se chci dostat, tak my jsme tady už i točili díly o OpenClau vlastně, že jo. Taky jsme si říkali jo, OpenClau, no to my jsme se jako rozjeli lokálně a nebo jako na VPS a tady vlastně může bejt trochu jako ten kámen úrazu, že jo. To, co je triky. My sice zase říkáme jako lokálně, tak možná ty to máš na nějakým svém jako lokálním Macbooku, ale ve skutečnosti tam žádnej jako model nemáš, že jo. Maximálně tam máš nějakej malej nějakej Whisper nebo něco, co ti třeba přepisuje jako transcript a podobně, ale ve skutečnosti tam máš připojenej nebo minimálně, jestli se správně pamatuju, pokud se u tebe nic nezměnilo, tak tam máš naplnej subscription, že jo, Claudá nebo Codexe, ChatGPT a ten ve skutečnosti jako, eh, open weight není a už vlastně vůbec, eh, jako nemůžeš rozjet lokálně. Takže ty sice lokálně máš tu instanci toho OpenClau, třeba, možná RMS v tenhle ten okamžik, ale ve skutečnosti máš subscription toho cloudovýho modelu od toho poskytovatele. Abych samozřejmě to ještě trošičku zkomplikoval.

Filip: Jo hele, ale t-t-to jsi dal fakt dobrej point, protože, eh, já když jsem takhle vydával videa, ať už na OpenCloudčko nebo na, co to bylo, jo na Coworka, tak já jsem tam pronesl to, že: „Hele, ono vám to běží lokálně na počítači, ta Agentic Harness.“ A dostal jsem jako několik komentářů, který psali: „Ale to přece není pravda, vždyť tam je ten model od Anthropicu.“ A já, to je, to je vlastně ten kámen úrazu. Já jako vývojář, tak jsem zvyklej používat slovíčko lokálně, znamená na mým počítači, ale nemusí to bejt jenom ve vztahu k tomu AI modelu. Může to bejt ke vztahu k nějakýmu programu nebo třeba právě k tý Agentic Harness. To je to, co je jakoby postavený kolem toho modelu a to jako opravdu to OpenClou i ten ChatGPT, eh, ChatGPT, no ChatGPT Work taky, ale, ale Claude, eh, Cowork, si to pořád pletu, ty jo. Tak ty-tyhlety harnesses tak běžej u tebe na tom počítači a jenom si volaj ten model na tom API. Takže jako tady dochází často k tomu zmatení, že lokálně, tak to slovíčko nemusí být použitý jenom prostě s tím LLM modelem, ale, ale prakticky jako s čímkoliv. Lokálně fakt znamená jako u mě na tom počítači.

Jindřich: Hm, tady to asi zase trošku naráží právě na tu generalizaci, že jo. Tak ty přece jenom, když jako tvoříš dvacetiminutový video anebo něco, tak jako nemůžeš stoprocentně, eh, obsáhnout vlastně veškerou problematiku a popsat ji jako naprosto přesně, aby ses jako nikde neseknul. Takže jasný, ty si jako určitě uvědomuješ, že to tak není, že jo. Jasně, logicky, ty jsi lokální, ty neběžíš, tam ti běží jenom ta instance jako toho softwaru, ale jako ta generalizace teda, kterou ty jsi pronesl, jestli jsem to jako správně pochopil, tak si myslím, že jako je na místě. Ale samozřejmě pokud někdo chce tě chytat za slovo, tak to nebude problém.

Filip: Jo ne, tak to je jako takový to jako prostě to, že spousta lidí v dnešní době má spojeno jako lokální, tak znamená lokální AI, to znamená jako provozuju ten model, ale ono jako opravdu dnešní agenti, tak to nemáš jenom ten jazykový model, tam je jako spoustu dílků tý skládačky a něco běží u tebe, něco u Anthropicu. No, myslím, že jsme to popsali jako dostatečně. Možná nás to jako přivádí k tomu, co, jako proč bych si měl rozjet lokální

Jindřich: Jasně

Filip: Jakože proč? Tak jako těch důvodů je několik, že jo. Jako první věc, data zůstanou u mě. To znamená, můžu fungovat i bez internetu. se bavíme o těch lokálních modelech, který si rozjedu na svým počítači. Ano, ty open weight modely můžou bejt i na serveru, takže tady pak todleto jako do jisté míry padá, pořád ten server můžeš mít třeba u sebe ve firmě. To znamená, nemusíš ho mít ani v internetu, můžeš to mít prostě ve vnitřní síti. No a nebo tak to můžeš mít sice někde pronajmutý, ale pořád ty seš ten, kdo jakoby si pronajímá to datacentrum. Máš s nima nějakou smlouvu a tak nějak větší jistotu, že ty tvoje data jsou prostě jenom tvoje. ale když to, když to posíláš Anthropicu, tak ty data vždycky půjdou přes Ameriku, byť máš data centra třeba někdy v EU, tak i v rámci GDPR, tak to jsme myslím, že řešili s Vojtou Tůmou tak, že i přesto mají nějaký jako možnosti, jak ty data legálně do Ameriky posílat. Takže ty jako prakticky ty data odevzdáš a jako doufáš, že to ten řetězec tý důvěry, což jako nemusí být nutně špatně, ale spousta firem dneska chce tady to řešení u sebe

Jindřich: Tak ono asi ten jako primární dů-důvod nebo nevím, jestli jako primární důvod, ale že ty data jako zůstávají uvnitř tý společnosti, je velmi pravděpodobně ten jako největší důvod. Ale zároveň některý společnosti můžou mít třeba nějakej vnitřní intranet, že jo, nebo něco takovýho, který jako vůbec není jako připojený k internetu Mhm. chtějí si nějakým způsobem pro nějakou nevím podporu výroby nebo jako cokoliv, tak si chtějí jako pomoct s těma jazykovejma modelama. Tak i tohle jako může bejt důvod, proč oni se teda rozhodnou vlastně provozovat něco uvnitř tý jejich sítě na tom jejich vlastním hardwaru, například právě v tý server-serverovně, aby nemuseli vlastně ty data pou-posílat jinam nebo zkrátka se připojovat, připojovat do internetu nebo, eh, používat služby nějakýho cloudovýho providera

Filip: Jasně no. Hele, d-další jako důvod může být nějaká nezávislost. To znamená, že jako spousta firem řeší to a co když Anthropic vypadne? Jako co když budou mít výpadek? Nebo nám to prostě vypnou, že jo? Viz Fable, kterej nechtěla americká vláda pustit do Evropy. To znamená my jako evropský uživatel, tak my jsme k němu ani neměli přístup ze začátku. Ale kdyby se stalo, že prostě padne nějaký rozhodnutí a najednou ty modely nebudeš mít přístupný, tak to může být problém. Když to, ty když máš ten model Open Bait, to znamená ty vlastníš ty váhy, tak je jenom na tobě, kde si ho provozuješ a máš nad tím jako zase větší kontrolu. Jasně, jako přináší to zase jako velký množství komplikací, protože ty musíš ten model spravovat, respektive musíš ty servery řešit. Musíš řešit to napojení na ty tvoje apky, abys mohl dělat dobře tu inferenci. Jo, jako je s tím spojených spousta, spousta pakáren, který musíš jako ošetřit, ale je ten model prakticky tvůj, takže ti ho jen tak někdo nemůže vypnout.

Jindřich: Hm. A to asi není nic novýho, že jo, tohleto s těma jazykovýma modelama. Ta problematika toho cloudu versus toho self hosted řešení, Jo tady vlastně byla vždycky, že jo. Spousta společností jako řešila tehdá nebo tehdá. Teď si myslím, že v dnešní době už je jako cloud považován za jako velmi bezpečný řešení, ale dřív tomu tak nebylo, že jo. Dřív asi spousta společností zkrátka věřila tomu, že mít tady svoje jako vlastní železo je mnohem jako bezpečnější, byť to mohlo bejt, eh, mnohem dražší. Nebo respektive tehdá, když třeba ty cloudový technologie začínaly, tak to bylo velmi drahý, že jo. Obecně jako veškerý

Filip: jasně

Jindřich: jako datový úložiště, výpočetní výkon, upload, download a podobně. Takže věřím, že kdysi se to ještě možná těm společnostem jako mohlo vyplatit. Teď pravděpodobně už jako tam nejsme. Každopádně tahle problematika toho lokálního softwaru vůči tomu cloudovýmu, tak ta je vlastně tady náma už taky nějakou řádku let.

Filip: Ještě možná od-odkážu k tý bezpečnosti zase na ten rozhovor s Vojtou Tůmou. Mimochodem jako fakt, fakt doporučuju tady tu session, dvouhodinovej díl, ale nabitý jako informacema. Pořád mám spoustu otázek. Nicméně kam jsem se chtěl vrátit je to, že jako spousta firem a já se s tím vním, jako setkávám vlastně docela často, jo, že mi říkají: „Hele, my nejenom že nevěříme ohledně těch dat, ale jako bojíme se o tu bezpečnost.“ To znamená, že ty data se tam někde uloží, pak se k nim někdo třeba dostane. Co kdyby ta firma byla jako napadená? Ale jako přijde mi důležitý zmínit, že zabezpečovat si sobě vlastní servery je jako extrémně složitá disciplína. Jasně, pokud jsi jako velký korporát nebo máš na to lidi, tak to může bejt v pohodě, ale takové ty jako menší firmy, se kterýma se setkávám já, protože já většinou, eh, řeším školení pro nějaké jako menší až střední firmy, tak ty často třeba ani nemají nějakej IT department nebo tam mají jednoho člověka, kterej se o to stará. A jako tady si troufnu tvrdit, byť bych jako nechtěl, eh, podkopávat jako schopnosti tady těch lidí, co tam spravujou ty servery, ale jako troufnu si tvrdit, že obrovský firmy, který řešej cloud, což znamená i vlastně hosting tady těch velkých jazykovejch modelů, tak jako mají tu bezpečnost vyřešenou o něco líp, než, eh, když si to jako spravuješ sám na vlastním že-železe. A teďka se bavím o tý bezpečnosti jako napadnutí zvenku. Teďka se nebavím o tý důvěře, co ta firma s těma datama dělá. To je za mě zase jakoby jiná oddělená otázka, ale čistě jako vůči vnějším útokům, tak paradoxně si myslím, že ty data jsou mnohem víc v bezpečí.

Jindřich: Já si myslím jako, že to není žádný podkopávání schopností těchto administrátorů a devopsáků a podobně, ale že zkrátka je to jako velmi složitá a o hodně jako Jasně Takže určitě pár takových expertů jako existuje, který se jako soustředěj nebo primárně zabývají tou jako bezpečností serverovou, ale úplně stejně tak se můžou zabývat jako bezpečností cloudovou, že jo. A přesně jak říkáš, spoustu těchhle těch jako věcí už za nás momentálně řeší právě ty cloudový služby, že jo. To je, je to důvod, proč tady máme, nevím, Cloudflare třeba, že jo, kterej taky řeší jako spoustu problematiky a tak dál a tak dál. A, ale jako takž-- to-tohleto si myslím, že je dost jakoby odlišnej topic. Zkrátka to tady je. V dnešní době už jako ne moc firem někde ve skladu má nějakou serverovnu, že jo. Všichni nebo drtivá většina, nebo vlastně já nevím, jestli říkám drtivá většina, všichni, zkrátka velká část přešla, že jo, na to cloudový řešení. Jo jo. point jakoby tohohle toho je, že ty si pořád můžeš rozjet ten model lokálně u sebe, můžeš si ho rozjet stejně tak k cloudu, ale ten, kdo si ho rozjíždí lokálně někde u sebe, tak pravděpodobně k tomu má důvody.

Filip: Zim ten jazykovej model, kterej má rozjetý lokálně třeba právě v tý serverovně, ale pravděpodobně mu tam poběží i nějaká celá řada jako jinejch softwarů. Yes. No, další důvod, proč by sis jako mohl chtít rozjet Open Weight model u sebe nebo vlastně jako jo, tady už se bavíme lokálně, tak je nějaká latence. Jo, ta to teďka platí už jenom na to, když si to rozjedeš vlastně jako u sebe na počítači, vyloženě na tom zařízení, kde chceš provádět to použití toho modelu, tu takzvanou inferenci, jo. Nebavím se teďka, když to dáš někam na svůj server, protože tam, když to máš ve vnitřní síti, bude to rychlejší než přes internet. Pokud si pronajmeš někde server támhle já nevím u Hetzneru nebo na Amazon Bedrocku, tak si tam můžeš jako hodit vlastní model, ale už tam máš tu latenci, protože to musí běžet přes internet ty data. Ale zkrátka jako to, co ti ty Open Weight modely umožňují, pokud se ti vejdou na tvoje lokální zařízení nebo na ten server ve vnitřní síti, tak máš jako mnohem rychlejší ty odpovědi. Což pro jazykový modely, hele, asi to jako nehraje roli, ale pro nějaký věci, kdy prostě třeba řešíš jako detekci objektu v obraze nebo něco takovýho. Protože dobrý je říct, že AI není, že jo, jenom o jazykových modelech. Je to o spoustě jako dalších use casů. Vision, nějaký ty predikce, že jo, z nějakejch statistickejch dat a tak. Tak jako tady už může hrát roli to, že ten výsledek máš jako za třicet milisekund místo tři sta milisekund. A to může být taky jeden z argumentů.

Jindřich: Vivod, co si myslím, že se možná ještě jako trošičku sluší zmínit, my tady o hodně říkáme jako slovo jako serverovná, že jo, nebo jako Jo jo. a ty máš jako velmi odlišný velikosti těch jednotlivých modelů, že jo. My se můžem bavit jako To je vše. na počítači a může ti tam běžet jenom ten, eh, Parakit od NVIDIE, že jo, třeba kterej, eh, já používám, eh, lokálně na Macu na transcript hlasu,

Filip: No jasně, speech to text.

Jindřich: spíš to

Filip: Jo

Jindřich: tak, no. Tak to je model, kterej já nevím, potřebuje osm giga dat, eh, osm giga ramek takhle, jo, nebo, nebo něco takovýho. samozřejmě například jako ty frontier modely, kdybych si měl rozjet, pokud by byl nějaký ChatGPT, že jo, nebo Claude by byl jako open

Filip: Kimi,

Jindřich: a

Filip: Kimi K3, že jo třeba?

Jindřich: Kima K3, jasně, Hm pořád, že jo, jako tyhlety op-- tyhlety frontier modely jsou jako velikostně úplně někde jinde. Jako kdybych já na to měl mít hardware tady, tak ty náklady jako půjdou třeba do milionů

Filip: No, tam je fór v tom, že ty, to není jenom o tom, jestli si to rozjedeš, že jo, u sebe na počítači, ale třeba takovou tu Kimi K3, my se k ní dneska dostanem, tak tenhleten model ty prakticky jako nejsi schopnej rozjet ani na běžným serveru. To je tak obrovskej model, že ty bys potřeboval jako tak, takový ty, jak máš v datacentru jako zřetězený několik těch třeba grafických karet nebo těch specializovaných čipů dohromady. Já teď si nemůžu vzpomenout na to, na ten počet, ale myslím, že to vychází na nějakejch šest nebo osm tady těch jako čipů, abys ten model jako byl schopnej vůbec jako rozběhnout. To znamená, že to, to ani ekonomicky v tudletu chvíli nedává smysl. Nebo možná někomu může, ale jako tady ta inference, když si platíš per token, tak bude jako zásadně levnější, než když by sis, když by sis musel takovýdle jako datacentrum pronajmout.

Jindřich: No jasně, ono, eh, ten gimmick, kterej byl předtím, pokud se nepletu na K2.6, jestli se nepletu něco takovýho, No pět možná myslím. Hm. dva pět, tak ten vyžadoval, eh, pět set giga ramek, že jo, na to, abys ho mohl rozjet. to jako šlo. Tys teda potřeboval, eh, ideálně nebo ideálně, tys potřeboval alespoň, že jo, dvě Mac Studia, který ses jako paralelně zapojil za sebe, aby t-ty tu p-paměť vlastně nebo abys paralelně zapojil a tu pa-paměť abys zkrátka jako sharoval, že jo. A jeden tenhleten Mac Studio tak stojí asi dvě stě padesát tisíc, mám takovej pocit. Takže tys potřeboval vlastně prakticky v půl milionech, eh, nebo půl milionu na náklady pro to, aby sis to jako lokálně mohl rozjet, aby ses s tím mohl jako experimentovat. Takže tak či onak jako tahleta disciplína není pro každýho

Filip: Jo, jako vždycky si to ta, ta firma nebo ten jedlívec musí spočítat. Jako v dnešní době si myslím, že to je fakt, eh, záležitost pro jako větší firmy nebo ty, co chtějí inovovat hodně. Nebo máš prostě hodně peněz a můžeš si s tím dovolit hrát. Ale do budoucna si myslím, že tohleto téma těch open-weight modelů bude a bude jako víc aktuální, protože když se přesuneme k tomu nebo možná ještě, ještě poslední vlastně jako věc, proč spousta lidí chce ty open-weight modely, tak často ten argument bývá cena. To je asi jako nejčastější nebo možná druhá nejčastější hned po těch datech, eh, jako domněnka, co slyším, že my ušetříme, když si rozjedeme ty lokální modely. Ale vlastně to je teďka navazuje na to, co jsme říkali, že ty jako pokud chceš stejnou inteligenci, jako máš třeba od Opusu, tak to znamená, že musíš mít něco jako Kimi K3 model, kterej je tak obrovskej, že ty si stejně musíš pronajmout jako extrémně drahý datový centrum, abys ho provozoval. Takže ono vlastně moc neušetříš. Ale je jako spousta úloh, kde ty ušetřit můžeš, jo. Ty nepotřebuješ na všechno tady ty Frontier agentic modely, který mají ty tool use, že ti uměj prostě ovládat prakticky cokoliv, uměj prostě si plánovat ty věci a tak dál. Ale často ty potřebuješ třeba jenom dohledat nějaký informace v rámci svý knowledge base nebo ty dokonce jenom potřebuješ třeba klasifikovat nějakej text, jestli je to jako poptávka, otázka, eh, jestli to má jít do tohohle oddělení nebo tamtoho a tam jako úplně v pohodě můžeš využít nějakej menší model a tam najednou už ta otázka, jestli mám používat open-weight model, může dávat jako obrovskej smysl, protože ti může stačit třeba model, kterej má deset miliard parametrů, což rozjedeš na lepším počítači nebo nějakým jako v pohodě serveru.

Jindřich: My jsme na tohle téma trošku naráželi, když jsme tady vlastně řešili ten topic toho lomeno zlevňování umělé inteligence, že jo, v poslední době nebo v posledních letech řekněme. A dost možná tohle to bude jako jedno z těch východisek, že jo, že ty třeba lokálně budeš mít nějakej menší mo-menší model, kterej ti bude interpretovat jenom to, nebo respektive kategorizovat jenom to, jestli na to má využít nějakej silnější, kterej třeba ty budeš mít nějakej subscription nebo třeba to bude ten, že jo, API based, eh, billing.

Filip: Jasně. tudíž ty ho budeš chtít šetřit toho ten model, tak tady může, tady může bejt nějakej lokální menší model, kterej ti to bude klasifikovat a říkat ti: „Jo hele, využij tohle ten silnější." Anebo naopak: „Ne, ne, na tohle ti stačí tenhleten lokální, kterej i ty si dokážeš rozjet vlastně na tvým Macbooku, tudíž nějakej nenáročnej." Ona ta doba toho, že jako vlastně vy- vybíráš, kterej model použít si myslím, jako že dřív nebo později musí přijít, protože dneska máme dotovaný předplatný, takže jako spousta lidí frčí, jo, Opus na všechno. Ok, když chci ušetřit, tak použiju Sonet, ale jako prakticky víc se moc nerozhoduješ. Ještě si sem tam hraješ s tím reasoning effort, ale jako prakticky moc neřešíš to, že bys někde řešil nějakou složitou pipelinu, kde využíváš různý modely. Jasně, pak jsou jako specializovaný apky nebo specializovaný jako automatizace, kde se vyplatí s tím pohrát, ale na takový jako běžný uživatelský použití tak to vlastně jako nedává moc smysl. Ale jako častějc a častějc podle mě budem tady to právě řešit, abysme to jako optimalizovali. A nebude to už jenom o tom, že použiju menší model, ale třeba můžu pro nějaký řešení použít nějakej lokální. Já to třeba používám často na transkripty, že vlastně pokud mám víc mluvčích, použiju Assembly AI, což je cloudová služba, ale pokud mám jednoho mluvčího, tak prostě použiju nějakej lokální model a je to v tom mým workflow, kde mám toho Clouda, kterej to nějak jako zpracuje ty věci, pak použije tady ten lokální model, udělá si přepis, to je zadarmo a pak s tím přepisem dál pracuje. A tady to jako řetězení si myslím, že budem víc a víc vídat i mimo nějaký jako složitý automatizace.

Jindřich: My to moc neřešíme z mýho úhlu pohledu, protože to zkrátka není třeba, že jo. ono jakmile to jako začne bejt třeba a Jasně. ty náklady se začnou zvyšovat a nebo naopak ty limity se začnou víc a víc utahovat, tak jako někdo přijde s nějakým řešením, že jo. Někdo to za nás vyřeší stejně jako v-v-obrovský množství problémů, který jsme jako řešili dosud, že jo. třeba bude nějakej software, kterej už v sobě bude mít nějakej lokální model, kterej přesně todleto bude dělat, kterej ti tyhlety věci bude klasifikovat, kterej sám bude rozhodovat o to, jestli využít ten jeho API based billing, respektive token based billing a nebo jako lokální. Takže já si myslím, že neřešíme to z toho důvodu, že to teď zkrátka není tak snadný a je to spíš jenom jako pro technický uživatele třeba, že jo. Celá řada lidí, takovej ten retail, tak používá spíš ten subscription, ale přijde doba, kdy nám to někdo zjednoduší. Přihlásí se třeba do nějaký aplikace a ta už to zase vyřeší za tebe a bude to úplně stejně jednoduchý jako nějakej usage ChatGPT třeba

Filip: No my, my to prostě neřešíme z toho důvodu, že se jako finančně nevyplatí trávit čas na tom, abys to, jako--

Jindřich: přesně

Filip: přesně tak. Ty prostě jako zaplatíš tady předplatné nebo teda na těch tokenech to jako použiješ, ale jako neděláš třeba ty věci tak často, tak se ti to prostě jako nevyplatí řešit. Nedává to ekonomicky smysl. Ale my jsme tady, že jo v prvním díle měli hosta Jirku Štěpánka. Oni dělají vlastně s jejich produktem obohacování feedu pro e-shopy a tam maj jako, jako tisíce, desetitisíce produktů, který oni musejí nějakým způsobem jako doplnit o nich data. A on zmiňoval, že jako tam už se vlastně jako vyplatí, že každej ušetřenej cent na jedný operaci krát stovky tisíc operací každej měsíc, možná miliony, no tak to každej cent je najednou strašně jako cítit. Takže jako tady v tom velkým měřítku to dává jako obrovský smysl. Pro nás jako běžný uživatele zatím to tak není. A jak říkáš ty, spíš než že my to budem muset řešit, tak prostě se to integruje do těch nástrojů, protože ta uživatelská přívětivost, jako to je prostě potřeba, že jo.

Jindřich: Ale jako co si myslím, že ta alfa omega jako těch dvou věcí, který jsou opravdu jako hodně, hodně rozdílný, tak je velikost těch modelů. My to tady dost jako mícháme, ale jako ve skutečnosti přesně tu Gemini K trojku, tu si opravdu jen tak někdo nerozjede zkrátka, jo. To je prostě pro nadšence nebo pro někoho, kdo má jako ten výpočetní výkon, má přístup k tomu výpočetnímu výkonu. to, co je jako mnohem víc jako demokratizovaný, to, co je pro mnohem jako ší-širší jako retailový publikum, tak jsou přesně tyhlety modely, že jo, který jsme zmiňovali třeba na ten jako transcript. Nebo jeden si myslím si z dobrejch příkladů je ta Gemma, že jo, tu od Mhm. Tak tu dokonce snad rozjedeš i, i na telefonu, že jo, tak

Filip: Jo, ty menší verze, jo?

Jindřich: udělá určitě no-- tak, a taky ti to jako určitě udělá nějakou službu. A jako to už je

Filip: Jasně

Jindřich: že jo, protože, vlastně když to trošku srovnáš, že před, eh, padesáti lety jsme jako přistávali na Měsíci, eh, s výpočetním výkonem kalkulačky a v

Filip: No jasně

Jindřich: máš jako výpočetní výkon v kapse takovej, na kterým jako rozjedeš i jazykový modely. Jo, to je vlastně dost vtipná paralela, když se vlastně člověk takhle trošku zpětně porozhlédne, pohlídne.

Filip: Jo a jako ty modely se budou zlepšovat. A přesně jako typicky u těchhle menších modelů, tak je jako takovej hack, pokud si to budete chtít zkoušet, tak jako povídejte si s nima v angličtině. Ony typicky jako nejsou trénovaný na českým datasetu. To znamená, že tu češtinu nějak jako komolí, ale prostě jako ty, ty výsledky jsou jako znatelně horší než ty angličtiny. U těch jako obrovských frontier modelů, tak to s češtinou nemá problém. Ale když si stáhnete Ollama aplikaci, že jo, taková asi nejpoužívanější appka, kterou si jen stáhneš do počítače a rovnou si tam naklikáš ty modely, který chceš, tak, eh, tam jako je strašně znám, že když si vybereš tady třeba ten Gemma model, tak napíšeš mu anglicky a anglicky se s ním dá docela dobře pokecat a napíšeš mu česky a on sem tam jako má nějaký divný překlepy, takový divný slovosled. Prostě není to jako vončo. Takže to je další jako limitace tady těch slabších modelů s velkým vykřičníkem nebo s velkým jako hvězdičkou, že samozřejmě existujou malý modely, který jsou natrénovaný na češtinu. Ono to jako je jenom o tom, jakej dataset těm modelům dáš a čím menší jsou, to znamená míň je tam těch vah, tak tím logicky míň těch informací pojmou. Tak jako typicky se trénujou na jednom jazyce. Najdeš i pro češtinu, ale zřídkakdy, protože kolik nás je? Deset milionů. To je míň než New York, takže nikdo to moc jako neřeší.

Jindřich: Je to přece jenom jako malej rybníček, no.

Filip: Práve.

Jindřich: jako co se asi nabízí zmínit, tak, eh, já si myslím, že přesně obecně jako tematika těhle těch jako open weight lomeno open source modelů tak přišla Mhm. když přišel DeepSeek moment, že jo. jako do tý doby vlastně bylo ChatGPT a, a, a Claude, každej měl jako subscription bylo to vlastně crazy, co to vlastně dokázalo tehdá, že jo. Jako ten, ten Ano opravdu obrovskej. No a potom přišel takzvaně jako DeepSeek moment, jak se tomu říká v komunitě, což, eh, vlastně nebylo nic jinýho než vlastně publikace open weight modelu, DeepSeek, kterej byl jako extrémně výkonej a autoři vlastně dali open weight. Jinými

Filip: Hlavně to-- byl první reasoning model Hm.

Jindřich: reasoning model přesně tak, kterej byl Jo weight a vlastně ty vývojáře, nejen vývojáři, prostě netečenci si to mohli zkusit na to sáhnout, že jo, mohli si to zkusit jako rozjet. Mohli si říct takový to: "Jo, spustil jsem si jako vlastní, jako umělou inteligenci, vlastní model." Vlastně jasně, není zas tak vlastní a podobně, ale zkrátka už to bylo takový ta, taková ta jako hands on experience, že jo, přesně jako i pro těch lidí, která vlastně do tý doby byla ve velmi jako omezený míře.

Filip: No jasně. A najednou to začalo jako ukazovat, že možná si nebudem muset spoléhat jenom na tady ty velký hráče, ale budem si to moct provozovat sami nebo budou vznikat jiný jako provideri, který to budou jako poskytovat ty, nebo poskytovat tu inferenci, to znamená používání těch modelů třeba tady u nás, že jo, z Prahy nebo někde prostě kde ty data jako nemusí jít do Ameriky. Možná nás tohle s Elonem Muskem přivádí k tomu, k té otázce, jako proč by to někdo dělal, že jo, jako vydávat open weight model. Vždyť jako vlastně ty, ty natrénuješ model za jako velký peníze, to jsou miliony dolarů. U těch velkejch samozřejmě jako menší můžou být levnější, a ty jako vezmeš a dáš ho open weight. Jako co z toho máš, jo?

Jindřich: Tam jsou vlastně ty dvě strany, že jo. Přesně jako tu jednu jsme trošku popsali, jakože proč bych měl používat nebo proč by společnosti No jasně používat ty open-weight modely. No ale ta druhá strana mince je, proč by vlastně ty vývojáři, že jo, nebo ty, ty společnosti, který trénujou ty Hm. proč by to měly dávat jako open-weight, že jo? Jestli není lepší to provozovat, eh, vlastně na jejich hardwaru nebo v jejich datacentrech a nechat si za to platit ten, ten, eh, jako subscription. Eh, tak jeden z těch důvodů asi je nějaká jako podpora byznysu. Typicky, co se asi dá jako zmínit, tak, Nvidia, že jo, potřebuje prodávat čipy, potřebuje prodávat jako grafický karty, tak logicky udělá jako ten software, kterej lze vlastně provozovat jako na těch grafických kartách. No takže tohleto může bejt asi jedna z takovejch těch větších oblastí, kde zkrátka já jako ta společnost potřebuju víc prodát nebo chci víc prodávat. Logicky chci, aby mi ten jako byznys kvetl, tak dám i nástroje pro to. Nebo zkusím se vytvo-- zkusím vytvořit ty důvody, proč by někdo měl ten har-ten můj hardware kupovat

Filip: Přesně prodáváš ty lopaty, tak jako těm lidem dáš ještě jako víc nástrojů, aby, aby to zlato, že jo, to AI vlastně používali. A přesně potřebujou k tomu ten hardware. A pokud ty máš nějaký jako, nechci říct monopol, ale jako máš jako výsadní postavení na tom trhu, může to pro tebe dávat smysl. Samozřejmě pak takovej jako další důvod jsou výzkumný instituce. Ty už z povahy věci jako často mají různý granty, který jsou financovaný, ať už nějakejma jako investorama, neziskovkama, státem, prakticky jako nějakejma externíma zdrojema. A, a ty výzkumný instituce tak, že jo, i klasický výzkumy se dělaj, že se pak publikujou ty papery a jsou jako veřejně dostupný. Maximálně z toho třeba vznikne nějaký patent, ale tak jako tady prostě zkrátka jako z povahy věci, tak ty instituce jako publikujou ty modely. No ale další jako zajímavej důvod může bejt taky nějakej konkurenční boj. Ono jako todle není úplně potvrzenej fakt, že to tak bylo, ale jako spekuluje se hodně o tom, že právě třeba ten DeepSeek moment, že vlastně jako když Čí-Čína nebo čínská firma vydala ten DeepSeek, takže to vlastně jako mohla bejt snaha trošku jako podkopat tu, eh, to výsadní postavení těch jako Frontier Labů, AI Labů, který prostě měly jako navrch. Všichni jako museli používat je, protože neměli prakticky jinou možnost. A teď ty jakoby, když to třeba nestíháš, tak jako nemusíš vydat jako lepší model než oni, ale stačí ti vydat třeba něco o něco horšího, ale tak, tak jako hodíš to všem a najednou jako hodně, hodně otřásneš tím jejich business modelem. Takže todle může bejt taky jedna z motivací, prostě jako konkurenční boj.

Jindřich: No vlastně jako ukázat, ukázat, že to lze, že jo. Eh, dát zkrátka těm lidem jakoby do hlavy kterej jako jim řekne: "Jo hele, ono možná teoreticky někdy v budoucnu třeba nebudeš muset používat z ty subscri-- subscription od nich, ale budeš možná si to moct rozjet sám." A jo, každopádně zajímavý nebo zajímavá myšlenka. Co se teda asi zmínit taky je ta česká stopa, že jo. My tady máme společnost Bottleneck, kde je Jarda Bek a Tomáš Mikolov, že jo, takový jako hodně známý jména v tom jako českém technologickém rybníčku. oni teď relativně nedávno, že jo, publikovali ten svůj model, ten Thinking, Cap, Thinking Cap. A ten byl vlastně jenom jako dofine tunovanej ten open source Gwen model, eh, kterej má bejt jako rychlejší nebo respektive má šetřit tokeny, eh, v rámci toho reasoningu, že jo. ono to bylo zajímavý. Oni tam dávali, že jo, takový to, to jejich showcase video, tak tam bylo to porovnání jak jako jedný otázky k tomu modelu, kterej běžel nad tím jako, eh, Gwen modelem a to porovnání nad tím jako vlastním modelem. A jako bylo to zajímavý, že jo, protože ono to opravdu jako tam bylo vidět, že to jako šetří tokeny, že tam jsou jako krátký, kratší odpovědi v tom reasoningu že to nakonec bylo jako rychlejší a ještě k tomuto, eh, jako ušetřilo některý tokeny, ušetřilo to jako tu samotnou usage. Oni pokud se nepletu, jestli si vzpomínám správně, tak, eh, myslím, že claimovali, že to bude o čtyřicet procent ta tokenová hustota bude o čtyřicet procent méně náročná

Filip: No myslím, že nějakejch čtyřicet, padesát procent.

Jindřich: Hm,

Filip: To je, to je vlastně jako delší z důvodů, že jo, proč by někdo vydával takhle open weight model, byť je jako vlastně jako to dotrénovaný na nějakým už existujícím modelu, tak pro ně je to jako skvělej showcase toho, co oni dokážou a přilákají tím investory, přilákají tím firmy, který to zajímá. Ne třeba, že by hnedka vzali tady ten model, ale jako zjišťujou: „Hele, tady někdo umí prostě jako vzít existující model a udělat jako násobně efektivnější. To může bejt jako super.“ Tak jako určitě jim to přineslo, vím, že, eh, Jirka Bek někde zmiňoval, že jako teďka lítá po San Franciscu po jedné schůzce za druhou, kdy jako je oslovujou investoři. A to je prostě taky jedna z motivací. Ty to neděláš jako kvůli tomu výsledku toho modelu, jako že bys čekal, že na něm vyděláš, ale spíš prostě uděláš takový to PR: „Hele, my to umíme,“ dáš to ven a pak už ty lidi se ozývají, protože jako často to není o tom, že my potřebujem ten model, potřebujem ten jako efektivnější model, levnější model nebo tak. Ale ještě často ty firmy potřebují jako pomoct s tím: „Ok, tak jako umíme ušetřit. A teď jako co s tím ještě? Pomožte nám to jako víc rozvinout. Pomožte to aplikovat tady na ty naše use cases. Efektivněte to přímo pro nás.“ A tam už může bejt ten jako business model za tím.

Jindřich: Teď samej ten model je k dispozici na Mhm. hm, každý může stáhnout, že jo. Může s-s-zkusit rozjet, ať už lokálně u sebe nebo někde, eh, v cloudu, v nějakým jako jiným, jiným, eh, datacentru. Ale co mě za-z-zaujalo, já jsem teď nedávno koukal na právě tom Hugging Face a měl to nějakejch pětatřicet tisíc downloads jako ten Mhm. model jejich. Což, jako mně to přijde dost, eh, byť se v tom úplně jako neorent-neorientuju, nevím, jaký čísla jsou velký, jaký čísla jsou menší jako na, na Hugging Face. A když jsem to tak jako proklikával, takhle to be-bylo jako suverénně nejvíc, co jsem tam tak jako nějak proklikal nějaký modely, jo. je to zajímavý. Oni tam mají k dispozici, že jo, asi čtyři nebo pět těch jednotlivých kvantizací, těch jednotlivých kompresí toho jako samotnýho modelu. Takže zase to, hm, vlastně naráží na to, jak-jaký ty máš možnosti, kolik máš k dispozici ty, eh, jako operační paměti, kde to můžeš vlastně spustit. Tak podle toho ty si jako zvolíš tu, eh, kvantizaci. Eh, já jsem právě na to koukal, mě to jako o to zajímalo, jsem si to chtěl vyzkoušet, ale, eh, nedostal jsem se k tomu. Nebo respektive jsem to pak nějak jako dál neřešil. Ale mimochodem ještě jedna z věcí, která mě zaujala, byť je to takovej trošku off-topic, tak do tý společnosti Bottle Cap AI tak zainvestoval Nico Rosberg, což je, eh, bejvalej špičkovej, eh, jezdec F1 nebo pilot Formule 1. teda. A takže i vlastně piloti Formule 1 se dostali do takovýho byznysu. Přijde mně to hrozně zajímavý

Filip: Fascinující. Je, je vidět, že AI táhne asi, asi úplně všechny, no. Každopádně já jsem strašně rád. Jo, rozhodně. A jako je super, že tady vzniká nějakej startup a kterej teďka už udělal nějaký jako haló, že jako Bot Club vzniknul. Já jim jako fandím celou dobu už od samýho počátku, ale jako doposud vlastně jako oni představili nějaký jako menší věci, měli ten Puls, že jo, model, měli, vydali tu iOS appku a nějaký jako články, ale jako tohle je vlastně jako první věc, která fakt jako podle mě byla slyšet jako i v tom zahraničí, protože jako pět set tisíc downloads na Hugging Face to jako fakt není málo. To jako--

Jindřich: Ne třicet tisíc, Jo, jo třicet, pardon. Jo, jo, ale i tak to jako není, není, není málo, no. Takže jako teď už to bude třeba čtyřicet, no. Ale jo, jo přesně, furt, furt je to hodně. Jo, ale souhlas, no přesně. Ono oni měli docela dobrý PR, že jo, protože to jsou přece jenom jako opravdu velmi jako zajímavý jména a velmi zajímavý lidi, který to s-jsou opravdu jako chytrý lidi na svém místě, co už v životě jako něco dokázali. Takže to PR bylo jako velký, když se dali dohromady o tu společnost složili. Ale přesně, že jo, teď já nevím, jestli to byl třeba rok nebo jak dlouho, tak bylo jako relativně ticho. A vlastně přesně jak říkáš, až vlastně teď před těma i čtrnácti dny, třema, čtyřma týdny nebo kdy to vydali, se o nich začalo zas mluvit

Filip: A oni myslím, že udělali dobře, že použili ten Qwen model, kterej je vlastně jako poměrně populární tady z těch open weight modelů. A vlastně to nás přináší k tomu, jako jaký takovýdle open weight modely známe. Tak jako my jsme tady zmiňovali tu Kymika trojku. To je asi teďka takovej největší hype kolem toho, protože to je jako konečně model, kterej má úroveň tý inteligence podobný jako třeba Opus pětka. Což jako Opus pětka to je jako velmi výkonnej model a ta Kymika trojka tak slibuje vlastně jako podobný výsledky, byť třeba ne úplně ve všech oblastech, ale je open weight. No ale kromě tý Kymika trojky tak určitě posluchači budou znát třeba GPT-OSS. To je jako vlastně jedinej open weight model od OpenAI. Ten má myslím, že nějakejch dvacet miliard parametrů, což si člověk může rozjet. Já jsem si ho zkoušel. A pak mají i tu sto dvacet miliard parametrovou verzi, kterou už teda potřebuješ trošku jako silnější hardware. Ty jsi zmiňoval pak tu Gemu. Pak jsou modely jako od Llama, že jo. Ty jsou typicky právě od, nebo můžeš si je pustit v tý appce Ollama, který si můžeš rozjet. Llama je myslím, že od Mety, že jo. Pokud se nepletu. metanu Yes. No pak DeepSeek jsi zmiňoval. No a pak evropskej už je jedině Mistral. Mistral má nějaký svoje jako open weight modely. Co se týče těch jazykových modelů

Jindřich: Co mě zaujalo mimochodem s tím GPT-OS, tak to je vlastně od toho OpenAI OpenAI, tak to vlastně na začátku vzniklo jako Public Benefit Corporation, že jo, jakože ta,

Filip: Jo.

Jindřich: jak to, já nevím, jak to přeložit přesně do češtiny, jo, ale zkrátka, že chtějí jako dělat, eh, dobro. No a nazvali se OpenAI, že jo. Vydali GPT jedna, GPT dva, který tehdá byly, jestli teda open weight nebo open source. Já si Jo open way. Ale

Filip: nevím, nevím.

Jindřich: jistej, člověče, nejsem si

Filip: Jo? Hm

Jindřich: No, to je jedno. Ale přesně potom, že jo, tam přišel jakoby ten příběh do toho, že teda asi není úplně dobrý jako bejt jako taková open, jak teda oni chtěli, byť ten název si nechali a furt to ta Public Benefit Corporation je, že jo. Pak tam byly akorát nějaký právní změny

Filip: Jo.

Jindřich: to, aby tam mohla bejt normálně jako soukromá, eh, společnost. A tenhle ten příběh my jsme právě asi mapovali relativně nedávno, že jo, když jsme, eh,

Filip: Yes

Jindřich: příběh OpenAI epizodu. No nicméně, ale abych se dostal k tomuhle tomu jako GPT-OS, tím, že oni vydali, že jo, tu jako GPT trojku, tak tím tu komunitu jakoby dost naštvali, která už byla normálně jako closed model, eh, za subscription čistě. Tak potom oni vydali přesně tadyhle to GPT-OS, že jo, ten stodvacetimiliardovej a dvacetimiliardovej model. No ale jako velmi pravděpodobně nebo minimálně podle toho, o čem se mluví v tý komunitě, tak že to bylo spíše jenom jako takový gesto jako jo hele, my víme, že jsme vás jako naštvali, jo, ale prostě prachy vládnou světu, tak tady máte nějaký jako open weight teda model, abyste to jako neřekli,

Filip: jo.

Jindřich: vám to zavřeli úplně, ale spíš to bylo jako jenom takový gesto vzhledem k tomu, že teď už to můžem považovat za historický, že jo. Já nevím, kdy to bylo, ale možná třeba už dva roky to je, kdy to vydali. Nevím

Filip: Hm. Jako hele, já jsem to vnímal jako takový splnění slibu, kterej se tak nějak někde řekl. Já nevím, jestli to řekl Altman nebo to řekl jako vyloženě OpenAI někde, ale vím, že právě schytávali trošku jako hate za to a pak někde někdo pronesl: „Hele jo, OpenAI tenhle rok ale přinese jako open weight model, to je v pohodě, to se nebojte. My pořád tu myšlenku toho open držíme." A pak přesně jako se dlouho nic nedělo a jako vypadalo to, že tak jako potřebujem něco vydat, abys teda jako jsme tak nějak splnili nějaký ty svoje sliby, ale jako od tý doby prakticky žádnej model od nich nevyšel. Když pominem ty jako jiný, třeba na ty transkripty, ale ty už vlastně taky jsou tady jako dlouho a vlastně nic novýho taky nevyšlo. Ty VizPro modely myslím.

Jindřich: No jasný, přesně. Oni mají ten Whisper, že jo. Já teda nevím, kdy vydali nějakou jako poslední, poslední verzi, ale je pravda, že ty máš tu cloudovou, že jo, kterou ty si můžeš, eh, platit, byť stojí teda asi pět dolarů měsíčně nebo kolik, stejně tak, eh, je i open weight, takže ji můžeš mít ty někde rozjetou. Eh, ale to je, to je pravda, jako nevím, nevím, kdy to bylo naposled, kdy, kdy oni tu verzi vydali

Filip: No to nás vlastně přivádí slimůstkem k tomu, že vlastně ty open weight modely, tak my jsme to jako naznačili, že jo, že nejsou jenom o jazykových modelech, LLMkách, ale typicky dneska tak jako nejběžnější věc, kde použiješ open weight model a spousta lidí to třeba ani neví, tak jsou přesně ty diktovací apky. To znamená jako hlas na text, speech to text. Typicky právě ten Whisper od OpenAI nebo Parakeet nebo tak nějak se to čte od Nvidie, eh, kterej je ještě jako trošku přesnější, mi přijde, eh, a menší. Eh, a to prostě tyhlety veškerý jako diktovací apky používají, protože jako prakticky nedává moc smysl to posílat někam jinam, protože to prostě funguje. No ale kromě hlasu tak pak máš i jako modely, který ti generujou zase jako právě z textu slovo. To teď si nemůžu vzpomenout, jak se jmenoval ten model od Microsoftu. Oni vydali, eh, open weight model. Nevzpomínáš si?

Jindřich: Ty jsi říkal z textu slovo, tak nevím, co máš na mysli. Nemyslel sis z textu No ne, ne, ne textu slovo vyloženě jakoby na jako text to speech modely. Máš, že jo, známe ElevenLabs a podobný, tak Microsoft vydal model, já to ještě dohledám, ještě

Filip: pak dám slovo,

Jindřich: to speech.

Filip: ale, ale, ale vlastně jako vy-vydali tady ten model a oni ho pak dokonce znepřístupnili, protože jako byl tak dobrej, že jako ten hlas v angličtině teda se bavíme, tak byl jako velmi důvěryhodnej a báli se jako různýho zneužití, protože jako ve chvíli, to jsme možná nezmínili, ale ve chvíli, kdy ty vydáš jako open weight model, tak jako prakticky spousta těch guardrails, který my dneska známe u těch modelů, tak padá. Jo, jako spousta toho, že ti ten model neodpoví, tak něco může bejt jako natrénovaný v tom modelu, ale spíš je to nějaká harness okolo, která vlastně jako kontroluje to, co ty s tím modelem řešíš a pokud vyhodnotí, že to je něco, co bys úplně neměl dělat, tak tě zasekne. Ale ve chvíli, kdy ty dáš ten model open weight, tak tady ta harness tam nemůže bejt. Takže jako najednou ty modely, jako můžeš to použít k dobru, můžeš to používat i k něčemu ne úplně jako košer.

Jindřich: No jasně, že jo. A, a, eh, jako ten, ten step B nebo ta druhá část, která u toho je, tak je, že v dnešní době je extrémní množství contentu na internetu, že jo. Takže, eh, ty vlastně relativně snadno ten model můžeš natrénovat na jako řeči někoho slavnýho například. že jo, mnohokrát se to i stalo, že jo. Třeba Barack Obama, že jo, tak ten má jakoby opravdu velký množství jako veřejnejch vystoupení. Takže je spousta dat, jak on asi přesně mluví a jak, jak zní, jak jeho hlas zní. Takže veškerý tyhlety data lze potom použít na to trénování tohohle toho modelu, aby ten model potom zněl například jako on, jo. Takže to je asi Jo. těch jako horších využití.

Filip: To, to, to, to, to je přesně ono. Už, už jsem to našel. Jmenoval se Vibe Voice nebo on se tak jako jmenuje a on byl právě skvělej ve voice cloningu, ale jakoby tak dobrej, že právě přesně jako Microsoft to pak jako stáhnul, protože zase bavíme se o angličtině tak, ale ten hlas dokázal bejt jako dost přesnej na to, aby tím, že je to open weight, tak vlastně tys nebyl schopnej do toho dostat nějakej vodoznak nebo nějak to jako distortnout. Prostě kdokoliv si s tím mohl dělat cokoliv a vlastně jako jsi to dal k dispozici třeba nějakejm scammerům. A zajímavý bylo, že tenhleten model tys mohl rozběhnout na jako běžným počítači jako u sebe, tys jako nepotřeboval ani zase nějakej jako super výkonnej server

Jindřich: No a další část, že jo, tak je třeba generování obrázků. A se. asi jeden z těch jako nejznámějších softwarů, že jo, co si můžeš rozjet v browseru u sebe na Macu, tak je Comfy UI. A to funguje jako relativně pěkně. Myslím si, že je to jakoby dost obstojný, když to dobře natrénuješ, ale já třeba když jsem to zkoušel jako na svém Macu, tak já mám, co tam mám, nějaký Pročko dva, dva roky starý, nějaká, co to je M3 možná nebo něco takovýho. M2. Asi, nevím z hlavy. a šestnáct gigaramek a docela to pěkně teda jako začalo topit. Pěkně to jako chroupalo. Čekal jsem jako několik minut, než jsem z toho něco dostal, takže spíš to bylo jenom jako aby to uspokojilo moji zvědavost. A pak jsem se vrátil zpátky k NanoBanana.

Filip: No jasně, tak zase se dostáváš k tomu, že ty to rozjedeš, bude to trvat, nestojí ti to za těch dvacet centů, co jsi ušetřil, ale ve chvíli, kdy máš jako výkonnější počítač, máš pro to využití, chceš generovat něco, co ti třeba jako nedovolej ty modely, že jo. Ono dneska a ne-ne-nemusíme se bavit ani jako o nekalých věcech, že jo, jako samozřejmě hodně se řešily různý jako deep fakey právě a nebo různý jako nude fotky a tak dál. Ale jako ono to nemusí bejt jenom tohle, že jo. Ty můžeš chtít vygenerovat třeba já nevím, nějakej hezkej obrázek, že má-máš jako dítě a chceš ho prostě zasadit do nějaký pohádky, tak chceš vygenerovat prostě jako pohádku s tím tvým dítětem, abys mu to mohl ukázat. A to ti prostě NanoBanana nedovolí, protože ti řekne: „Hele, je tam malý dítě a to já prostě neudělám." A i přesto, že ty to chceš jako pro sebe, chceš to pro jako legitimní v pohodě důvod. Není to nic jako špatnýho, protože prostě chceš to zasadit do pohádky. Teď to prostě kvůli nastavení nějakejch obecnejch guard rails nedovolí. Tak tady pak dává smysl, že ty si řekneš: „Ok, obrázek se generuje třeba deset minut, můžu si u toho zatopit, tak v zimě asi super a tak to jako dává smysl. Prostě to budeš dělat tou lokální cestou. Zase nemáš ty guard rails, nemáš to omezení.

Jindřich: Kde třeba ta budoucnost, že jo, těch lokálních modelů je, tak, eh, ono vlastně se to jako nazývá i Edge AI, že jo, kde vlastně ti ten, ten No jasně jako to, to, ten, ten model tý umělé inteligence jako běží lokálně. Tak budou nějaký self-driving auta, že jo, samořiditelný auta a robotika. Takže přesně tak, že ty ne-nemusíš bejt jako závislej na tom internetovým připojení, na tý jako latenci a, a podobně, ale ten natrénovanej model už může běžet v rámci jako toho konkrétního hardwaru a může být jako rychlejší, může mít jako rychlejší zpracování obrazu, že jo, pro mě, když ten hardware bude mít, eh, dostatečný výkon. Tak tohle můžou bejt nějaký oblasti, kde, eh, to, ta budoucnost bude. zase trošku se vracím k tomu, jak my jsme už to taky trochu nakousli, že jo. Tak, hm, my jsme tady měli v, hm, v jednom z předchozích dílů, tak jsme se bavili o autonomních autech a tam jsme to přesně řešili, že jo, jako že existujou nějaký společnosti, který, jdou to jako Edge, Edge AI first, pak jdou zase nějaký jako jiný společnosti třeba, který operujou jenom tam, kde je, eh, jako pokrytí 5Gčkem a, a naopak jako posílaj, eh, že jo, jako ty da-datový pakety právě ně-někam jako do cloudu, že ten, t-ty výpočetní výkon tak neprobíhá, eh, lokálně jako v to, v tom autě. jako uvidíme, uvidíme, kde jako bude ta budoucnost, ale myslím si, že todleto třeba pokud se o ty Edge I-- Edge AI bavíme, tak to může bejt jeden z oblastí nebo jedna, dvě z oblastí, kde ta Edge AI bude mít svoje místo

Filip: Přesně, že jo, tak jako robotika dá obrovskej smysl, ale i-i když si jako vezmeš něco víc, eh, jako běžnýho, tak dneska, že jo, máš do apky telefonu třeba pro lidi se zrakovým postižením, kdy ty vlastně jakoby vytočíš nějakýho pomocníka jako člověka a on ti říká, co kolem sebe máš. Tak jako ve chvíli, kdy ty můžeš mít prostě nějakej model, kterej ti tam běží jako live a je schopnej rozpoznávat ty předměty, tak to taky může bejt jako velká pomoc. Jasně, můžeš to posílat do cloudu. Dneska máš pokrytí jako internetem prakticky všude, ale jako co když vypadne, že jo? Co když prostě to najednou nebudeš mít? Tak ta Edge AI ti jako dokáže jako řešit ten výpočet přímo na tom zařízení. A i takový drobnosti pro všechny, jako třeba shrnutí notifikací nebo shrnutí nějaký větičky do tý notifikace, že máš sáhodlouhej email. Chceš mít v notifikaci jenom jako pár řádků, o čem to je. No tak na to ti přesně stačí nějakej malinkatej model jako třeba ta Gemma a ten ti jenom udělá jako TLDR, hodí ti to do notifikace v telefonu a ty to prostě hnedka vidíš a tam vůbec jako nepotřebuješ, aby to odcházelo někam na nějakej jako velkej model někam na server.

Jindřich: Mimochodem teď koukám, že, em, tady v poznámkách máme, jak jsme se bavili vo, eh, těch nároků na, na paměť GPU, tak taky mi K3 potřebuje minimálně 1,4 terabajtů, zatímco ta K2, ta se vešla na ty dvě Mac Studia. Takže K2 dvě Mac Studia, asi půl milionu, dvě stě padesát tisíc každej u tý K3 potřebuje 1,4 terabajtů, což je vlastně-- navíc ještě v dnešní době, jak extrémně ta vlastně paměť podražila, tak, eh, zkrátka si to nechceš jakoby domů kupovat vzhledem jako k těm nákladům

Filip: Ale to jsem slyšel při přípravě na tady tu epizodu, pojem, kterej jsem předtím jako nezaregistroval, ale říká se tomu ramagedon nebo jako rama džem, nebo jak bych to jako řekl anglicky. Ale zkrátka to, že jako jak máš armagedon, tak jako u ramek prostě, že ta cena jako teďka jo jo vystřelila jako neuvěřitelným jako stylem. To je jako to, co sis koupil za třeba pár tisícovek, tak stojí, nevím, půl o půlku tolik nebo klidně jednou tolik. Ať už ramky, grafický karty. Jako já jsem dřív si stavěl svůj počítač, bylo to jako super, dneska bych si ho teda stavět asi nechtěl. Ono se to teda samozřejmě týká i toho consumer hardwaru. Můžeš mít prostě jako noťas, ten pochopitelně používá tady ty věci taky, takže jako nevyhneš se tomu nikde

Jindřich: a právě to si myslím, že je jakoby důležitej point, že se to opravdu, eh, jako týká nás, nás všech, nás jako Jasně A není to jen o RAMkách, že jo, je to jako obecně o No čipech. Já právě jsem nedávno chtěl koupit nějakej větší, eh, SSD disk, že jo, nějakej externí disk, kam bysme si zálohovali právě naše epizody podcastu, že jo. Vzhledem k tomu, že jedna má asi, nevím, deset, patnáct giga, tak, tak docela roste, že jo. Tak jsem si to nechtěl nechávat jako u sebe na Macu. a já mám, eh, v prohlížeči nainstalovanej ten hlídač shopů, že jo, ten extension nebo jak se jmenuje ten, Jo, jo, jo. ukáže historickej vývoj ceny. No tak já jsem si našel nějakej disk, kterej se mně jako relativně líbil podle těch parametrů. Eh, na začátku roku tak stál devět tisíc a teď stojí dvacet pět tisíc, jo, což je prostě víc jak sto procent, já nevím, třeba sto pro-- sto třicet procent plus To pouhá jakhle počítám z hlavy. No tak to je crazy. Takže zatím zkrátka backup našich epizod je u mě na Macu.

Filip: Jo, takže ty vole, jakože řek-, já jsem na SSD nekoukal, ale vím, že když jsme odjížděli s přítelkyní před dvěma lety to bylo do Asie, tak jsem byl vlastně jako extrémně překvapenej, jak jsou SSD levný dneska, že já jsem kupoval prostě nevím, kolik to bylo dvouterový přenosný SSD za, já nevím, jestli to bylo patnáct stovek nebo jako ne-ne-nebylo to fakt jako mnoho. Ale jestliže říkáš, že to vystřelilo takhle šíleně, tak

Jindřich: Ta, ta masakr. ta doba je pryč. Hele, jako co jsem, co jsem, eh, si jako dohledal, tak to číslo, který jako média uvádí, tak je devadesát procent. Jo, že o devadesát procent zkrátka ty ceny jako vyskočily, což je prostě hodně, že jo. Když chceš, nevím, čtyř, osmi terabajtový jako SSDéčko, tak ty jsou jako hodně drahý

Filip: Mhm, no jasně no. Ty jo. No, jako tohle je ta stinná stránka AI, protože to prostě žere veškerý zásoby čipů, pamětí, prakticky jako čehokoliv, co je součástí nějakejch jako počítačovejch nebo respektive serverů. Tak no, lepší to asi nebude nějakou dobu ještě.

Jindřich: hm. ono obecně jako se udává, že jo, že, eh, sedmdesát procent toho jako compute power datovejch center dnešní doby tak se využívá nějakým způsobem pro jako využití v umělý inteligenci, že jo. Což když si vezmeš, eh, já nevím, j-jakej ten compute bude, že jo, ale prostě bude obrovskej, obrovskej už tady pár let je. A ta umělá inteligence nebo obecně tyhlety modely, tak tenhleten trend tady jako není zas tak dlouho, že jo. A už teď, už teď vlastně tadyhleta oblast má majoritu toho jako výpočetní výkonu těch jako datovejch center. Takže to je crazy. to hodně. A

Filip: No.

Jindřich: vlastně důvod, proč se to dotýká i vlastně nás, no. Když si tady z malýho města chce koupit STéčko, tak má útrum.

Filip: No, jako lepší to asi nějakou dobu nebude. Budem doufat, že různý menší efektivnější modely, co dělá třeba že jo právě Bottle Cap česky, jaký zefektivňování modelů, tak, tak tomu pomůže. Akorát tady se krásně uplatňuje ten, myslím, že se tomu říká Jevonsův paradox, kdy zkrátka ty jako vlastně nějakou komoditu zefektivníš nebo jako uděláš ji dostupnější. A to neznamená, že najednou vlastně ti klesnou náklady na to, ale paradoxně tím, že je dostupnější, tak jako víc a víc lidí ji bude používat na víc a víc věcí, víc a víc use casů. No a najednou jakoby vlastně ta celková ta spotřeba nebo ta cena tak jako vystřelí, protože ta poptávka najednou jako vystřelila taky. Takže my jako můžem, my a pravděpodobně to uvidíme, že jo. My budem dělat jako lepší, efektivnější a víc úsporný modely, ať už co se týče jako nároku na hardware, spotřebu, rychlosti a tak dál. No ale tím se najednou bude otvírat jako víc a víc use casů, protože dneska tě jako co tě limituje? Ok, máš agenty, který dokážou fakt jako divy s těma frontier modelama, ale limituje tě ten čas, že jo. Musíš to škálovat vlastně jako horizontálně, to znamená jako mít víc těch agentů paralelně vedle sebe. No ale jakmile budou efektivnější, tak budeš jim dávat složitější a složitější úkoly na víc věcí je budeš používat, protože to bude levnější. No jako jsem zvědavej, kdy tahleta spirála končí.

Jindřich: Tak uvidíme, kam nás ta budoucnost zavede, ale velmi pravděpodobně alespoň jako nějakým způsobem ty open, eh, weight modely, tak to místo tady pravděpodobně maj a pravděpodobně Jo jo. je budeme využívat víc a víc. Co zkrátka, eh, je blbý, tak, eh, obecně, že to, ten compute power, jak jsme o tom mluvili před chvílí, tak dotýká se i nás. A ještě mě k tomu vlastně napadá takových dvě věci. Tak, mm, když vyšlo poslední Mac Studio, tak tam měl vlastně v nabídce i tu pětsetdvanáctku, že pětsetdvanáct jako gigabajtovou verzi, tak to úplně zařízl. To už vlastně teď jako Hm, hm. A, eh, ty rumors jsou, že i po několika letech tak vlastně aktuální model iPhonu, což má bejt teď iPhone 18, tak že podraží. Což jako jasný, že jo. Asi se to tak nějak jako i čekalo, že dřív nebo později to přejde, p-přejde, protože přece jenom jako po za posledních několika let ta, ta vlastně startovací cena, když on to uvedl na trh, když Apple uvedl nový iPhony na, na, na trh, tak byla totožná, že s těmi předchozími lety. I za tu cenu, že je to jako nějaká inflace i za tu cenu zkrátka, že rostly už ty ceny těch paměťových čipů a podobně. Nicméně pravděpodobně teď asi bude ten okamžik, kdy teď vlastně máme začátek srpna, tak v září vycházejí nový iPhony většinou, tak pravděpodobně tam už bude třeba počítat i s vyšší cenou těch nových modelů. A to samozřejmě bude mít i implikace na ty starý modely, že jo, který nebudou tolik klesat na ceně, jako by klesaly standardně, kdyby ta cena byla, eh, běžná a totožná s těmi předchozími lety

Filip: No, jsem zvědavej. Máme se očividně na co těšit. Eh, nicméně to jsme trošku uhnuli jako do jinýho tématu, ale když se vrátíme k těm lokálním modelům, tak asi možná jako na závěr bych chtěl jenom zmínit, jako kde si to člověk teda může vyzkoušet. Jako že máš to, že máš nějaký tady Open Weight modely, ale jak si to jako běžnej smrtelník můžu zkusit? Tak za mě jako nejjednodušší appka je Ollama. Normálně si to stáhneš, jo, nainstaluješ tu appku a tam hnedka v meníčku si hezky vybereš, kterej model si chceš stáhnout. Musíš se připravit, že bude mít prostě třeba nevím pět gigabajtů. Některý mají i víc, klidně i dvacet, třicet. A tak si ho stáhneš a pak tam máš chatovací rozhraní. Povídáš si s ním a vlastně všechno to běží u tebe na počítači. Můžeš si vytrhnout kabel od internetu, vypnout Wi-Fi, aby sis to jako ověřil. A todle je za mě ten nejjednodušší způsob.

Jindřich: Plus podobně, že jo, ty, hm, další jako menší apky, třeba ten Transkriptor, o kterej jsme se tady bavili, že jo.

Filip: Jasně.

Jindřich: Ty vlastně taky nainstaluješ, stáhneš model, vybereš si, kterej chceš, u každýho vidíš nějaký parametry a je-- jednoduše tam vidíš grafik rychlosti a přesnosti a můžeš si vybírat něco mezi tím. Tak to může bejt taky jako další takovej, eh, řekněme starting point, jak si to vyzkoušet.

Filip: Yes. No a to, pokud si chcete vyzkoušet něco z Hugging Face, tak jsou jako dvě možnosti. Buďto na Hugging Face si tam kliknete, že chcete si ten model pustit u nich v cloudu, tak tam pak člověk jako má něco free, něco pak zaplatí, ale to není tak úplně lokální, byť je to jako taky si zkoušíte ten Open Weight model. No anebo řeknete za mě nejjednodušší způsob, řeknete Claude Códovi: „Hele, tady je model na Hugging Face, prosím tě, napiš mi ten Python script, kterej mi to sem jako dostane." Napojí si na to nějaký tady, eh, Open WebUI, LibreChat a podobný. A máš to ready. Tohle je dneska ta krása, že jo. Máš Claude Coda anebo to je jedno, že jo, Codexe, to je jedno. Řekneš mu: „Hele, chtěl bych si tady ten model rozjet u sebe. Můžu?" On se ti podívá na parametry hardwarový tvýho počítače, řekne: „Jasně, můžeš, nemůžeš, bude to pomalý, nebude." Prostě ti pomůže a když řekne: „Dobrý," ty řekneš: „Super, nainstaluju," on ti to nainstaluje a běžíš. Nádhera.

Jindřich: z těch modelů jako doslova spustíš jenom jedním příkazem v terminálu, že jo. ty step, ty step by step kroky máš mnohdy právě, eh, v rámci toho Hugging Face. Takže jako je to snadný. se domnívám a dovolím si tvrdit, že vlastně v re-většině retailu a většině lidem to nic moc jako nepřináší v tenhleten okamžik.

Filip: Jo, je to spíš na experimentování, no.

Jindřich: přesně, přesně.

Filip: přesně. A-anebo pak ty specializovaný use casy, kdy fakt máš nějakou věc, kterou opakuješ. Je to dostatečně malý, jako je to vlastně má to svoje kouzlo, když hledáš, jakej nejmenší model můžeš na tu tvoji danou úlohu použít, aby ještě jako ten výsledek dával smysl, že jo? Protože ty jako vždycky obchoduješ, eh, kvalita výstupu versus rychlost versus cena, že jo.

Jindřich: no vlastně A to tady ty váhy ty prostě můžeš takhle porovnávat a snažíš se dostat na ten největší optimum. A furt je to trojúhelník, kterej jako nikdy nebude asi úplně optimální, no. Musíš si vybrat svý preference

Filip: Vždycky je tam nějakej trade off

Jindřich: Co by to bylo, Filipe, za díl, kdybych dneska neřekl, že to bylo obohacující? Tak díky za to povídání.

Filip: Jo, to-tohle by dokázal podle mě z historie našich, eh, transkriptů vyhodnotit i nějakej malej OpenWeight model.

Jindřich: Jak říkáš?

Filip: Super. Eh, hele, bylo to super. Doufám, že jsme tak nějak shrnuli ty OpenWeight open source modely, byť někdy je to trošku matoucí. Dejte nám vědět do komentářů, jestli jsou k tomu nějaký třeba otázky, nejasnosti a nebo třeba m-mě by zajímalo, na co a jestli vy používáte nějaký OpenWeight modely lokálně anebo třeba i na serveru prakticky. Jako jaký s tím máte zkušenosti, když pomineme předplatný a takový ty jako klasický providery, tak co jsou vaše use casy?

Jindřich: A vlastně budeme rádi jako na feedback, jestli to bylo jako srozumitelný, nebo jestli jsme byli moc technický nebo málo technický. A obecně zkrátka budu rád za jakoukoliv konstruktivní kritiku. Díky moc Filipe, uvidíme se příště.

Filip: Kindro a mějte se krásně

Jindřich: Čau, čau