Data scraping

Jindřich: No ale jakou konkurenční výhodu teda ve skutečnosti maj jako dneska, když je velmi jednoduchý si ty data jako poscrapovat, že jo?

Filip: já mám často pocit, že se toho lidi jako bojí, že je to prostě jako technický, že je to jako složitý, ale vlastně jakoby ty ten problém můžeš řešit s tím agentem, jak jdeš, jo.

Jindřich: tebe vlastně ve skutečnosti nemusí moc jako zajímat, v jakým formátu a jak ty data stáhneš. Hlavně že je máš,

Filip: firmy, které stály jako na veřejných datech, tak to tak jednoduché mít už úplně nebudou,

Jindřich: Data jsou v dnešní době doslova palivo každý AI aplikace. No a ty data si musíš někde vzít, že jo? A těch metod existuje několik. Jedna z nich je data scraping. Čau Filipe, rád tě vidím klasicky. Pojďme tuhletu metodu probrat. Pojďme si říct ty možnosti, jakým způsobem ty data z internetu získávat. Pojďme si trošku říct, jestli to je vůbec legální, jestli to není šedá zóna a hlavně jaký nástroje případně, eh, na to použít. Tak těším se na tvoje zkušenosti.

Filip: Ahoj Jindro, zdravím tě, zdravím i naše diváky. Pojďme se do toho pustit. Je to strašně zajímavý téma. Možná na začátek by se slušelo a patřilo si říct, proč vlastně něco jako data scraping, to znamená jako dostávání a získávání nebo dolování, možná by se to dalo říct líp, z internetu potřebujem. My už jsme to tady omívali jako nesčetněkrát, ale taková jako k-krátká rychlá rekapitulace. Tak my se teď nebavíme o jako data scrapingu pro nějaký trénování modelů, byť i tam se jako dá ten scraping používat, ale vyloženě pro nás jako pro ty praktický naše úlohy, praktický věci, co chcem dělat. No a jednoduše řečeno, když máš prostě LLMko, tak ono je natrénovaný na nějakých datech, ale pravděpodobně tam nemusej bejt data, který ty chceš. Můžou to bejt třeba analýzy komentářů u tvýho příspěvku na LinkedInu, nebo to můžou bejt věci, který lidi postujou na Facebook, Instagram, že jo. Spousta restaurací dneska třeba hází denní meníčko prostě na Instáč jako obrázek nebo na Facebook prostě to napíšou jako post. A k těmhletěm datům se prostě jako nejde standardníma metodama dostat. Nemáš nějaký APIčko, který je prostě hezky vystavený, kde by sis ho prostě jako zavolal a hnedka si ty data použil. No ale ty ty data potřebuješ, že jo, protože vlastně to, co tě dělí od nějakýho jako ne úplně správnýho a pravdivýho výsledku a toho, abys měl jako kvalitní výstup z AI, tak je přesně to, co pošleš do toho kontextu. potřebuješ tady ty čerstvý a jakoby kvalitní data nějak získat. Takže já bych řekl, že to není ani jako výhoda nebo nějaká jako special technika. Je to spíš jako nutnost v dnešní době při práci s AI nějakým způsobem scrapovat nebo získávat ty data.

Jindřich: Se posledně tady bavili i vo tý knowledge base, že jo, vlastně několikrát už jsme to tady, eh, tohleto slovo iterovali. A jak už jsme jako řekli posledně, není zatím jako nic jinýho než maký data, tvoje data, že jo, složka, soubory a podobně. No ale i přesně tuhletu tu, tu knowledge base, kterou ty si tvoříš, tak ty musíš tvořit z nějakejch souborů a z nějakejch dat, který ty jako nějakým způsobem získáváš. No a přesně tajhle ta metoda, že jo, toho získávání, tak může bejt právě ten, ten, eh, data scraping. To bych řek, že je taková jako ta první vrstva vlastně toho našeho jako povídání. A ta druhá vrstva, eh, když tuhletu první si pojmenuju to, že ty data vlastně chceš nebo je potřebuješ, aby si vlastně tvořil jakejkoliv třeba tvůj, tvůj projekt. A ta druhá vrstva je, že vlastně v dnešní době i ty vlastně nástroje AI, i vlastně do jistý míry ty jazykový modely, tak nám mnohem zjednodušujou práci a vlastně dávaj nám ty možnosti právě ty data získávat. A jinými slovy, jo, abych to měl trošku zrekapitulovat, tak zkrátka získávat a stahovat v dnešní době data je mnohem snazší než kdykoliv dřív

Filip: No tak to je jako bezpochyby už jenom díky AI, AI agentům tak vznikla jako hromada služeb, který tady dneska budem probíhat, probíhat, probírat, který ti tady to jako umožňujou a díky agentům už ty nejsi jako odkázanej na nějakej jako deterministickej program, kde by sis jako dopředu musel naprogramovat: „Hele, teďka já budu stahovat komentáře z, nevím, LinkedInu, to je prakticky jako jedno a ty jsou v takovýdle struktuře tady jako profil a přesně takhle se to bude stahovat. A teď jejda, já potřebuju stahovat komentáře i z Instagramu, tak najednou jako musíš dop-dopojit jako úplně jinej konektor a teď jako celý doprogramovat, protože jako řekněme si upřímně, jakoby data scraping se jakoby dělal už před AI. To není jako

Jindřich: No właśnie

Filip: že jo. To, to, to jsme jako neobjevili Ameriku, ale bylo to jako násobně víc jako náročný. Musels mít třeba nějaký programátorský skills anebo si to prostě ododřít ručně, že jsi tomu toolu prostě jako ručně zadal: tady jsou odkazy na ty příspěvky, třeba u kterých to chci scrapovat nebo ten, ten profil. Ale dneska ty to prostě dáš agentovi a on tím, že umí používat nástroje, no tak vlastně jeden z nástrojů může bejt nástroj, kterej dělá ten data scraping, ať už je to Apify, Firecrawl nebo další, o kterých tady dneska budem mluvit. A on pak najednou ten agent, ty mu řekneš: „Potřebuju postahovat veškerý videa a komentáře k nim, který dělala konkurence.“ Třeba v mým případě na YouTubu. Trr, přijdu ráno, mám to všechno někde naházené v nějaké databázi, v Markdownu, v Excelu, to je prakticky jedno a ten agent to prostě jako vyřeší a já jsem mu jenom zadal ten cíl. Nemusel jsem mu popisovat nějakej kód, jak to má přesně udělat. Takže jako proto se o tom dneska podle mě jako tolik mluví.

Jindřich: To je vlastně skvělej point, že jo. Ty jsi, jak jsi zmínil, že ten samotnej jako data scraping je disciplína stará jako skoro jako internet sám, ale jako tehdá to bylo extrémně komplikovaný, že jo. Tak jasně, člověk si napsal jako v JavaScriptu nějakej script, kterej ti něco fetchoval, ale pak ten web najednou změnil nadpis z H2 na H3, že jo. Nebo prostě jako jakejkoliv ten tag nebo ty, ty divy třeba, který se jako stahovaly. Zkrátka tyhle ty prvky v tom HTMLku, tak trošičku ta struktura se změnila a už ten script jako přestal fungovat, že jo. A vlastně todleto v dnešní době tím, že ty seš schopnej tam poslat toho agenta, ten vlastně pochopí jako tu stránku, pochopí ten kontext a vlastně systematicky jako rozumí tomu, tomu textu nebo těm datům, který ty chceš získat. Tak vlastně tyhlety všechny bariéry, který my jsme tady jako nedávno měli, tak obcházej, odcházej, vlastně jsou zkrátka eliminovaný. A todleto, že člověk do toho musel jako jednak mít ty programátorský skills, druhak do toho furt jako zasahovat, nějak to jako spravovat teda a pak řešit i veškerý jako blokátory, že jo, nebo různý jako reCAPTCHA a takovýhle jako věci. Tak díky tý technologii, kterým, kterou my máme, tak jsme vlastně tuhletu potřebu vlastně jednak eliminovali a druhak se nám to mnohem zleh-zlehcilo. A samozřejmě do třetice, jak už jsem říkal předtím, my zkrátka ty data potřebujem

Filip: No jasně, jako ty, tys vlastně jako krásně pojmenoval ty dvě věci, jo. Jako jedna je přesně to, že díky agentům tak ty už nemusíš pokaždý upravovat skript, když ti nějakej programátor prostě změní tu strukturu. To nemusí být přesně ani to API, ale jenom tu strukturu toho HTML dokumentu, že jo. Tak ty už nemusíš to jako upravovat. A druhá věc je, že, hmm, ty dnešní weby víc a víc, a to zase tady bylo jako před AI, tak nejsou jakoby stavěný, že se ti vrátí třeba ta jako plochá HTML struktura, že si prostě to zavoláš, získáš ty data a jsou takzvaně jako dynamický, že jo, že ty vlastně jako tu webovku, ti nepřijde z toho internetu už hotová, že jo. Ony ti přijdou nějaký JavaScriptový, ehm, skripty, což se dá přeložit, jako že ti přijde nějaký kód, který teprve jako zajistí to jako vykreslení a dotáhne ty další data, že jo. Takový to typický načítání na Facebooku, že se ti to načítá nekonečně a ty pořád, pořád scrolluješ. Ty data se ti musej pořád donačítat a teď ty jakoby nejsi schopný z toho agenta jenom říct: „Prosím tě, stáhni mi moji zeď na Facebooku.“ To to jakoby nejde, že jo. Ta zeď se pořád dogenerovává, pořád mění. No takže ty tam pak potřebuješ jako nastoupit s nějakým tím scraperem. A když se jako posuneme už k těm nějakým praktickým věcem, tak jako úplně nejjednodušší scraper v tý dnešní době AI tak může být nějaký jako browser use nebo Playwright, že jo, kterej prostě vlastně jako udělá jenom to, že ten agent si otevře ten prohlížeč, jako bys to byl ty člověk. To znamená, že jakoby simuluje, že jsi, že jsi jako člověk a teď ty data si tam vytahá a buďto jako pomocí vyloženě jako textu, nebo si prostě udělá ten screenshot a díky jako multimodalitě tak jako přečte, co tam je napsaný. A ta snaha je vlastně jako simulovat člověka, protože toho jedinýho ty weby neblokujou, protože jinak jakoby ty weby se brání tomu, aby tys ty data si přečet, že jo, a někam si je ukládal a nějak s nima pracoval.

Jindřich: Takový jako asi typický, co mi jako relativně k tomu přijde, tak jasně, když trošku pominu to, že to tam můžeš za-zadat jako tomu Coworkovi, že jo třeba, tak nebo Cloudovi, Cowork, Coworkovi, whatever. Tak stejně tak můžeš použít ten Cloud Extension, že jo. A to mně vlastně přijde i takový jako relativně jako useful, že je to jako snadný. Máš to vlastně při ruce. Když ty sedíš u toho počítače, tak vlastně seš jenom to jedno tlačítko a ten jeden příkaz od toho vlastně si všechny ty data jako fetchnout, který ty tam třeba momentálně máš jako načetlý. Ale možná je todleto trošku jako odlišnej use case, byť může bejt ten základní, protože ty získáš ty, ty data jako as is, že jo. Ale ty třeba chceš každý ráno nebo každou půlnoc, aby se tam jako někde stahovaly data z nějakýho fóra nebo vlastně cokoliv. Potřebuješ tam zkrátka takovou tu jako repetitivní činnost, že jo. A tam už se možná od tohohle, byť asi to můžeš použít taky nějaký, že jo, ty scheduled tasky a podobně, který v Cloudovi jsou, tak tady se možná už můžeme trošku posunout na nějaký jako advanced metody a tam asi mezi možná tu nejrozšířenější nebo tu nejznámější v Čechách si myslím, tak, tak patří asi Apify, že jo. Což vlastně Apify podle tý-- mě vlastně zajímalo obecně, když trošku jako odbočím, jak to vlastně definovat. Jo a mně se líbila taková jedna definice, kterou vlastně říkal někdo v podcastu právě s Apify a oni říkají, že jsou jako tržiště jako botů na získávání dat. Jasně, protože ono to funguje jako tržiště, že každý sem může napsat jako toho svýho jako bota, že jo, může ho za nějakej pricing jako poskytnout a podobně, takže to vlastně tvoří komunita. A trošku možná odbíhám, ale zkrátka co na tom je jako pěkný, tak ty si tam můžeš vybrat ten jeden tvůj konektor nebo toho bota, co potřebuješ, kterej ti bude scrapeovat web nebo fóra nebo, eh, nevím, TikTok, YouTube a různý zkrátka, eh, takovýhle weby. A mimo jiné, že jo, tak asi ta jejich jako největší přidaná hodnota, nebo co já se domnívám, proč je hlavně spoustu lidí používá, tak je to, že oni dokážou mnohdy projít takovou tou ochranou proti botům, že jo. Oni jsou schopni, nevím, přejít,

Filip: Klik.

Jindřich: jasně, to je jako v tom jednodušším případě, ale obecně nějaký jako rotování IP adres, že jo, nějaký ban, banování a přesně obchází nějakých jako reCAPTCHI a tak dál. Jako do jaký míry jako je to šedá zóna nebo to legální vlastně asi jako nevím, asi nedokážu se vám jako snoubit, ale už tady jsou dlouho. Eh, je to obrovská jako fungující společnost jako s obrovskou hodnotou. Takže tohleto velmi pravděpodobně budou mít jako podchycený i vlastně z toho úhlu pohledu toho leaku toho práva.

Filip: možná ještě jako rychlou odbočku jenom proč vlastně jakoby tyhle nástroje dávají smysl. Protože jako spousta lidí ti řekne: „No jo, tak já si teď si dám toho Cloda, dám si jako Claude in Chrome a vlastně si to vyscrapuju taky. Jako na co potřebuju Apify, na co potřebuju Firecrawl? Oni ještě jako za to chtějí peníze. Tak jako co je ta hlavní přidaná hodnota?“ A jako za mě ta přidaná hodnota je v tom, že ty nemusíš objevovat kolo. Jo, že ty jakoby když si chceš tahat řekněme jako Google recenze z Google Places, tak OK, můžeš mít apíčko, tak to je možná blbý příklad. Tak komentáře z Instagramu možná jako lepší. Nebo prostě zkrátka jako mějme službu, která ti neposkytuje ty data nějak otevřeně. No tak jako ty buďto si musíš toho agenta jako vytrénovat, že mu jako řekneš: „Hele, pojďme objevovat spolu Instagram, pojďme najít komentáře. Aha, oni se další komentáře donačítají tím, že klikneš tady na to tlačítko Načíst další. Aha, tady je ještě nějaká možnost přepnout ty nejrelevantnější versus nejnovější.“ Jo, ty, ty zkrátka jakoby objevuješ s tím agentem tu strukturu tý page a musíš mu vysvětlovat, co kde má najít, jak ti to má získat, jak to má strukturovat a zkrátka jakoby musíš mu to popsat. Takže ten proces je jako mnohem bolestivější. A byť ho dokážeš udělat s tím Claude in Chrome, tak třeba na Apify tak máš vyloženě jako aktora, který bude Instagram aktor, který bude mít jakoby API, to znamená vyloženě jako službu „získej komentáře“. A co jediný tvůj agent udělá, je, řekne: „Já chci ty komentáře.“ A ten aktor už v sobě má vlastně jakoby naučený nebo naučený, prostě to je program, že jo. Nějakej scraper, kterej jakoby ví přesně, kde má kliknout, co má naklikat, aby ti jako vytáhl a tobě už se to vrátí v tý strukturovaný podobě. Takže jako za mě pomeňme nějaký jakoby pokročilý ochrany proti jako botům, protože ty často třeba i s Claude in Chrome obejdeš, protože ty máš tu rezidentní IP, protože to máš doma. Chová se to jako uživatel, je na tvým Chrome účtu, takže často to jako obejdeš, ale pokud ti to př-jako má přinést nějakou hodnotu, tak je tady to, že ten agent se ti nevrací a neříká: „Ty jo, já jsem načetl nějaké komentáře, tady jsou.“ A ty řekneš: „Počkej, ale to je řazené nějak divně. To jsou jenom ty nejrelevantnější, ale tam je řazení i pod nejnovějších. To já chci.“ A m-musíš s tím prostě jako iterovat. Jo, takže jakoby kdybych to měl shrnout do jedné věty, tak scraper ti zajišťuje jak tu, to obejití těch ochran, tak ale zároveň i strukturovaný výstup těch dat, že ty prostě nemusíš to kolo znovu objevovat.

Jindřich: Přesně že, to, to jsem myslím zmínil až teď nakonec, že prostě ty máš z-zaručenou strukturu těch dat, ve který to vlastně vždycky dostaneš. A plus asi co by se tam možná dalo challengovat, tak je asi ta rychlost. To, jak to mají vlastně udělaný oni, že jo, tak t-ty dokážeš ty data zkrátka získat jako mnohem rychleji, než když ti Claude jako proklikává ten web a vidíš tam, jak on jako pomalu kliká, než jako pochopí kontext tý, tý stránky a pochopí, co ty vlastně chceš získat. Hm, co je tady jako určitě fajn, tak je tam jako velmi jednoduchej ten agentic use, agentic use, protože ty když chceš třeba aby tvůj Claude nebo ten tvůj software používal toho agenta, toho aktora, jak oni tomu vlastně říkaj, tak ty mu akorát dáš URL tyhlety konkrétní, eh, tohoto konkrétního aktora a řekneš mu: "Hele, chci používat tenhleten, stahuj ty data, eh, jednou denně, ukládej mi je sem." On ti řekne: "Jo jo, jasně, ok." Maximálně mu dáš třeba ještě svůj jako přístupovej token, že jo, do nastavení v Apify a ten agent už je vš-schopnej si jako všechno nastavit. Nastavit si tu datovou strukturu, nastavit si tam ten payload, kterej se získává, kterej to vrací, že jo, někam ti ukládá ty, eh, jakoby scriptovaný data a podobně. Takže jako obecně ten jako Apify minimálně za mě tak je easy to use. Avšak i ten důvod, proč já ho vlastně tolik nepreferuju je ten, že je za mě drahej. Jestliže ty chceš třeba jako facebookový data, tak ty musíš platit třeba čtyřicet dolarů tuším měsíčně jenom za toho aktora plus potom platíš třeba za usage. Samozřejmě se to ru-- se to liší. Oni mají, já nevím, desítky tisíc třeba těch aktorů, těch place nebo tisíc aktorů. Nevím přesně to číslo. Některý maj zdarma, hm, některý jsou jako velmi drahý, někde platíš za usage, někde platíš za ten rental, že jo, měsíční, eh, jako feečko a podobně. Tak či onak, já se domnívám, že zkrátka tahleta metoda, byť je dobrá, je snadná, tak je třeba za ni zaplatit.

Filip: Tak to je prakticky jako se vším, že? Jako chceš si ulehčit práci, tak za to vlastně musíš zaplatit. A oni, co ti přesně řeší, jako není jenom to klikátko, ale přesně ty jako IPny, že rotujou, že vlastně jako se snaží pro, pro ty poskytovatele těch dat tvářit jako že jsou jako běžní uživatelé. Což zase jako máš spoustu open source projektů, který ti jako umožní scriptovat data z nějakejch webů. Ty si tam jenom musíš jakoby udělat ten script třeba a ono to jako bude fungovat. Jenom pak se ti změní ta datová struktura, takže ty to zas musíš předělat. Prostě tohle ti ten aktor řeší, že jo, že vlastně jakoby, em, i to zůs-získávání těch dat aktuální za tebe, protože ty webový stránky nebo ty aplikace tak jako běžně dělají to, že změní se layout, struktura, kde jsou komentáře, jak se k nim dostane, jak přidají nějaký zabezpečení. A opět jakoby tohle ti ten aktor vlastně vyřeší, protože je za ním někdo, komu ty vlastně jako platíš. A byť to nemusí být jako jenom Apify, může to bejt i nějakej jako vendor, kterej ti to jako poskytne, tak ale má tu vlastně finanční motivaci to opravit a třeba i zrychlovat.

Jindřich: Hm. Ale přesně třeba, hm, kam jsem tím vlastně i trošku mířil, tím, že jsem říkal, že to je jako drahý, tak za mě dává smysl jako skládat ty nástroje v závislosti na tom, jaký data já chci scrapeovat. Těch nástrojů je několik, ještě jako vzápětí se k nim jako dostanem. Ale třeba já osobně, když jsem těch jako dat jako řadu pro různý projekty jsem jako si získával, scrapeoval, tak kde mi to dávalo jako největší smysl, tak je Facebook. Protože Facebook, ten bojuje proti těm botům, že jo, nechce, aby tam ty boty jako procházely. Tak tam opravdu když člověk chce scrapeovat facebookový skupiny nebo jejich obsah a podobně, tak to mi dávalo jako největší smysl a nejlíp mi fungovalo, eh, z-- použít Apify. Další ještě jako věc, která mě napadá teď zpětně, tak vlastně se mi vůbec nedařilo nikde získat počet followerů na Instagramu v čase. Existuje spoustu služeb, který ti dá jako aktuální, eh, číslo. Jo, ale nenašel jsem žádnou službu, která by to nějak jako agregovala a já bych řekl: "Hele, já chci prostě tady získat data za každej den od, nevím, za poslední rok třeba, kolik jsem tam měl followerů, abych si mohl prostě vykreslit takovej ten, že jo, eh, graf, graf, jak to rostlo." Tak já jsem to jako obešel tím, že jsem si toho aktora zapnul přímo na spo-- na, na Apef-na Apify a řekl jsem každej den prostě mě tady to jednou v osm ráno zavolej, zjisti, kolik tam je followerů a to ulož, abych já si vlastně sám tvořil tuhletu databázi. Co tím vlastně i trošku chci říct, je to, že ten Apify běží na straně, respektive ten aktor běží na straně Apify a mají tam i jejich vlastní nějaký úložiště. Takže člověk vlastně nemusí nic řešit, jen si tam klikne, tady chci tyhlety data, někam mi to ukládejte a tady chci, aby mi to běželo. Jasně, musí mít ten Apify subscription, musí platit za toho aktora a tak dál. Ale dá se. Nemusí se to, nemusí to běžet lokálně, nemusí to běžet nikde u něj na serveru, na nějakým va-- na wipekodovaným projektu v nějaký vlastní databázi. Ale vlastně i tohleto dokáže ten, to, to Apify obsloužit. Takže teď já vlastně když si chci vykreslovat data, tak si zavolám jenom apíčko toho mýho Apify a řeknu mu: "Vrať mi tu databázi, kam mně tenhleten aktor uk-ukládá ty Instagram followers." On mi vrátí ty data a já si vykreslím graf, jak nám na Instagramu rostou followers.

Filip: To je vlastně jako krásnej příklad. Mě to úplně teď jako to přirovnání úplně cinklo. Je to podobný jako s wipe codingem máš jako Makaly nebo Lovable, tak tak jakoby ty si všechno můžeš udělat jako ručně. Ty bys teoreticky jako nepotřeboval ty nástroje, stejně tak jako nepotřebuješ to Apify, jenom to bude jako strašně moc práce. A pokud tvůj jako business není scraping, potažmo ten wipe coding, že jo, jak když to jako přirovnám k těm nástrojům, no tak ty prostě jako něco zaplatíš, ale máš to už jako hotový. Máš to jako all in one, přesně jako ty data se ti uložej. Nemusíš přesně přemýšlet jako, ok, tak já si potřebuju scrapovat teďka počet followerů na Instagramu, abych je měl v čase. A jako kam s těma datama? Tak si musím založit databázi, nějakej Excel, šeji napojit atd. Je to prostě zase jako najednou ten jednoduchý úkol scraping dat má několik dílčích, který musíš vyřešit a takhle ti to ten nástroj vlastně jakoby celé pokryl, byť za nějakej jako menší, menší poplatek.

Jindřich: Jo, je to furt jako inženýrská práce jako každá jiná, no. Ale, eh, samozřejmě jeden z těch dalších nástrojů, to je ten Firecrawl, ty už jsi ho tady taky zmiňoval. A ten je třeba za mě mnohem levnější a dokáže ti dát jako mnohem větší jako množství dat. A

Filip: Hm.

Jindřich: třeba typicky na co ho používám já, jo, tak já, eh, používám Firecrawl na to, abych, eh, stahoval programy letních kin ze, eh, stránek jako letních kin, protože jsem dělal, že jo, ten agregátor za soumraku tečka cz se to jako jmenuje. A přesně ten, ten projekt já jsem dělal jako zatím, že já jsem si chtěl vyzkoušet takový to skládání těch jako nástrojů, že jo. Tak jsem si říkal: „Ok, tak tam jako pošlu, eh, jako Firecrawl, postahuj mi všechno. No, tak jsem to tam jako poslal a samozřejmě ten týden hnedka pryč. Tak jsem říkal: „Ok, jasně, takže já potřebuju to nějak jako poskládat jako vhodně. Jednak abych na tom jako ušetřil, abych prostě nemusel platit, že jo, tady za deset aktorů, eh, na Apify, ale aby to zkrátka bylo nějak viable nebo respektive já jsem ten projekt si chtěl jako jenom vyzkoušet, že jo. Takže mně tam nešlo úplně tolik jako o ten, o ten jako pricing, ale samozřejmě aby to bylo jako, jako udržitelný, abych se třeba o to nemusel starat a mohlo to jako běžet. A v tom je asi vlastně ta krása, že jo. Jako že není nutný mít jenom ten jeden software na to scrapování dat, ale zkrátka klidně to složit jako z několika, který vám jdou dávat podobný data nebo třeba jako stejný data, ale tak, že to bude jako mnohem levnější, než kdybych používal třeba jenom jeden nástroj.

Filip: Jo a k tomu tvýmu projektu, já bych se pak na něj trošku jako zaměřil. To přijde jako zajímavý, nějaký třeba zkušenosti, že bys posdílel. k tomu ještě jako z těch skládání nástrojů, tak, jako já třeba přesně dělám taky to, jako byť teďka s agentama, tak někdy už jsem jako línější a prostě tam pošlu ten Firecrawl nebo něco. Ale vlastně jakoby když jsem stavěl třeba si ještě v NA Tenku před x měsíci jako automatizaci na vlastně jakoby získávání dat z nějaký URL adresy, no tak jakoby přesně ta moje kaskáda byla. Zkusit to získat jako HTML. Projde to? Neprojde? Uvidíme. Když to prošlo, mám vyřešeno, mám vlastně jako zadarmo a nemusím nic řešit.

Jindřich: Jasně

Filip: byl, eh, virtuální prohlížeč. Prošlo, neprošlo. Dobrý. Když to neprošlo, použil jsem jako Firecrawl API. Eh, stáhl, nestáhl a takhle jako ty můžeš to agregovat a vlastně jakoby v nějakejch těžkejch bodech dojít k tomu, že to teda stáhneš fakt jako za drahou, že jo. No ale někdy prostě si fakt jako vystačíš tady s nějakým browserusem nebo klasickým, eh, já nevím, jak to popsat jako neprogramátorsky, ale prostě jako klasickým getem, jo, že ty prostě jako řekneš tomu webu: „Dej mi ten web," a on ti krásně naservíruje všechny ty data jako tady ho máš a nemusíš se o nic jako snažit. Spousta webovek takhle ještě jako funguje, že jsou jakoby staticky renderovaný nebo staticky jako generovaný. No a v tu chvíli ty jenom řekneš: „Dej mi to," on ti to dá a vlastně jako nepotřebuješ ten scraper.

Jindřich: Ale jako co si myslím, že je důležitý samozřejmě zmínit, že to scrapování dat je, eh, sekundární cesta, že jo. Jako ta primární cesta, co ty ideálně chceš, tak chceš získávat přes to APIčko. Takže když ta služba jako poskytuje to API, kde ti jako ty data dá regulérně, tak je to jako vždycky lepší. Typicky, eh, na co se jako používá APIčko, tak je třeba nějaký Google Places, že jo, nebo Google Maps API a tydlety věci. Takže člověk nechce jako scrapovat mapu, aby zjistil, kde jsou restaurace. Třeba kdyby ty data potřeboval, jo. Nebo nevím, nechce, eh, scrapovat ty, eh, hodnocení třeba, že jo, z těch, eh, vyloženě jako Google Reviews z těch jednotlivých míst. Ale vezme si to APIčko a zavolá si, že jo a Google dokáže dát jako spoustu míst i relativně zadarmo anebo jako za velmi, velmi jako nízkej pricing, protože myslím si, že zrovna to Google Maps API je jako placený, ale já jsem tam platil, myslím.

Filip: podle mě.

Jindřich: Reviews tam možná nejsou, no.

Filip: Ty

Jindřich: Já totiž--

Filip: owner. Já jsem to

Jindřich: asi jo.

Filip: jsem chtěl

Jindřich: Ano,

Filip: některé

Jindřich: Apify to řeší.

Filip: jo, přesně tak, jakože můj use case byl, jakože OK, použiju API, že jo, mají to tady a říkám aha, já nejsem jako ten business owner. Já jsem chtěl jako, jako, ehm, zjistit z těch recenzí to, na co si lidi jako nejvíc stěžujou, že jo. Tak takovej ten klasickej jako průzkum trhu, že jo. Díváš se na tu konkurenci, jdeš se podívat, co její uživatele nejvíc štve, abys to udělal a oni řekli: „Aha, tady to někdo vyřešil, protože todle mě bolí a tak jako půjdu tam.“ A to jakoby nejseš schopnej jednoduše udělat, protože Google samozřejmě ví, že ty data pro něj jsou jako drahý, že jo, ty recenze, ale jako člověk je vidíš. Ty se jako člověk můžeš podívat, jenom to nechceš jako opisovat a někde Přesně na todle byl ten Scripting pak jako super, no.

Jindřich: Tohle jsem vlastně taky řešil přes, eh, Apify a tam dokonce, jestli se nepletu, tak je myslím i ten scraper zdarma. Nebo teda... Eh, co jsem chtěl ale říct, že já jsem vlastně to Google Places API používal na, eh, validaci, eh, zase jako jinýho projektu, kde bylo asi tisíc šest set nějakejch písevků rozeslanejch v mapě a jsem potřeboval jako podle toho názvu zvalidovat ten, tu polohu na, na mapě, že jo, ten latitude, longitude. Tak to jsem si z toho to, to ta-tahal. Tak a druhak i hodnocení z těch Google Maps toho místa, že jo, chtějí dát třeba čtyřicet dva, čtyřicet tři a podobně. No a tohleto jsem pofečoval právě přes to apíčko všechno asi u těch tisíc šest set míst a stálo to třeba dva dolary možná nebo něco takovýho, jo. Takže to je ten pricing tam je jakoby velmi dostupnej.

Filip: Ale myslíš, že bys mohl trošku víc rozvést ještě ten tvůj projekt Za soumrakou? Protože my, my jsme se o tom bavili, možná jsme to v nějakým podcastu zmiňovali nebo jsme se bavili společně. Já už si to popravdě jako nevybavuju, ale mně přišlo jako fascinující to, že vlastně jakoby to nebylo jenom o tom potřebu získat data z Facebooku, ale jako že každej ten, to letní kino to má jinak. Někdo ti to prostě hodí na web i na Facebook, někdo to hodí jako obrázek jenom prostě na Instagram a ty vlastně

Jindřich: No w sumie

Filip: textově ani nikde jako nenajdeš. Tak jo, myslíš bys jako popsal ty zkušenosti a ten proces za tím?

Jindřich: Jako toto, co jsi zmínil, tak to vlastně byl největší problém, že jo, tam jako celém projektu. Jo, to, že jsem poslal x agentů na to, aby mně získali ty letní kina a pak jsem zavolal, že jo, to, eh, Google Places APIčko, abych získal tu polohu, abych tam získal třeba tu úvodní fotku,

Filip: Угу.

Jindřich: a tak dál. Eh, nicméně abych tomu šel trošku uvést, tak jako tím cílem zkrátka bylo udělat agregátor, kde bude csfd hodnocení, bude tam trailer, bude tam nějakej poster z nějakýho zase APIčka, bude tam IMDb hodnocení, bude tam, eh, ten Google rating, eh, a tak zkrátka nějaký, eh, jako věci k tomu. A bude tam samozřejmě jako tím, ten core toho celýho projektu tak je, že ty vidíš letní kina, vidíš ten program, můžeš si vybrat film, vidíš, kde ho dávaj, vidíš tam program jednotlivých kin, vidíš kina okolo tebe a tak dál. Ale přesně jak jsi zmínil, že jo, jako ten největší problém nebo ten challenging tady, eh, problém je ten scraping dat. Eh, proto já jsem vlastně tam měl takový ty tři metody. Že jo, měl jsem tam jako Apify na nějaký kina, který mi jako ne-nešly jako fetchnout jinak nebo jsem je nedokázali třeba, eh, jsem nedokázal prostě prolomit ten, eh, tu ochranu proti těm botům, že jo. Eh, to je vlastně takovej fallback. To je na posledním místě. Předtím, eh, je tam Gemini OCR, což je možná to jako nejzajímavější, že jo, protože to je, eh, vlastně free, mám takovej pocit dokonce v tom APIčku a to mi řešilo přesně ten problém, že jo, s typicky, že nějaký letní kina ti daj PDFko nebo ti daj v tom lepším případě, možná v tom horším případě ti dají jenom obrázek na Instagram a samozřejmě ten bot potom má problém jako to vyčíst jako text. Takže ty potřebuješ jako vy-využít jako nějakej jako model, kam typicky tohleto Gemini OCR, kam já teda jsem poslal, eh, ten, ten obrázek, kterej jsem si jako nejprve stáhnul a vlastně Gemini mi vrátilo hezky textově, že jo, ten program, kterej jsem si pak zas jiným agentem zpracoval už jako do tý mý struktury, který jsem chtěl. A to je, to byl asi ten druhej step a ten první step, tak to je Firecrawl. Ten mi přijde, že nevím, jestli to vlastně byl jako můj feeling, nebo jestli to tak jako ve skutečnosti je, ale mně přijde, že je dost jako skoupej na tokeny. Jo a

Filip: Hm.

Jindřich: takže ty když tam z ty, když tam zaplatíš ten základní tier, nevím přesně kolik, to je pár, pár stovek, jako to pojmenuj, tak to dokážeš jako obrovským množství wyscrapovat a-

Filip: Mhm.

Jindřich: Takže tak. Je tam samozřejmě nějak jako repetitivně stejný, takže každej každou noc, eh, já vlastně inkrementálně scrapu to, co jsem jako ještě neměl. Takže vlastně když tam přijdeš na ten web, tak vždycky vidíš ten, ten jako aktuální program, že jo, což vlastně logicky tě zajímá a tak dál. No takže vlastně abych to shrnul, to nebylo nic, že bych si říkal: "Hej, ok, tak tady udělám díru do světa, udělám agregátor." Ale spíš přesně jsem chtěl jako vyzkoušet, jako pohrát si s těma nástrojema, který využít a jak je složit pro to, aby byly co možná jako nejlevnější. Jak to obohatit, že jo, jak nabídnout těm lidem ty recenze, hodnocení, trailer a tak podobně. A v neposlední řadě potom vlastně jsem tam chtěl vyzkoušet ten, eh, novej framework od Metty, ten frontendovej, že jo. Nebo ten design framework. Já vždycky zapomenu, jak se jmenuje, ale ten agentic ready.

Filip: No, vím,

Jindřich: víš kterej.

Filip: nevzpomenu si na jméno. Co mě ještě vlastně jako zajímá, věřím, že spoustu posluchačů to bude zajímat, protože já mám takovej dojem, že jako spousta lidí si představí, že když se řekne jako ten scraping a tys to říkal, že já teď jako měl jsem problém něco jako vyscrapovat, něco vyparsovat a tak dál. Tak ale jakoby to, to neznamená, ne, že tys to dělal všechno nějak jako ručně nebo sis na to psal programy. Ty jsi prostě jako s Claudem řešil ty fallbacky, s Claudem jsi navrhnul tu smyčku i

Jindřich: Det är snyggt

Filip: ti to jakoby přes noc aktualizuje, tak je taky jako řešený pomocí takovýdleho agenta, ne?

Jindřich: No jasný, jasný. Jo, jo, přesně tak. Jo, to, to určitě není tak, že bych to jako implementoval já, ne, že jo, nebo abych já tam i-i-implementoval to jako APIčko, který fetchuje ty data a takový. Ne, samozřejmě s-- je v tom i ten jazykovej model a samozřejmě jsem to celý stavěl jako přes Cloud Code

Filip: A to je podle mě vlastně jakoby důležitý zmínit, že jako já mám často pocit, že se toho lidi jako bojí, že je to prostě jako technický, že je to jako složitý, ale vlastně jakoby ty ten problém můžeš řešit s tím agentem, jak jdeš, jo. On ti řekne: „Hele, já jsem ta data nedokázal vyčíst," že jo. Tak řekneš: „Ok, tak na tady ten speciální case použijeme Apify a ve výsledku z toho pak může být, nevím, máš tam asi nějakej skill, že jo, nebo nějakou plánovanou úlohu, která má prostě jakoby promptku dlouhou, která říká, jak se co má dělat.

Jindřich: No jasně. A teď vlastně není to zas tak dávno, kdy Makaly vlastně mají nějaký partnerství s Apify a přesně i ty aktory všechny ty můžeš využít i v Makaly. Takže zase je to jako o to jednodušší, jo. Takže teď kdybych já teda ten projekt třeba zadal do Makaly, tak třeba bude ještě hezčí, lepší a rychlejší. Eh, nevím. Co by mě ale zajímalo a to možná budeš vědět ty, jak oni tam maj jako vyřešenej ten pricing s tím jako Apify. Musíš si platit taky ten subscription, ne, i když máš Makaly nebo platíš taky ty jednotlivý aktory? Jak tohle funguje?

Filip: Hele, shodou okolností já jsem ve spolupráci s Makali dělal na tady to video, takže ty informace mám. Hele, funguje to tak, že vlastně ty abys měl co nejjednodušší tu cestu, tak ty vlastně jako prakticky ani nemusíš vědět, že tam nějaký Apify je. Ty prostě tomu agentovi řekneš: „Hele, já bych chtěl data z LinkedInu.“ On řekne: „No tak dobře, není problém. LinkedIn nemá oficiální API, tak já použiju Apify. Bude tě to přibližně stát tolik a tolik tokenů, kreditů, že jo.“ V Makali se to počítá v kreditech, takže ty vlastně jakoby čerpáš ty svoje Makali kredity to, když ten Apify actor něco jako udělá. Je důležitý si jako uvědomit, že to Apify bejvá často drahý a záleží jakoby na ceně toho actora, takže jako ty kredity můžou vyšumět i poměrně rychle, ale zároveň nemusej. Já když jsem takhle scrapoval, já jsem tam dělal video na, hm, Jobs.cz, StartupJobs a ještě nějaký jako delší portály vlastně jako na práci. Chtěl jsem hledat, jak se pohybujou nabídky prací pro AI related vlastně jakoby pracovní místa a jestli se uvádějí jako ceny, jestli jako on site, off site

Jindřich: Hej.

Filip: remote a tak dál. A tak jako jednoduchej projekt, vůbec není jako dotaženej, ale zkoušel jsem to. No a je super, že ten agent tě i jako navede, jo, že on řekne: „Hele a teď, nevím, myslím, že to byly StartupJobs, ale to je jedno. Říká: „Hele, ty mají API, tak já vůbec nepoužiju jako Apify, ale použiju prostě jako klasický API, ale tady už to jako nedokážem získat z toho druhého portálu, tak použiju jako Apify, no. Takže vlastně jako to může být jedna z nejjednodušších cest, jak si nějakej první jakoby scraping těch dat jako člověk může vyzkoušet, že to prostě zkusíš takovýdle jako wipe kódý platformy jako je Makali a můžeš si zkusit vytahat data odněkud, kde bys se normálně jako nedostal, no.

Jindřich: Jaký byly závěry z tohohle toho projektu ohledně AI related jobs? Vybavíš si z toho něco? Uváděj se ceny, neuváděj

Filip: Hele, ono to pořád běží ten projekt, samozřejmě kluci byli štědří a dostal jsem jako nějaké kredity, takže musel bych se podívat na ty čísla, ale jako moc se platy neuvádějí. Je takový trend a když už, tak jako nějaký velký rozpětí, ale moc ne. Hodně jako jsou ty pozice on site, že jako bys měl docházet do kanceláře nebo se to neuvádí, je to jako remote. A samozřejmě nějaký trendy z toho jako soudit nemůžu, že jo, protože ten projekt běží prostě já nevím, pár týdnů, že jo. To nemá cenu nebo nemá šanci se to jako změnit. Ale, ale jako zaujalo mě tohle, no, že drtivá většina inzerátů jako neuvádí to, kolik ti dají peněz, jestli a zároveň požadujou, že budeš jakoby v kanceláři, no.

Jindřich: Ok,

Filip: to je asi tak vše-všechno,

Jindřich: no. Hm,

Filip: víc z těch dat,

Jindřich: rozumím.

Filip: zatím, ehm

Jindřich: Rozumím. Jo, tak jako ten trend asi cejtíme všichni, že jo. Tak jako po covidu to bylo jo všichni home office a teď jako asi ten trend je naopak s návratem do kanceláří, což je asi jinej topic ovšem.

Filip: Bezpochyby.

Jindřich: Hm

Filip: No nic, tak pojďme posunout od toho klasického jako scrapingu z webu, tak je tam ještě jakoby dat vlastně jakoby z obrázků různých dokumentů. Ty už jsi to jako nakousl, že jo, že jsi používal Gemini OCR, že jo. co mně třeba přišlo extrémně zajímavý, tak i klasický jako language modely tím, že jsou jako multimodální, tak třeba Claude tak má jako velmi dobrý vyčítání textu z obrázků, z PDFek

Jindřich: jo

Filip: A dokonce jako tak dobrý, že třeba i nějaký jakoby účtenky, kde je něco jako pomuchlaný, jak máš takovej ten jakoby termopapír, teď jakoby někde máš takovou tu šmouhu černou, protože se to jako zahřálo a tak. Takže si jako dokážou ty věci jako poměrně dobře i jako domyslet nebo jako, eh, říct si tu strukturu, jak by mohla vypadat. Takže jakoby to OCRko že se v tomhletom jakoby posouvá na úplně jinej level, že jo. Protože dřív, když jsme dělali s OCRkem, tak to bylo: tady máš text na nějaké souřadnici, tady je text na jiné. A teď jakoby pokročilejší OCRka ti třeba jako už interpretovaly účtenku a snažily se ti dát jako položky, ale s těma LLMkama ty jsi najednou schopnej díky tý multimodalitě říct jako: najdi mi na té účtence, jestli tam je někde, já nevím, poděkování. Jo, úplně jako random dynamická věc. A to LLMko je schopný si to jako přečíst a s nějakou mírou jistoty jako ti říct, jestli to tam je nebo není. Že to, to je vlastně zajímavý.

Jindřich: To se jako zase trošku vracíme k tomu kontextu, že jo, protože přesně ten jazykový model jakoby dokáže pochopit jako ten kontext a ty jako logický návaznosti. Takže tomu jako LLMku dokáže dojít, že tam může bejt nějakej rozpitej text nebo že tam může nějakej text chybět a podobně. Takhle to dřív nebylo, že jo. Přesně jak jsi říkal, na těchhle souřadnicích je text, tak vlastně on ti dal P, pak ti nedal nic, pak ti dal nějakej zbytek textu, ale vlastně on už jako logicky vůbec vlastně neměl ten kontext a nevěděl, že vlastně existuje něco takovýho jako rozpitej text nebo jako poškozená účtenka.

Filip: Nechápal ty data, že jo. On ti jako vlastně jenom

Jindřich: Jo, přesně tak jo

Filip: text, that's it.“ Ale to LLMko jako řekne: „Tady je nějaký text, který znamená něco v nějakém kontextu. Tady se to vztahuje asi k tomu.“ A jako obecně já třeba jako na spoustu věcí, byť bych jakoby finančně by bylo levnější použít klasický OCRko, ale stejně bych ty data si pak jako musel skládat, tak to radši jako proženu nějakým LLMkem a dostanu rovnou jako tu strukturu z random nestrukturovaných dat. Nemusím k tomu psát žádný jako kód a tak dál. Jasné, jako můžeme si vyvolit do nějaké míry přesnosti, ale jako ono i u toho klasického OCR, tak tam jako některý texty nebyly detekovaný nebo se vyhodnotily špatně. To se prostě jako dělo i předtím.

Jindřich: Jako ta jako velká krása si myslím v dnešní době tkví v tom, že tebe vlastně ve skutečnosti nemusí moc jako zajímat, v jakým formátu a jak ty data stáhneš. Hlavně že je máš, protože ty potom máš ty AI agenti, který se ti jako vlastně postarají o tu interpretaci dat nebo o to zpracování,

Filip: Hm.

Jindřich: jak ty to vlastně chceš. Eh, zase když to stáhnu jako na, eh, ten můj use case za Soumraku, tak já jsem neřešil, že jsem si, já, já jsem nepotřeboval v Dockru si rozjet, nevím, Postgres databáze jako a takovýdle věci jako řešit, jo. Nebo jak to budu ukládat jako do jaký jako tabulky a podobně. A vlastně já jsem nejdřív ta data získával a přesně já jsem to jako nejdřív scrapoval, že jo a řekl jsem: „Hele, já chci získat tyhlety data a tohle potřebuju a tohle a hoď mi to do týhle složky.“ Měl jsem složku, kde byla nějaká základní datová struktura, vlastně ta naše knowledge base. A pak jsem teda poslal dalšího agenta a řekl jsem mu: „Udělej mi z toho website.“ Když to samozřejmě hodně zjednoduším. Jo, co tím chci říct je, že ta krása taky tkví v tom, že my máme jednak ty nástroje, máme ty jako důvody, proč ty data získávat a proč je vůbec používat. Ale vlastně vůbec nemusím používat nebo vůbec nemusím řešit, jako kam ty data budu ukládat. Jakým způsobem to musím možná trošku řešit, přesně jak jsem zmiňoval, buď kvůli tý ceně, nebo kvůli tý jako kvalitě nebo kvůli jako jiným limitacím. Ale to, kam je budu jako ukládat, samozřejmě záleží jako na, eh, use casu použití, ale myslím si, že třeba v tom mém případě nebo v tom našem případě mnohdy vlastně vůbec nemusím, eh, řešit, jak je budu ukládat.

Filip: Mně jako ta krása a zase jako odbíháme trošku od toho tématu, ale já si myslím, že se k tomu jako krásně hodí, že jako krása je v tom, že přesně jako nemusíš řešit, protože ne, že by to agent potom chroustal, ale agent ti to je schopnej i pak jakoby předělat. Jo, že já spoustu projektů prostě jako začnu dělat tím, že si jenom stahuju data do texťáků nebo prostě v nějaký jako podobě do složky. až to jako naroste, tak si pak řeknu: „Hmm, už by to asi chtělo nějakou databázi nebo hmm, už by to chtělo aspoň nějaký jiný formát, třeba CSV.“ Tak řekneš agentovi: „Prosím předělej.“ A on to jako předělá, že jo. A máš to prostě za času prostě jako hotový. Takže mě to jako zase vrací k tomu, že jakoby pokud někdy jste třeba jako chtěli scriptovat nějakej projekt data nebo obecně pracovat s datama, tak prostě jakoby ten základ je jako začít s tím někam to jako házet a potom už si to prostě jakoby dopředěláte do nějaký jiný podoby relativně za levno. Protože dneska ta cena toho, že máte jako špatně strukturovaný data, tak tu člověk platí, když je chce použít. Ale zároveň se dá jako velmi jednoduše vyřešit tím, že jako v průběhu uděláme nějakou tu transformaci a ten agent se o to jako postará, někam je naleje, nějak je strukturuje. My třeba, že jo, knowledge base si takhle jako strukturujem, že nejenom že taháme data, ale pak s nima ještě dál pracujem a dáváme je do nějaký podoby, aby se agentům s tím dobře pracovalo.

Jindřich: Jsme tady v-opravdu zmiňovali už jako nespočetněkrát, no, ale prostě ten klíč je ty data mít. Jakmile už je mám, tak pak už s ním můžu dělat, eh, jako, eh, jakýkoliv kouzla. A trošku mě to vlastně přivádí jako k takový myšlence a mám pocit, že už jsme ji tady někde rozebírali, že vždycky se říkalo, že jo, že ty firmy, který jako mají ty data, tak maj jako obrovskou konkurenční výhodu.

Filip: Hm,

Jindřich: No ale jakou konkurenční výhodu teda ve skutečnosti maj jako dneska, když je velmi jednoduchý si ty data jako poscrapovat, že jo? Jo třeba, nevím, vývojce na Alze nebo něco, to vlastně v dnešní době už může sc-scrapovat jako kdokoliv, že jo. Nebo popisky těch jako produktů. Já si udělám třeba e-shop, chci tam, eh, popisky těch dat, tak řeknu: „Hele Agente, podívej se na Alzu a trošku mi to přeformátuj ten text, ať to není na první, na první dobrou jako poznat, že je to jako vytažený z Alzy a získej ty data.“ A vlastně mám je, vlastně lu--

Filip: Áno,

Jindřich: nebo tak, že jo, a máš je vlastně jako lusknutím prstu. Jako jasný, ten samozřejmě druhej úhel pohledu je, že jako to mnohem větší value teď asi budou mít ty user generated data, jak už jsme tady jako taky někdy, eh, jako nakousli, vlastně takový ty neveřejný, že jo. Nebo třeba jako bankovní data, eh, takový. A teď tím nemyslím žádný osobní údaje, ale třeba kde se co platí, že jo, kolik kde co stojí, jako takovýdle třeba věci. Eh, a takhle zkrátka jako ty neveřejný data, tak pravděpodobně to budou ty, který teď v dohledný době a vlastně možná už i nějakej čas zpátky tak porostou a rostou na ceně, na hodnotě, řekněme.

Filip: je jako, to je ono, no, že jako jak říkáš, jako firmy, které stály jako na veřejných datech, tak to tak jednoduché mít už úplně nebudou, protože jako ta agregace těch dat najednou je úplně někde jako jinde, je prostě jako jednoduchá, ale přesně takový ty jako soukromý data, kdy prostě jakoby máš trendy chování uživatelů, já nevím, jak se stravujou, jak postujou, jak lajkujou, kdy vstávaj, jo, you name it, prostě jak nakupujou u tebe prostě v tom, když seš obchodní řetězec. A to jsou jakoby data, který i s dnešníma technologiemi prostě jako nevyscrapeuješ, protože nejsou veřejný a jako jediná možnost je, že ty třeba jako zákazník, tak si ty data můžeš jakoby wyscrapeovat ze svýho profilu. třeba jako dostaneš. Takže jako pokud fajn, že vlastně ten scraping ti jako i trošku boří takový ten jako vendor lock-in, protože ty jsi jako často byl zamčenej jako kvůli těm datům, že jo, že nějaká appka má celou tvoji historii toho, jak ses třeba jako stravoval a ty prostě OK, dneska máš EU ti umožňuje exportovat si všechny data, takže to zas takovej big deal není. Což mimochodem možná jakoby dobrá zmínka, jo, že jako dnešní kombinace wipe codingu a toho, že si můžeš vytáhnout data, ať už pomocí scraperů nebo pomocí tady toho EU, jakoby myslím, že to je GDPR, že to souvisí, že jako můžeš vytáhnout veškerý data, co o tobě ta firma má, no tak ty najednou jako můžeš rychle někam utéct a udělat si nějakej svůj vlastní pohled na ty data, pracovat s nima, jak ty chceš, dát si je, jo prostě nevím. Já třeba jsem měl vždycky hrůzu, jsem si appku Polar Steps na jako tripy, jo, že jsem si zapisoval, kde jsem jako byl. moje hrůza byla, že to prostě jednoho dne jako celý jako shoří a já přijdu o všechny vzpomínky. Tak jsem si ty data exportoval a před pár lety jsem si říkal: „Jo, tak jsem jako programátor, tak když by tenhle ten černý scénář nastal, tak já si napíšu nějakou appku, abych si aspoň jako zobrazil. Bude to strašně moc práce, bude to jako peklo, ale půjde to." O pár let později jsme tady a jako že tu appku bych měl prostě takhle, že jo,

Jindřich: No jasně no. Jo.

Filip: jo.

Jindřich: to mimochodem jako skvělej příklad, kterej jsi zmiňoval na tu jako odlišnou vizualizaci, protože přesně to mě se to stává třeba typicky. Tak, eh, já používám kalorické tabulky nějak dlouho, už asi tisíc dní, že jo. A přesně ty jednoduše exp-- exportuješ ty data a přesně můžeš je hodit do Clouda a můžeš si sám udělat jako tu svoji vlastní vizualizaci, která jako tě zajímá, kde chceš vidět ty, ty trendy, jaký, nevím, makra tě zajímají třeba a tak podobně. Jasně, jako kalorické tabulky to samozřejmě do jisté míry jako maj taky, ale co jako, co tím chci říct je, že když jako něco nevyhovuje, tak si ty data jednoduše jako exportuju a překluku k Claude Códovi, ať mi to vlastně přidělá jako tak, jak mi to vyhovovat bude. A to si myslím, že je jeden takovej jako z velmi jako základních use casů, co si klidně jako může každej vyzkoušet jako hned teď.

Filip: No jasně a hlavně jakože my jsme se dostali tady k web codingu, ale tak když to jakoby shrnu tu myšlenku, tak jako, em, scri-- ten scraping, jak už tys to zmiňoval, je až poslední jakoby ten step a často, když potřebuješ svoje osobní data, no tak máš někde to

Jindřich: Jasný.

Filip: export, že jo. A je to prostě jakoby takový ten první move, jako že mám někde, mám, mám API? Nemám API. Dobře. Potřebuju vlastní data. No tak možná někde mám nějakej export jako pro kvůli GDPR, takže i z Facebooku se mimochodem daj vytáhnout všechny konverzace, takže si můžeš udělat analýzu veškerých svejch vývoje, třeba nevím toho, jak mluvíš, což je mimochodem strašně zajímavý nápad na nějakej projekt, kterej možná někdy zpracuju. Jo, ale jako můžeš si to jako vytahat. No a pak až nastupuje ten scraping, kdy teda jakoby, eh, se dostáváš k datům, který prostě jakoby nemáš a nem-nemáš k nim přístup z nějakýho jako důvodu. Potřebuješ něco

Jindřich: ten export, tak ti nestáhne-- nebo takhle, on ti stáhne jenom ty tvoje konverzace, ale jenom ten tvůj text, ne? On ti nestáhne už to, co odpovídal ten. Nebo takhle to je minimálně u WhatsAppu, pokud se nepletu. Tam máš fakt jenom ty svoje zprávy

Filip: Ale aspoň jakoby to, víš jak aspoň, že by ses mohl podívat na vývoj svý komunikace, víš, že by

Jindřich: No jasný,

Filip: když se

Jindřich: to by bylo skvělý, no

Filip: posty z roku, nevím, dva něco, si řekneš: "Fuu, ok."

Jindřich: Jo, ale--

Filip: mažeš pak už.

Jindřich: jo, to by bylo dost zajímavý hele a udělat si prostě nějakej třeba graf, jak se vyvíjely jako nejpoužívanější slova, že jo? Tak.

Filip: No

Jindřich: Zajímavý.

Filip: si jako zajímavý

Jindřich: Ok,

Filip: někdy, ne až se budu nudit, ale až se Claude někdy bude nudit, tak mu to jen tak zadám jako takový side quest.

Jindřich: No jasně. Jo, to jako to by bylo určitě jako zajímavý a vlastně klidně mu řekni, ať on ti řekne ty nějaký ty insighty, že jo, ať on přijde s těma zajímavejma jako věcma.

Filip: No

Jindřich: jak se, eh, vyvíjel, eh, vyvíjelo to, že mluví sprostě nebo nemluví sprostě, viděl jsi víc nebo míň? To je zajímavý.

Filip: ten

Jindřich: No.

Filip: asi vidět nechci.

Jindřich: No rozumím, eh, shakej si bič sám na sebe. Každopádně co se jako asi nabízí, tak, eh, tam nějaký právo a etika, že jo. Vlastně je to vůbec legální jako scrapeovat ty data, získávat jako odněkud? Eh, já jsem před pár lety, tak jsem byl tady v Praze na jedný přednášce a tam byl právě člověk, kterej myslím si, že už teďko ne-nepracuje v Apify, ale v tý době mám takovej pocit, že jako pracoval a přesně ukazoval tam jako nějakej use case toho jako využití a podobně. Ta jeho definice, protože samozřejmě tady tato otázka přišla z publika, tak ta definice, respektive ta jeho odpověď, tak byla taková, že, eh, je to šedá zóna, ale je v pořádku a legální, pokud to jsou jako veřejně dostupný data a nejsou za nějakou autentizací. Tudíž jakmile ty musíš překnout nějakou ochranu, jako je třeba, nevím, reCAPTCHA nebo, eh, nějaký přihlášení třeba a jako registrace, jako takovýdle věci nebo taky ověření identity třeba a tak, tak tam už dle jeho slov jako je to za tou hranicí tý jako pomyslný legality. Byť jako říkám jenom to, co jsem jako slyšel, nejsem samozřejmě právník, tak jako nevím, třeba by mně to někdo dokázal jako rozporovat nebo, nebo naopak i obhájit. Ale každopádně ty data, který jsou veřejný, tak je údajně v pořádku je scrapeovat pro své účely.

Filip: Jo, tak asi jak říkáš, no jako co jsou veřejný data, tak mi asi dává smysl, že prostě je to jako jenom jiná forma, forma jako interpretace těch dat. A přesně pak jako za tím přihlášením ono že to ta platforma umožňuje, že jo, to, že to umožňuje Epify, to, že to umožňuje prostě Firecrawl a další, tak jako oni vlastně jako do jistý míry přenášejí tu odpovědnost za tebe, že jo. Jako ty ten scraper můžeš použít jakoby na data třeba od lidí, který ti dali písemný souhlas. Takže jako vlastně ta

Jindřich: Clave para mí.

Filip: jako taková prostě to nemusí porušovat. Samozřejmě se to jako děje, že jo. Porušují se různý licenční podmínky, porušují se to, že prostě ten web má deklarováno, že se jakoby nemá z toho čerpat. Takže jo, jako já se asi do tohohle boje jako úplně netroufám byť jako content creator a mně se to tak jako týká do jistý míry, že jo. AI prostě může pracovat s mejma názorama, může pracovat s mejma videama. Na druhou stranu vždycky se to jako historicky prostě jako dělo, že jo. Vždycky se mi vybaví taková hezká knížka Krať jako umělec, která mluví vlastně jakoby o tom, že jakoby ty jako umělec nebo jako creator nebo někdo, tak se vlastně jako inspiruješ neustále a jenom skládáš si tu svoji mozaiku těch inspirací. Takže jako pokud ty data ty jako nevezmeš jedna ku jedný a někam je prostě jako nevrzneš jako ke stažení nebo k nahlídnutí, tak to třeba nemusí být takový problém. Pochopitelně jako pohybuješ se v tý šedý zóně, no takže já třeba jako prostě pracuji s datama, který jsou buďto jako moje, že jo, tak to je jako v pohodě. Anebo je aspoň pak třeba člověk jako nezveřejňuje někde, nezpřístupňuješ byť se pohybuješ v nějaký třeba jako šedý zóně, tak jako asi OK.

Jindřich: Jako samozřejmě asi záleží jako ten účel použití. Pokud to děláš pro nějaký svoje hobby projekty nebo něco, asi jako ok, ale jestliže bys to měl pro nějaký třeba svoje komerční použití, tak tam už možná může bejt problém si jako dovedu představit

Filip: Jo, jako, hm, asi k tomu nemám víc co říct. No, nejsem právník a jako, no tak.

Jindřich: A oni jako existuje i spoustu různých metod, jako jak se ty samotný jako servery, ehm, jako proti tomu brání, že jo.

Filip: Ja

Jindřich: My jsme přesně tady řekli nějaký, eh, ochrana proti botům, reCAPTCHA, eh, jako rotování IP adres a podobně. Ale co mně se jako extrémně líbí, co mě hrozně zaujalo a jak jsem to tady taky kdys jako zmiňoval, tak to je jako Tinder, protože samozřejmě spoustu jako lidí, že jo, chce z různejch, eh, důvodů scrapeovat Tinder.

Filip: Про особині

Jindřich: Ale Tinder dělá to, že oni ti vlastně dělaj jako takovej silent block a oni vlastně ti nezakážou jako nic, ale jenom když odtud přijdou, tak tě switchnou do jejich jako sandboxu, jejich testovacího prostředí a jsou tam jako syntetický data. Takže neexistující lidi, neexistující jako fotky a neexistující jména a osobní údaje, že jo. A tam tě nechaj jako vesele pracovat, jo. Takže ty pak vlastně nevíš, jestli teda z tyhlety veškerý data, který ses zvesela jako získal, vyscrapeoval, tak jestli to jsou reálný lidi nebo nejsou a případně kdy ti na-- to přišli a kdy tě tam přepli a podobně. Takže tohleto mně vlastně na jednu, na jednu stranu jako přijde úplně geniální, jo. Ty vlastně jako ten, kdo se chce scrapeovat ty data, na nic nepřijdeš. Zvesela dál si ty data scrapeuješ, ale jsou ti k ničemu

Filip: Jako je dobrý říct, to není jenom ten dron s tímhle, já nevím, jestli s tím jako přišel, ale nebo minimálně se o tom hodně mluvilo v kontextu Cloudflare, což jakoby na jejich službách, to je tak jako mezi mezi jako drtivou většinou webů a tebou jako uživatelem. Tak přesně oni mají jako podobnou ochranu taky, že ty si to jakoby ten majitel webu může zapnout a oni už detekujou jakoby AI bota, který chce scrapeovat, tak přesně jako mu pod-podloží prostě nějaký náhodný texty synteticky vygenerovaný a pro tebe pak je to mnohem těžší, protože najednou, že jo, přesně ta tvoje pipeline, jak jsi popisoval na tom za soumraku, tak není „Aha, nezískal jsem data, tak teda jdu jako někam jinam," ale ty reálně musíš jakoby nechat toho agenta zamyslet se nad vý-významem těch dat, jestli to náhodou není jako nafejkovaný, jestli to není prostě podvod. A pokud jako oni to dotáhnou do toho extrému, že ti třeba jako vygenerují ty data jako nějak kontextově plus minus autobus jako s tím, co na tom webu máš, tak to může být fakt obrovskej problém, no. To-todle je jako

Jindřich: Jo. Jako samozřejmě v dnešní době jako s pokročilejma jako agentama, tak asi na to dokážeš jako přijít. Možná nevím, ale to, to už je jako x let, kdy to jako udělal Tinder, že jo. Takže tam samozřejmě ještě někdo hezky postaru si musel ta data jako scrapovat a pak si říkal: „Jo, všechno svítí zeleně. Hele, ten jako scraper furt jede, eh, nefailnul, nic dobrý, já ty data mám.“ A vlastně ne.

Filip: Jo a ono těchhle těch zajímavých technik je jako spousta. Mně se třeba líbí, a to už zase bylo jako ještě dřív před AI botem, ale pořád se používá, jmenuje se jako Honeypot, což je vlastně jako návnada, něco takovýho. A dělalo se prostě to, že ty vlastně jako dáš si třeba když máš přihlašování, takže ty jméno a heslo si nějak dáš a pod to si dáš ještě jedno políčko a jakmile ti to tam něco jako vyplní nějakej skript nebo ten AI agent, že jako si řekne: „Aha, tady jsou tři vstupní pole, tak já vyplním všechny tři," tak ten program si řekne: „Aha, to je nějaký podvodník, to není člověk," protože ten člověk to políčko nemůže vidět. Ono na tom webu není zobrazený, je prostě jako skrytý, ale v tom zdrojovým kódu ho samozřejmě najdeš, což to je to, co dělá ten bot, že jo. A vyplní ho. Tak řekne: „Aha, ty dostaneš ban, ty dostaneš nějaký jiný data," odevr prostě. Ale vlastně jako nachytáš to, že ta technika je tak dokonalá, že vidí všechno, až vidí věci, co by vlastně neměla vidět a ty toho využiješ pro tu detekci. Taky mi to přijde super elegantní.

Jindřich: Jak to shrnout? Eh, je důležitý mít data. V dnešní době je velmi snadný je získávat a, eh, ještě k tomu je snazší je potom používat. Ale jako tak či onak, když jako leckdo že jo z nás si vytváří nějakej projekt a myslím si, že i v tom vibe codingu jako je to typický, tak ty data zkrátka jsou potřeba, ať už jsou takový nebo takový, tak jako ty data jsou potřeba a akorát ten jako nejdůležitější step nebo minimálně jako za mě, tak je vhodně volit ty nástroje. A samozřejmě zase je to něco, s čím jako pomůže Claude, aby člověk tady nemusel zbytečně platit příliš jako mnoho peněz, když vlastně relativně jednoduchým skládáním těch nástrojů tak dokáže značně ušetřit. A zase naprogramujou to za nás agenti, takže my nemusíme trávit ten vývojovej čas toho, že bysme tam ve skutečnosti implementovali ten, ten jako software na scraping několikrát, ale udělá to za nás agent. Takže je nám jedno, jestli ten software tam bude dva, tři, čtyři, ale zkrátka tak či onak se to vyplatí.

Filip: Je to tak. Data jsou zkrátka to, co teďka jako dělí ty appky, který jsou, jsou, jsou od těch jako zajímavejch novejch use casů.

Jindřich: Hm. Jako uvidíme,

Filip: skoro teda dá. Hm?

Jindřich: kde, kde budem třeba někdy v budoucnu, když potom bude existovat třeba víc a víc jako syntetických dat, že jo. Zároveň bude mnohem víc generovaných dat, mnohem víc bude takových agregátorů, který budou data přebírat jako odněkud jinud. Tak mám trošku jako obavu, že třeba bude jako klesat ta samotná jako kvalita dat. Naopak třeba bude růst jako cena a hodnota těch kvalitních dat. Takže třeba ten, kdo je ve skutečnosti potom bude mít, bude nakonec ten, kdo bude vítěz, že jo, jako v tomhletom závodu, závodu, protože bude moct tyhlety data mone-monetizovat. A už samozřejmě teď vidíme, že se jako spousta dat jako monetizuje, tak třeba do budoucna to bude jako mnohem normálnější, že ty, ty data už nebudeš scrapovat, ale budeš si je zkrátka kupovat. Uvidíme.

Filip: Tak jo, díky za velmi zajímavý povídání, Jindro. Jako ten tvůj projekt zasoumraku.cz ještě doporučím, jestli se lidi chtějí podívat na výsledek vlastně jako samozřejmě řekl bych docela pokročilého scrapingu, prostě jako agregace dat, co by před dvěma lety vlastně byl jako nemyslitelnej hobby projekt za víkend to prostě nešlo a dneska jsi to byl schopnej spíchnout. A byť máš malý programátorský základy, jako nejsi vlastně jako programátor a

Jindřich: Milo tak

Filip: udělal s agentama.

Jindřich: Jo, eh, zas a znovu nežijem v krásný době.

Filip: За дне.

Jindřich: Díky moc Filipe, měj se a vidíme se za tejden

Filip: Taky se měj krásně a budu se těšit jak na tebe, tak i na naše diváky. Ahoj