Nov 16 – Dec 15 2026

BLACK FRIDAY

UPTO 75% OFF For new accounts the first 6 months

Prehľadávač vyhľadávačov

SEO Crawlers Indexing AffiliateMarketing

Prehľadávač vyhľadávačov je automatizovaný softvérový program – nazývaný aj bot, spider alebo spiderbot – ktorý systematicky prehľadáva World Wide Web, sťahuje obsah stránok a sleduje hypertextové odkazy s cieľom objaviť nové alebo aktualizované URL adresy. Jeho hlavnou úlohou je dodávať indexu vyhľadávača čerstvé údaje, aby keď niekto zadá dotaz, vyhľadávač mohol vrátiť relevantné a aktuálne výsledky. Bez prehľadávačov by vyhľadávač nemal spôsob, ako zistiť, že stránka vôbec existuje.

Samotný prehľadávač nič nehodnotí. Objavuje a odovzdáva to, čo nájde – text, odkazy, metadáta, obrázky – samostatnému systému indexovania a hodnotenia. Prehľadávanie, indexovanie a hodnotenie sú tri odlišné fázy. Stránka môže byť prehľadaná a napriek tomu sa nikdy neobjaviť vo výsledkoch vyhľadávania, ak počas indexovania nespĺňa kvalitatívne prahy vyhľadávača.

Dokumentácia prehľadávačov Google rozlišuje medzi bežnými prehľadávačmi, špeciálnymi prehľadávačmi a používateľom spúšťanými získavačmi. Pri skúmaní problémov s prístupom si overte zdokumentovanú identitu a správanie príslušného prehľadávača.

Ako funguje webový prehľadávač?

Webový prehľadávač pracuje v nepretržitej slučke postavenej na niekoľkých kľúčových krokoch. Pochopenie týchto krokov pomáha vlastníkom webových stránok diagnostikovať, prečo sa stránky nemusia zobrazovať vo výsledkoch vyhľadávania – problém je často už v štádiu prehľadávania, dávno predtým, než sa vôbec uvažuje o hodnotení.

Seed URL a crawl frontier

Každý prehľadávač začína so sadou známych URL adries nazývaných seed URL. Tie môžu pochádzať z predtým prehľadaných stránok, odoslaných sitemap alebo ručne vybraných východiskových bodov. Prehľadávač stiahne každú seed stránku, extrahuje všetky hypertextové odkazy, ktoré nájde, a každý doteraz nevidený odkaz pridá do fronty nazývanej crawl frontier.

Cyklus sa potom opakuje:

  1. Vytiahne URL adresu z crawl frontier.
  2. Načíta stránku z jej servera.
  3. Extrahuje všetky odkazy a nové pridá do fronty.
  4. Odošle obsah stránky do indexovacieho systému.

Táto slučka v podstate nikdy nekončí. Web sa neustále mení a každú sekundu pribúdajú nové stránky, takže prehľadávač jednoducho spracúva to, čo je práve vo fronte, pričom znovu navštevuje staré stránky, aby skontroloval zmeny, a pridáva novoobjavené URL adresy.

Vykresľovanie, sťahovanie a indexovanie

Keď prehľadávač načíta stránku, vykreslí jej obsah – prečíta HTML, kde je to možné, spustí JavaScript a extrahuje text, obrázky, metadáta a štruktúrované údaje. Potom tieto informácie stiahne a odošle ich indexovaciemu systému vyhľadávača.

Nie každý prehľadávač spracúva JavaScript rovnako dobre. Googlebot vykresľuje JavaScript a čaká na dynamicky načítaný obsah, no menšie prehľadávače vyhľadávačov môžu čítať iba statické HTML. To je dôvod, prečo môžu byť stránky postavené výhradne na klientskych JavaScript frameworkoch pre niektoré vyhľadávače neviditeľné, pokiaľ nie je zavedené serverové vykresľovanie.

Sledovanie odkazov a sitemap

Prehľadávače objavujú nové stránky prostredníctvom dvoch hlavných kanálov:

  • Hypertextové odkazy: Interné odkazy (v rámci tej istej stránky) aj externé odkazy (z iných stránok). Stránka, na ktorú nevedie žiadny odkaz, je pre prehľadávače v podstate neviditeľná – ide o takzvaný problém „osirelej stránky“.
  • XML sitemapy: Štruktúrovaný súbor, ktorý uvádza každú URL adresu, ktorú chce vlastník stránky prehľadať, spolu s metadátami, ako je dátum poslednej úpravy a priorita. Sitemapy poskytujú prehľadávačom organizovanú mapu namiesto toho, aby boli nútené hľadať každú stránku len prostredníctvom objavovania odkazov.
PostAffiliatePro Logo

Spustite svoj affiliate program ešte dnes

Nastavte pokročilé sledovanie za pár minút. Kreditná karta nie je potrebná.

Ako politiky prehľadávania určujú, čo sa prehľadá

Prehľadávače nezaobchádzajú so všetkými stránkami rovnako. Pracujú podľa súboru politík prehľadávania, ktoré určujú, ktoré stránky navštíviť, v akom poradí a ako často sa vracať.

Politiky výberu

Prehľadávač musí rozhodnúť, ktoré URL adresy uprednostniť zo svojho crawl frontier. Bežné signály zahŕňajú:

  • Popularita stránky: URL adresy s viacerými prichádzajúcimi odkazmi majú tendenciu byť prehľadávané častejšie.
  • Signály aktuálnosti: Stránky, ktoré sa často menia – spravodajské weby, blogy s pravidelnými aktualizáciami – sú navštevované agresívnejšie.
  • Kvalita štruktúry URL: Čisté, logické URL adresy sú uprednostňované pred dlhými URL s množstvom parametrov, ktoré naznačujú facetovú navigáciu alebo session ID.

Politiky opätovnej návštevy

Ako často sa prehľadávač vráti na stránku, závisí od toho, ako často sa stránka mení. Titulná stránka spravodajského webu môže byť prehľadávaná každých pár minút. Statická stránka „O nás“ môže byť znovu navštívená raz za niekoľko mesiacov. Správcovia webov môžu signalizovať frekvenciu zmien pomocou značiek <changefreq> v XML sitemap, hoci vyhľadávače ich považujú skôr za náznaky než za príkazy.

Politiky slušnosti

Prehľadávače sú naprogramované tak, aby nezahlcovali webové servery. Rešpektujú limit rýchlosti prehľadávania – maximálny počet požiadaviek, ktoré odošlú na jednu stránku v danom časovom období. Ak server odpovedá HTTP chybami ako 500 alebo 503, prehľadávač ustúpi, aby problém ešte nezhoršil. Toto je súčasť toho, prečo je prehľadávanie vo veľkom meradle skutočným technickým výzvou.

Súbor robots.txt

Súbor robots.txt je textový dokument umiestnený v koreňovom adresári domény, ktorý hovorí prehľadávačom, ktoré URL adresy môžu a ktoré nesmú požadovať. Je to najdôležitejší nástroj na správu prístupu prehľadávačov. Záznam v robots.txt môže vyzerať takto:

User-agent: Googlebot
Disallow: /private/
Allow: /public/
Toto hovorí prehľadávaču Google, aby preskočil všetko pod /private/, ale povoľuje všetko pod /public/. Ostatné prehľadávače kontrolujú rovnaký súbor a riadia sa vlastnými direktívami User-agent. Stojí za zmienku, že robots.txt je dobrovoľný protokol – dobre vychované prehľadávače ho dodržiavajú, ale škodlivé boty ho môžu úplne ignorovať.

Crawl budget

Crawl budget je počet stránok, ktoré vyhľadávač prehľadá na webe v danom časovom období. Určujú ho dva faktory:

  • Limit rýchlosti prehľadávania: Ako rýchlo môže vyhľadávač načítať stránky bez zhoršenia výkonu stránky.
  • Dopyt po prehľadávaní: Ako veľmi chce vyhľadávač stránku prehľadávať, ovplyvnené popularitou, aktuálnosťou a vnímanou hodnotou.

Pri malých stránkach je crawl budget zriedka problémom. Pri veľkých e-commerce platformách alebo obsahových weboch s miliónmi URL adries sa správa crawl budget stáva nevyhnutnou – plytvanie prehľadávaním na duplicitný obsah, parametre facetovej navigácie alebo nízko hodnotné stránky znamená menej prostriedkov na stránky, ktoré sú skutočne dôležité.

Najlepšie vyhľadávače a ich prehľadávače

Každý významný vyhľadávač prevádzkuje vlastný prehľadávač s jedinečným reťazcom user-agent – identifikátorom, ktorý bot posiela s každou HTTP požiadavkou, aby servery vedeli, ktorý prehľadávač ich navštevuje.

VyhľadávačNázov prehľadávačaIdentifikátor User-AgentÚčel
GoogleGooglebotGooglebot/2.1Prehľadáva a indexuje webové stránky pre Google Search a ďalšie služby Google
BingBingbotMozilla/5.0 (compatible; bingbot/2.0)Prehľadáva a indexuje stránky pre Microsoft Bing
DuckDuckGoDuckDuckBotDuckDuckBot/1.0Prehľadáva stránky pre výsledky vyhľadávania DuckDuckGo
YandexYandexBotMozilla/5.0 (compatible; YandexBot/3.0)Prehľadáva stránky pre Yandex Search (dominantný v Rusku)
BaiduBaiduspiderMozilla/5.0 (compatible; Baiduspider/2.0)Prehľadáva stránky pre Baidu Search (dominantný v Číne)
AppleApplebotApplebot/1.0Prehľadáva stránky pre Spotlight Search a návrhy Siri

Google tiež prevádzkuje špecializované prehľadávače pre rôzne typy obsahu – Googlebot Image prehľadáva obrázky, Googlebot Video spracúva video obsah, Googlebot News sa zameriava na spravodajské články a AdsBot kontroluje kvalitu vstupných stránok pre Google Ads.

Ako identifikovať prehľadávač Google

Identifikácia, či je návštevník skutočne Googlebot, si vyžaduje viac než len kontrolu reťazca user-agent, pretože tieto reťazce môžu byť sfalšované. Na overenie prehľadávača Google:

  1. Skontrolujte reťazec user-agent v serverových logoch na prítomnosť Googlebot.
  2. Vykonajte reverzný DNS lookup IP adresy. Mala by sa vyriešiť na doménu googlebot.com alebo google.com.
  3. Vykonajte dopredný DNS lookup tejto domény, aby ste potvrdili, že sa mapuje späť na rovnakú IP adresu – technika nazývaná reverzno-dopredná DNS verifikácia.

Google poskytuje oficiálnu dokumentáciu uvádzajúcu svoje IP rozsahy na google.com/bot.html. Každý návštevník, ktorý tvrdí, že je Googlebot, a neprejde týmito overovacími krokmi, je falšovaný bot a mal by byť považovaný za podozrivého.

Môžu prehľadávače vyhľadávačov pristupovať k obrázkom a videám?

Áno – ale s obmedzeniami. Hlavné vyhľadávače prevádzkujú vyhradené prehľadávače pre ne-textový obsah:

  • Googlebot Image prehľadáva obrazové súbory a číta priradený alternatívny text, názvy súborov a kontext okolitej stránky, aby pochopil, čo obrázok zobrazuje.
  • Googlebot Video spracúva video obsah a hľadá značky štruktúrovaných údajov, ako je schéma VideoObject, aby pochopil názov, popis, náhľad a dĺžku.
  • Google dokáže indexovať typy súborov vrátane PDF, dokumentov Microsoft Office a obyčajných textových súborov.

Prehľadávače však nedokážu „vidieť“ obrázky tak, ako ich vidí človek, ani „sledovať“ video. Spoliehajú sa výlučne na textové signály – názvy súborov, alt atribúty, popisky, okolitý text tela a štruktúrované údaje – na určenie relevantnosti. Obsah uzamknutý za prihlasovacími bránami, paywallmi alebo vložený do komplexných JavaScript prehrávačov nemusí byť vôbec prehľadaný.

Webový prehľadávač vs. webový scraper: Aký je rozdiel?

Tieto pojmy sa často používajú zameniteľne, ale opisujú odlišné veci:

AspektWebový prehľadávačWebový scraper
ÚčelObjavuje a indexuje URL adresy na celom webeExtrahuje konkrétne údaje z cielených stránok
RozsahŠiroký – sleduje odkazy všadeÚzky – zameriava sa na známe URL adresy alebo domény
VýstupNapája vyhľadávací indexProdukuje štruktúrované údaje (CSV, databáza, tabuľka)
Typický prevádzkovateľVyhľadávače (Google, Bing)Podniky, výskumníci, dátoví analytici
Rešpektuje robots.txtÁno (legitímne prehľadávače)Rôzne – mnohé scrapery ho ignorujú
PríkladyGooglebot, BingbotNástroje na monitorovanie cien, scrapery na generovanie leadov, zberače tréningových dát pre AI

Ako vyhľadávače objavujú nové stránky?

Vyhľadávače nachádzajú nové stránky prostredníctvom niekoľkých kanálov:

  • Opätovné prehľadávanie známych URL: Ak predtým indexovaná stránka pridá nové odkazy, prehľadávač ich sleduje.
  • XML sitemapy: Odoslané prostredníctvom Google Search Console alebo Bing Webmaster Tools, ktoré presne hovoria vyhľadávaču, ktoré URL adresy má prehľadať.
  • Spätné odkazy: Keď externá stránka odkazuje na stránku, ktorú vyhľadávač ešte nevidel, tento odkaz sa stane cestou objavenia.
  • Odoslanie URL: Nástroje ako URL Inspection od Google umožňujú vlastníkom stránok požiadať o okamžité prehľadanie konkrétnej stránky.
  • Sociálne signály a RSS kanály: Hoci menej priame, odkazy zdieľané na sociálnych platformách alebo publikované v RSS kanáloch môžu urýchliť objavenie.

Najrýchlejšia cesta k prehľadaniu novej stránky je odoslanie jej URL adresy priamo cez Search Console a zabezpečenie, že je odkazovaná z už indexovanej stránky na rovnakej doméne.

Ako často prehľadávače znovu navštevujú webové stránky?

Neexistuje žiadny pevný harmonogram. Frekvencia opätovných návštev závisí od:

  • Frekvencie aktualizácií: Titulná stránka spravodajského webu môže byť prehľadávaná každých pár minút; statická stránka „Kontakt“ môže zostať bez návštevy aj niekoľko mesiacov.
  • Autority a popularity: Stránky so silnými spätnými odkazmi a vysokou návštevnosťou sú prehľadávané častejšie.
  • Rýchlosti stránky: Rýchlo načítavajúce stránky podporujú častejšie prehľadávanie, pretože spotrebúvajú menej crawl budgetu na stránku.
  • Miera chybovosti: Stránky, ktoré často vracajú chyby servera (5xx kódy), sú prehľadávané menej často – prehľadávač ustupuje, aby neplytval prostriedkami.

Vlastníci stránok môžu ovplyvniť frekvenciu opätovných návštev pravidelným publikovaním obsahu, udržiavaním rýchlych odoziev servera a odosielaním aktualizovaných sitemap. V konečnom dôsledku si však prehľadávač určuje svoj vlastný harmonogram na základe signálov, ktoré pozoruje.

Aký obsah v hlbokom webe prehľadávače nedosiahnu

Prehľadávače vo všeobecnosti nemôžu pristupovať k:

  • Stránkam chráneným heslom a obsahu len pre členov
  • Obsahu za paywallmi alebo predplatnými bránami
  • Stránkam generovaným dynamicky po odoslaní formulára (napr. výsledky vyhľadávania letov)
  • Intranetom a súkromným podnikovým sieťam
  • Obsahu v neštandardných formátoch, ktoré prehľadávač nedokáže spracovať

Prehľadávač vidí len to, čo je verejne prístupné a odkazované. Ak stránka vyžaduje na vykreslenie autentifikáciu alebo interakciu používateľa, je pre vyhľadávače v podstate neviditeľná – pokiaľ jej vlastník výslovne neudelí prístup alebo neposkytne alternatívnu cestu, napríklad sitemap obsahujúci URL adresu v kombinácii so štruktúrovanými údajmi, ktoré opisujú obsah.

Prečo webové prehľadávače vo veľkom meradle zlyhávajú

Vytvoriť prehľadávač, ktorý funguje pre niekoľko stoviek stránok, je jednoduché. Vytvoriť taký, ktorý funguje pre miliardy, je úplne iný problém. Bežné body zlyhania zahŕňajú:

  • Detekcia botov a blokovanie IP: Agresívne prehľadávače sú označené a blokované firewallmi, CDN a anti-bot službami. Rotácia IP adries a rešpektovanie limitov rýchlosti sú nevyhnutné.
  • Náklady na vykresľovanie JavaScriptu: Vykresľovanie jednostránkových aplikácií vo veľkom meradle vyžaduje bezhlavé prehliadače, ktoré sú výpočtovo nákladné. Prehľadávač, ktorý vykreslí každú stránku v plnom prehliadači, bude rádovo pomalší ako ten, ktorý parsuje statické HTML.
  • Duplicitný obsah a kanonizácia URL: Rovnaký obsah pod viacerými URL adresami plytvá crawl budgetom a znečisťuje index. Prehľadávače musia detekovať a konsolidovať duplicity v reálnom čase.
  • Crawl pasce: Niektoré stránky generujú nekonečné množstvo jedinečných URL adries prostredníctvom kalendárových widgetov, facetovej navigácie alebo session ID. Prehľadávač bez ochrany proti týmto pasciam bude prehľadávať donekonečna bez nachádzania nového obsahu.
  • Obrovský objem: Na webe sú bilióny stránok. Dokonca ani Google so svojou obrovskou infraštruktúrou nedokáže prehľadať všetko – musí neustále prioritizovať.

Pre väčšinu podnikov nie je prevádzkovanie rozsiahleho webového prehľadávača praktické bez spravovanej infraštruktúry. Rozhodnutie sa zvyčajne scvrkáva na používanie existujúceho nástroja namiesto vytvárania vlastného od nuly.

Je webové prehľadávanie legálne?

V Spojených štátoch je webové prehľadávanie verejne prístupných stránok vo všeobecnosti legálne. Viacero súdnych rozhodnutí – vrátane hiQ Labs v. LinkedIn – potvrdilo, že prehľadávanie verejne dostupných údajov neporušuje zákon.

Legálnosť však závisí od niekoľkých faktorov:

  • Či je obsah verejne prístupný: Prehľadávanie stránok za autentifikáciou bez povolenia je takmer určite nelegálne.
  • Či prehľadávač rešpektuje robots.txt: Hoci robots.txt nie je právne záväzný, jeho ignorovanie môže byť v súdnom spore použité ako dôkaz zlej viery.
  • Účel prehľadávania: Zber konkurenčných informácií môže viesť k právnym výzvam, aj keď sú údaje verejné.
  • Jurisdikcia: Zákony sa líšia v jednotlivých krajinách.

Rozdiel medzi prehľadávaním na účely indexovania vyhľadávačov (všeobecne akceptované) a scrapovaním na komerčný zber údajov (právne sporné) je dôležitý. Väčšina legitímnych prehľadávačov vyhľadávačov pôsobí v jasne legálnej oblasti.

Je ChatGPT webový prehľadávač?

Nie – samotný ChatGPT nie je webový prehľadávač. ChatGPT je konverzačný AI model, ktorý generuje odpovede. OpenAI však prevádzkuje samostatný webový prehľadávač nazvaný GPTBot, ktorý prehľadáva verejné webové stránky na zber tréningových dát pre AI modely a na podporu funkcií živého vyhľadávania v niektorých produktoch OpenAI.

GPTBot sa identifikuje pomocou tokenu user-agent GPTBot a rešpektuje direktívy robots.txt. Vlastníci stránok, ktorí chcú zablokovať konkrétne GPTBot, môžu do svojho súboru robots.txt pridať nasledovné:

User-agent: GPTBot
Disallow: /
Toto blokuje GPTBot bez ovplyvnenia Googlebot, Bingbot alebo iných prehľadávačov vyhľadávačov – čo je dôležitý rozdiel, pretože blokovanie Googlebot odstraňuje stránku z výsledkov vyhľadávania, zatiaľ čo blokovanie GPTBot iba bráni OpenAI v používaní obsahu na trénovanie.

Relevancia pre affiliate marketérov, inzerentov a programových manažérov

Prehľadávače vyhľadávačov priamo ovplyvňujú každého v ekosystéme affiliate marketingu. Ak stránka nie je prehľadaná, neumiestni sa vo výsledkoch, a ak sa neumiestni, negeneruje žiadnu organickú návštevnosť – a teda ani affiliate príjmy.

Pre affiliate publisherov

Obsahová stránka publishera stojí alebo padá na prehľadávateľnosti. Každá produktová recenzia, porovnávacia príručka alebo sumár ponúk musí byť objaviteľná pre prehľadávače. Bežné chyby publisherov, ktoré blokujú prehľadávanie, zahŕňajú:

  • Používanie JavaScriptu na načítanie affiliate odkazov alebo produktových údajov bez serverového vykresľovania.
  • Náhodné blokovanie kľúčových adresárov s obsahom v robots.txt.
  • Zanedbávanie interného odkazovania, čím hodnotné stránky zostávajú ako osirelé bez cesty pre prehľadávač.
  • Generovanie slabého alebo duplicitného obsahu – napríklad takmer identických produktových výpisov – ktoré plytvá crawl budgetom.

Publishere by mali overiť, že ich najhodnotnejšie stránky sa nachádzajú v správe o pokrytí indexu v Google Search Console a že im nebránia žiadne noindex značky alebo pravidlá robots.txt.

Pre inzerentov a obchodníkov

Inzerent prevádzkujúci affiliate program potrebuje, aby boli jeho produktové stránky prehľadané a indexované, aby sa na ne publisheri mohli odkazovať – na živé, viditeľné stránky. Ak produktové stránky obchodníka nie sú v indexe Google, publisheri nemajú kam posielať návštevnosť. Konkrétne riziká zahŕňajú:

  • Facetová navigácia generujúca tisíce takmer duplicitných URL adries, ktoré spotrebúvajú crawl budget.
  • Produktové stránky, ktoré sú vypredané a vracajú 404 chyby, čo signalizuje zlý zdravotný stav stránky pre prehľadávače.
  • JavaScriptom vykresľované ceny alebo údaje o dostupnosti, ktoré prehľadávače nedokážu spracovať.

Obchodníci by mali udržiavať čisté štruktúry URL, odosielať produktové sitemapy a monitorovať štatistiky prehľadávania v Search Console, aby odhalili problémy skôr, než ovplyvnia partnerských publisherov.

Pre affiliate programových manažérov

Programoví manažéri stoja medzi obchodníkmi a publishermi a mali by rozumieť správaniu prehľadávačov, aby mohli riešiť problémy s viditeľnosťou. Keď publisher hlási, že produktová stránka obchodníka „sa nezobrazuje v Google“, problém je často v prehľadávaní alebo indexovaní – nie v hodnotení. Praktické kroky zahŕňajú:

  • Kontrola, či je stránka indexovaná pomocou vyhľadávacieho operátora site: od Google.
  • Overenie súboru robots.txt na náhodné blokovanie.
  • Zabezpečenie, že stránka má aspoň jeden interný odkaz z indexovanej stránky.
  • Odoslanie URL adresy prostredníctvom nástroja na kontrolu v Google Search Console.
  • Potvrdenie, že stránka sa načítava rýchlo a vracia HTTP status kód 200.

Programový manažér, ktorý dokáže diagnostikovať základné problémy s prehľadávaním, prináša priamu hodnotu obom stranám affiliate vzťahu – pomáha obchodníkom opraviť technické problémy a pomáha publisherom potvrdiť, že stránky, ktoré propagujú, sú dohľadateľné.

Najčastejšie kladené otázky

Optimalizujte svoju stránku pre vyhľadávače

Zistite, ako vám pochopenie a optimalizácia pre prehľadávače môže zvýšiť viditeľnosť vašej webovej stránky a jej hodnotenie vo vyhľadávačoch.

Zistiť viac

Vyhľadávací pavúk

Vyhľadávací pavúk

Vyhľadávací pavúk je automatizovaný bot, ktorý prehľadáva webové stránky a indexuje obsah pre vyhľadávače ako Google a Bing. Zistite, ako fungujú.

10 min čítania
SEO DigitalMarketing +3

Budete v dobrých rukách!

Pridajte sa k našej komunite spokojných klientov a poskytujte vynikajúcu zákaznícku podporu s Post Affiliate Pro.

Capterra
G2 Crowd
GetApp
Post Affiliate Pro Dashboard - Campaign Manager Interface