 |
Zaustavljanje
i usmjeravanje pretraživačkih robota |
|
Neće vam svi roboti (poznati i kao crawlers, bots, spiders)
koji posjete vašu stranicu biti od koristi. Čak vam i "dobri"
roboti kao oni koje pošalje Google da bi vam indeksirao stranice
mogu nanijeti štetu, ako posjete neke dijelove stranice koje
ne želite da posjete.
Kako zaustaviti Robote
Robote možete zaustaviti pomoću file-a robots.txt ili pomoću
meta-tagova.
Sljedeći meta tag možete koristiti da biste ih spriječili
indeksiranje stranica. Morate ga staviti između <head>
i </head> taga u kodu stranice.
<META NAME="ROBOTS" CONTENT="NOINDEX">
To će spriječiti pristup vašim web stranicama pretraživačkim
Robotima.
Drugi način:
<META NAME="ROBOTS" CONTENT="NOFOLLOW">
Stranica će biti indeksirana, ali linkovi na toj stranici
neće biti praćeni.
Najbolja metoda, je kombiniranje te dvije stvari:
<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">
Stranica neće biti indeksirana, a linkovi neće biti praćeni.
Robots.txt file
Robots.txt file je još jedan dobar način za zaustavljanje
Robota. To je dokument koji sadrži upute što je dopušteno,
a što je zabranjeno Robotima kad pretražuju vašu stranicu.
Nikad nemojte upotrebiti prazan robots.txt file, jer to neki
pretraživači mogu protumačiti kao znak da ne želite da vaša
stranica bude uopće indeksirana. Stavite bar jedan upis, i
zapamtite da stavite svaki upis u novi red.
Da biste spriječili određeni Robot u pristupu vašoj stranici,
upišite ovo u vaš robots.txt file:
User-agent: ImeRobota
Disallow: /
Morate navesti ime Robota upravo onako kako se navodi u izvještaju
o prometu vaše stranice.
User-agent: WebZip/4.0
Disallow: /
Preskočite red između upisa. Na isti način možete zaustaviti
i npr. Googlebot. "/" znači zabranu pristupa svim
folderima.
Također možete zabraniti pristup određenim folderima:
User-agent: *
Disallow: /cgi-bin/
U ovom primjeru "*" znači "sve", tj.
da se zabrana odnosi na sve Robote. Zapamtite da se "*"
ne možete koristiti kod reda Disallow, umjesto toga koristite
"/".
Primjer robots.txt file-a: http://www.thinkhost.com/robots.txt
Povratak
na savjete za izradu web stranica
|
