Sivustosi juuressa tallennettu robots.txt-tiedosto kertoo webrobotteille, kuten hakukoneiden hämähäkit, mitä hakemistoja ja tiedostoja he voivat indeksoida. Robots.txt-tiedostoa on helppo käyttää, mutta joitain asioita kannattaa muistaa:
- Blackhat-webrobot sivuuttaa robots.txt-tiedoston. Yleisimmät tyypit ovat haittaohjelmien robotteja ja robotteja, jotka etsivät sähköpostiosoitteita sadonkorjuuta varten.
- Jotkut uudet ohjelmoijat kirjoittavat robotteja, jotka sivuuttaa robots.txt-tiedoston. Tämä tehdään yleensä virheellisesti.
- Jokainen voi nähdä robots.txt-tiedoston. Heitä kutsutaan aina robots.txtiksi ja ne tallennetaan aina sivuston juurelle.
- Lopuksi, jos joku linkittää tiedostoon tai hakemistoon, jonka robots.txt-tiedosto jättää sivulta, jota robots.txt-tiedosto ei poista, hakukoneet voivat löytää sen joka tapauksessa.
Älä käytä robots.txt-tiedostoja piilotaksesi mitään tärkeää. Sen sijaan sinun pitäisi laittaa tärkeät tiedot suojattujen salasanojen taakse tai jätä se pois verkosta kokonaan.
Kuinka käyttää näitä esimerkkitiedostoja
Kopioi teksti näytteestä, joka on lähinnä mitä haluat tehdä, ja liitä se robots.txt-tiedostoosi. Vaihda robotti, hakemisto ja tiedostonimet vastaamaan haluamaasi kokoonpanoa.
Kaksi Basic Robots.txt -tiedostoa
Käyttäjä agentti: *Salli: / Tämä tiedosto kertoo, että mikä tahansa robotti ( Käyttäjä agentti: *), joka käyttää sitä, tulisi sivuuttaa sivun kaikki sivut ( Salli: /). Käyttäjä agentti: *Disallow: Tämä tiedosto kertoo, että mikä tahansa robotti ( Käyttäjä agentti: *), joka pääsee käsiksi, saa katsella sivuston kaikkia sivuja ( Disallow:). Voit myös tehdä tämän jättämällä robots.txt-tiedoston tyhjäksi tai olemalla lainkaan sivuillasi. Käyttäjä agentti: *Salli: / cgi-bin /Salli: / temp / Tämä tiedosto kertoo, että mikä tahansa robotti ( Käyttäjä agentti: *), joka ohittaa sen, pitäisi ohittaa hakemistot / cgi-bin / ja / temp / ( Salli: / cgi-bin / Disallow: / temp /). Käyttäjä agentti: *Salli: /jenns-stuff.htmSalli: /private.php Tämä tiedosto kertoo, että mikä tahansa robotti ( Käyttäjä agentti: *), joka käyttää sitä, tulee jättää tiedostot /ennns-stuff.htm ja /private.php ( Disallow: /jenns-stuff.htm Disallow: /private.php). Käyttäjäagentti: Lycos / x.xSalli: / Tämä tiedosto kertoo, että Lycos bot ( Käyttäjäagentti: Lycos / x.x) ei ole sallittua käyttää mitään sivustossa ( Käyttäjä agentti: *Salli: /Käyttäjäagentti: GooglebotDisallow: Tämä tiedosto estää ensin kaikki robotit, kuten yllä, ja antavat sitten nimenomaisesti Googlebotin ( Käyttäjäagentti: Googlebot) pääsevät kaikkeen ( Vaikka on parempi käyttää hyvin osallistavaa käyttäjäagentti-riviä, kuten User-agentti: *, voit olla niin tarkka kuin haluat. Muista, että robotit lukevat tiedoston järjestyksessä. Joten jos ensimmäiset rivit sanovat, että kaikki robotit ovat estyneet kaikesta, ja sitten myöhemmin tiedostossa, että kaikilla robotteilla on pääsy kaikkiin, robotteilla on pääsy kaikkiin. Jos et ole varma, onko robots.txt-tiedosto kirjoitettu oikein, voit tarkistaa robots.txt-tiedoston Googlen Verkkovastaavan työkaluilla tai kirjoittaa uuden. Suojaa tietyt hakemistot robotteilta
Suojaa tietyt sivut robotteilta
Estä tietyn robotin pääseminen sivustollesi
Salli vain yksi erityinen robottilukko
Yhdistä useita reittejä saadaksesi täsmälleen haluamasi poikkeukset
