Mulla on kotisivut muotoa freewebs.com/sivunnimi/. Jos laitan robots.txt sivustolle eli: freewebs.com/sivunnimi/robots.txt niin onko se laitettu oikein?
Freewebs ja robots.txt
8884gggdsa72123
2136
0Äänestä
Muut lukivat myös
Odottaa vastausta
Näihin keskusteluihin ei ole vielä vastattu. Ole ensimmäinen.
Vastaukset 2
Vanhimmat
En tiedä estääkö tuo .txt hakukoneita ettimästä juuri osoitetta freewebs.com/sivunnimi/ joka on siis oletussivu, mutta mietin että estääkö se sitten sivustollani kuvien ja muitten sivujen ja tiedostojen löytämisen?
http://www.robotstxt.org/wc/exclusion-admin.html
Eli robots.txt on oikeassa paikassa. Se mitä osaa sivustoa hakubotti ei saa selata riippuu juurikin robots.txt:stä.
Esim:
User-agent: *
Disallow: /
Estää hakubotilta koko sivuston selaamisen. Mitään ei tässä tapauksessa lisätä hakukoneen tietokantaan.