Freewebs ja robots.txt

Mulla on kotisivut muotoa freewebs.com/sivunnimi/. Jos laitan robots.txt sivustolle eli: freewebs.com/sivunnimi/robots.txt niin onko se laitettu oikein?
2136
Äänestä

Muut lukivat myös

Vastaukset 2

Vanhimmat

En tiedä estääkö tuo .txt hakukoneita ettimästä juuri osoitetta freewebs.com/sivunnimi/ joka on siis oletussivu, mutta mietin että estääkö se sitten sivustollani kuvien ja muitten sivujen ja tiedostojen löytämisen?

Äänestä

http://www.robotstxt.org/wc/exclusion-admin.html

Eli robots.txt on oikeassa paikassa. Se mitä osaa sivustoa hakubotti ei saa selata riippuu juurikin robots.txt:stä.

Esim:

User-agent: *
Disallow: /

Estää hakubotilta koko sivuston selaamisen. Mitään ei tässä tapauksessa lisätä hakukoneen tietokantaan.

Äänestä

Kommentoi aloitusta


8884gggdsa72123 kirjoitti:

Mulla on kotisivut muotoa freewebs.com/sivunnimi/. Jos laitan robots.txt sivustolle eli: freewebs.com/sivunnimi/robots.txt niin onko se laitettu oikein?

Anonyymi
5000

Ilmoita asiaton sisältö

  • Sisältää materiaalia, joka on loukkaavaa, herjaavaa, rasistista, uhkailevaa tai ahdistelevaa.

  • Materiaali sisältää nimiä, yhteystietoja tai muita henkilökohtaisia tietoja. Julkisuuden henkilöistä, julkisissa viroissa toimivista ihmisistä sekä yritysten vastuuhenkilöistä saa keskustella työhön liittyen. Myös yksityiselämään liittyvistä asioista voi keskustella siltä osin, kuin niistä on julkisesti kerrottu.

  • Sisältää lapsille haitallista tai heiltä kiellettyä materiaalia. Seksuaalinen sisältö on sallittua aiheeseen tarkoitetuilla palstoilla, joiden ikäraja on 18 vuotta.

  • Lainvastaista sisältöä voi olla mm. yksityiselämää loukkaavan tiedon levitys, kiihottaminen kansanryhmää vastaan, laiton uhkaaminen, alaikäisiin liittyvä seksuaalinen sisältö/grooming, petokset, identiteettivarkaudet, kunnianloukkaukset ja tekijänoikeusrikkomukset.

  • Sisältö ei liity palstan tai keskusteluketjun aiheeseen.

  • Viesti ei ole suomea tai ruotsia (pl. International Forums), se sisältää mainontaa, se sisältää tekijänoikeuksin suojattua materiaalia, se on massapostitus tai jokin muu syy.

Jaa keskustelu