Internetissä on ainakin yksi sivusto, Internet archice, jolla olevalla Wayback Machine-toiminnolla voi etsiä jo poistettuja nettisivuja, jotka näytetään sen näköisinä kuin ne aikoinaan netissä näkyivät. Nyt on vain niin, että mikäli jonkun sivuston ylläpitäjä on ottanut käyttöönsä robots.txt-tiedoston, ei edes Wayback Machine pysty näyttämään poistettuja sivuja. Millä ne saisi näkyviin, ja onko olemassa muita vastaavia arkistoja kin Internet archive?
Wayback Machine.
Hmm...
2919
0Äänestä
Muut lukivat myös
Odottaa vastausta
Näihin keskusteluihin ei ole vielä vastattu. Ole ensimmäinen.
Vastaukset 2
Vanhimmat
robots.txt on pettänyt minutkin useita kertoja.
ei oo muita vastaavia palveluita, ainakaan ilmaisia.
siitä huolimatta, että robots.txt on estäny, voivat ne olla arkistoituneet, mutteivat julkisesti.
robots.txt-tiedosto ei yksinään estä sivujen arkistoitumista vain siinä tapauksessa jos ko. sivujen skannaus on estetty kyseisessä tiedostossa.