Jos siirrän joitain html-tiedostoja nettiin perustamaani ja nimeämääni kansioon jollekin palvelimelle (esim. sunpoint), eikä mistään ole olemassa linkkiä näille sivuille, eikä siellä myöskään ole index.html tiedostoa, niin kuinka todennäköistä on että joku "löytää" ko. sivut??? Pitäisi siis tietää tarkkaan kyseinen osoite, jotta selaimella sinne löytäisi.
Oletetaan, että sivuja pidetään netissä vaikkapa 2 viikkoa.
Oletetaan, että sivuja pidetään netissä vaikkapa 2 viikkoa.
Vastaukset 9
Vanhimmat
Jos html-tiedostossa on esim. , niin hakukoneiden robotit saattavat laittaa ne hakukoneisiin. Näiden robottien pääsyn sivuille voi estää tekemällä tiedoston robots.txt, jossa on esimerkiksi seuraavat rivit:
User-agent: *
Disallow: /
Lisätietoa osoitteesta http://www.searchengineworld.com/robots/robots_tutorial.htm
En tarkoittanut pelkästään tuota. Tarkotin enimmäkseen sitä, että joku sattuisi vahingossa "löytämään" oikean http://... polun.
Perustan html-tiedoston näillä "meta" -riveillä:
New Page 1
Nämä ovat siis ihan normaalit perusasetukset, jotka frontpage antaa. Kuinka nopeasti ko. sivu näkyy esim. googlessa?
Onko merkitystä sillä onko ko. kansiossa index.html sivua?
Ainahan joku saattaa arvata oikean polun, mutta kuinka moni käy kokeilemassa satunnaisia polkuja ja sivujen nimiä? Ei varmaankaan kovin moni.
Googlella taas menee parisen kuukautta sivujen indeksointiin eli sanoisin, että pari viikkoa olet kyllä turvassa.
Muista myös se, että jos vain laitat sivusi johonkin hakemistoon, jossa ei ole index.htm[l]-tiedostoa, saa hakemiston nimen arvaamalla saada tiedostolistauksen näkyviin (en kyllä muista, näyttikö esim. Sunpoint sen sijaan sittenkin virheilmon?) eli silloin kaikki sivusi löytyvät hyvin helposti.
Kyllähän indeksoimattomia sivuja on vaikka kuinka paljon - hakukoneet eivät tosiaakaan arvaile hakemistojen ja sivujen nimiä vaan seuraavat linkkejä. Tapanahan on kun kotisivut laittaa nettiin antaa url hakukoneille, siltikin saattaa mennä pari viikkoa ennenkuin hakukonetta käyttämällä sen löytää. Metatietohin voi laittaa myös hakuroboteille viestin, muistaakseni se menee näin , vastuuta tuon toimivuudesta en ota :).
Index- tai default-tiedoston merkitys on että selain avaa sen eikä hakemistoa. Siis jokaiseen hakemistoon kannattaa laittaa esim index.htm, muussa tapauksessa selaimet näyttää hakemiston kaikki tiedostot, jos joku niistä halutaan pitää salassa siihen ei laiteta linkkiä... Todella huono tuuri täytyy olla jos joku sen arvaamalla löytää.
En oikein tiedä miten ja missä toimii htaccess, sillä käsittääkseni voi laittaa salasanan tai muuten rajoittaa hakemiston käyttöä. Olisko tästä yhtään apua: http://www.google.com/search?hl=fi&ie=UTF-8&oe=utf-8&q=htaccess&btnG=Google-haku&lr=lang_fi .
että sivusi näkyy ja että hakukone ei indeksoi niitä niin laita tämä rivi index.html:ään header-osioon:
Lisäksi laita samaan hakemistoon tuon index.html:än kanssa Robots.txt joka on seuraavanlainen:
# go away
User-agent: *
Disallow: /
miten se hakurobotti löytää ensinnäkin se sivun, jos siihen hakemistoon ei ole missään linkkejä?
Minusta ei mitenkään.
Ne hakukoneiden (ja muutkin) robotit on tehty juuri sillä tavalla, että ne "haistelee" uusia tiedostoja, jotka nettiin on ilmestynyt. Samalla tavalla ne haistelee myös olemassa olevien sivujen muutoksia.
Hakukoneet eivät todellakaan löydä sellaista sivua, jonne ei ole linkkiä mistään, koska ne eivät saa mitään erillistä listaa palvelimen tiedostoista. Ainoa tapa löytää uusi tiedosto johon ei ole linkkiä olisi kokeilla hakea tiedostoja kaikilla mahdollisilla nimillä aaaaaaa.html -> zzzzzz.htm. Ja tämä tapa kaataisi koko verkon.
Olemassaolevan tiedoston muutos on tietysti helppo havaita päivämäärän muuttumisesta, kun tiedoston nimi ja sijainti on ennästään selvillä.