Tarkvaraämblik on mehitamata programm, mida haldab otsingumootor, mis surfab veebis nagu teie. Igat veebisaiti külastades salvestab (salvestab see kõvakettale) kõik saidi sõnad ja märgib kõik lingid teistele saitidele. Seejärel see 'klõpsab' lingil ja see läheb teise veebisaidi lugemiseks, indekseerimiseks ja salvestamiseks.
Tarkvaraämblik loeb sageli ja indekseerib iga külastatud veebisaidi kogu teksti otsimootori põhiandmebaasi, mille jaoks ta töötab. Viimasel ajal on paljud mootorid, näiteks AltaVista, hakanud indekseerima ainult teatud arvu saidi lehti, sageli kokku umbes 500 lehte, ja seejärel peatunud. Ilmselt on see sellepärast, et veeb on muutunud nii suureks, et on võimatu kõike indekseerida. Mitu lehte ämblik indekseerib, pole täiesti ennustatav. Seetõttu on mõistlik esitada oma saidil kõik olulised lehed, mida soovite indekseerida, näiteks need, mis sisaldavad olulisi märksõnu.
Tarkvaraline ämblik on nagu elektrooniline raamatukoguhoidja, kes lõikab iga raamatukogu sisukorra välja igas maailma raamatukogus, sorteerib need hiiglaslikuks peaindeksiks ja ehitab seejärel elektroonilise bibliograafia, mis salvestab teavet selle kohta, millised tekstid millistele teistele tekstidele viitavad. Mõni tarkvaraämblik suudab indekseerida päevas üle miljoni dokumendi! Oluline on mõista, et otsingumootorite ämblikud teevad ainult kahte asja:
- Nad indekseerivad teksti.
- Nad järgivad linke.
Hiljutisel otsingumootorite strateegiate konverentsil, mille korraldas SearchEngineWatch.com, tegi üks külalisesinejatest, Shant Thurow of Grantastic Designs, selle punkti ja kordas seda mitu korda, et illustreerida selle olulisust: „Otsingumootorid indekseerivad teksti ja järgivad linke. Nad indekseerivad teksti ja järgivad linke. See on kõik, mida nad teevad. '
Tema seisukoht on otsingumootorite ämblike olemuse mõistmisel oluline ja keskne. Kui teie veebisaidi tekst sisaldab graafikat, ei saa otsingumootorid seda indekseerida. Kui kõik teie olulised märksõnad, mille kohta loodate paremusjärjestuse saavutada, sisalduvad graafikas, mitte HTML-tekstis, ei saavuta teie sait paremusjärjestust. Pidage meeles, et otsingumootorid ei indekseeri pilte ega loe pilte, nad indekseerivad teksti ja järgivad linke. See on kõik. Kui teie vaadataval lehel pole teksti, ei aita ükski märksõnade metamärgendis olev märksõna pingeread saavutada.
See, mida ämblik teie saidil näeb, määrab selle, kuidas teie sait selle indeksis on loetletud. Otsingumootorid määravad saidi asjakohasuse keeruka hindamissüsteemi põhjal, mida otsingumootorid püüavad saladuses hoida. See süsteem liidab või lahutab punkte selliste asjade põhjal nagu mitu korda märksõna lehel ilmus, kus lehel see ilmus ja kui palju sõnu leiti. Lehed, mis saavad kõige rohkem punkte, tagastatakse otsingutulemite ülaosas; ülejäänud on maetud põhja, neid ei leidu kunagi.
Kui tarkvaraämblik külastab teie saiti, märgib ta teie lehel olevad lingid teistele saitidele. Mis tahes otsingumootori suures andmebaasis on registreeritud kõik saitide vahelised lingid. Otsingumootor teab, millistele saitidele olete linkinud, ja mis veelgi olulisem, millised saidid teile linkisid. Paljud mootorid kasutavad populaarsuse näitamiseks isegi teie saidi linkide arvu ja suurendavad seejärel teie tegurit selle teguri põhjal.
Autoriõigus © 2000 iProspect.com
