Semalt: Mikä on Googlebot?



  1. Johdanto
  2. Mikä on Googlebot?
  3. Miksi pitäisi olla huolissaan Googlebotista?
  4. Miksi Googlebot ei indeksoi joidenkin sivustojen kaikkia sivuja?
  5. Kuinka optimoida sivustosi Googlebotin budjetin maksimoimiseksi
  6. Johtopäätös

Johdanto

Tiedätkö, miten Google löytää resursseja hakuasi varten? Kuten yleisesti uskotaan, Google ei ole kaikkitietävä henki, joka tietää mistä kaikesta verkkosisällöstä on kyse. Se ei ole mikään psyykkinen, joka tietää tarkan vastauksen kysymykseesi.

Kuten kaikilla muillakin hakukoneilla, sillä on ohjelmisto, joka indeksoi miljardeja sivuja (ja sivustoja) joka sekunti kerätäkseen tietoja. poimia sisällön arvo ja sen aihe. Joten kun haku suoritetaan, vastaus vedetään näiltä sivuilta - kuten kirjastosta.


Se kuulostaa paljon SEO: lta, ja se johtuu siitä, että sillä on paljon tekemistä sen kanssa. Kun sivusto on optimoitu tehokkaasti, Google näkee sivuston nopeasti, lukee sen sivut ja näyttää sen, kun hakukoneessa tehdään aiheeseen liittyviä hakuja.

Mutta tämä ei tapahdu kaikilla sivuston sivuilla, joten se tekee joitain sivuja näkymätön maailmalle. Miksi näin tapahtuu? Ja mitä sille voidaan tehdä (etenkin erittäin tärkeillä sivuilla)? Tässä on opas, jossa kerrotaan yksityiskohtaisesti Googlen verkkosivujen indeksointirobotista (Googlebot), miksi se ei indeksoi tarpeeksi sivuja ja miten verkkosivuston omistaja voi käyttää verkkosivuston optimointia ja hakukoneoptimointia Googlebotin indeksointibudjetin maksimoimiseksi.

Mikä on Googlebot?



Hämähäkki! Indeksoija! Nämä ovat suosittuja nimiä, jotka annetaan Googlebotille. Tämä johtuu siitä, että se toimii tavallaan. Ohjelmisto on luotu indeksoimaan ja selaamaan miljardeja verkkosivustoja, jotka on julkaistu yleisölle.

Aivan oikein - jos verkkosivusto pysyy yksityisenä, Googlebot ei yksinkertaisesti voi skannata sivujaan, muista, että hämähäkki ei ole psyykkinen. Se seuraa yksinkertaisesti sivulinkkejä (sivulta toiselle) ja jatkaa sitten tietojen käsittelyä. Tämän jälkeen tiedot kootaan hakemistoon (helppo muistaa Goggle -kirjastona tai -kaupana).

Tämän ohjelmiston ansiosta Google voi koota ja kerätä yli miljoonan gigatavun (GB) tietoja alle sekunnissa (okei - nyt se on taikuutta). Tämän jälkeen Google hakee tästä säännöllisesti päivitettävästä hakemistosta resursseja jokaista verkkohakua varten sekä tietokoneella että mobiililaitteella.

Miksi pitäisi olla kiinnostunut Googlebotista?

Googlebot -indeksoinnilla on paljon tekemistä verkkosivuston hakukoneoptimoinnin (SEO) kanssa. Hämähäkin koko olemus on kerätä tietoja sivuston sivuilta, jotta se voi näyttää sivun yhtenä online -hakutuloksena, kun aiheeseen liittyviä aiheita haetaan. Siksi, kun Googlebot indeksoi jatkuvasti suurimman osan sivuston sivuista, näkyvyys paranee, mikä lisää sivuston liikennettä tällä sivulla (mikä on yksi tavoitteista?).

Käytä tätä kuvaa:

X: llä on verkkosivusto, jossa on sivu aiheesta: ammattimainen SEO verkkosivustoille. Y hakee verkkosivuston hakukoneoptimointia. Jos Googlebot on indeksoinut X: n SEO -sivun ja indeksoinut sen, se olisi yksi Googlen hakutuloksissa näkyvistä tuloksista. Sama pätee muihin aiheeseen liittyviin hakuihin, vaikka tämä tapahtuisi sata kertaa päivässä ympäri maailmaa.

Huomaa, että tähän liittyy muita alleviivaavia tekijöitä, kuten hyvä verkkosivustorakenne, suhteellinen ja nopea sivuston latausaika. Mutta vain yksi SEO asiantuntija voi auttaa varmistamaan, että ne tehdään oikein ja että sivuston sivu näkyy Googlen hakutulosten ensimmäisellä sivulla.


Miksi Googlebot ei indeksoi joidenkin sivustojen kaikkia sivuja?

Eräässä Googlen SEO -toimistotunnin hangoutissa kysyttiin, miksi Googlebot ei indeksoinut tarpeeksi sivuja joillakin sivustoilla. Verkkopalvelimelle julkaistaan ​​julkisesti yli satoja miljardeja sivuja. Ihmiset julkaisevat palvelimelle päivittäin uuden sivun, mikä tarkoittaa, että Googlebot voi indeksoida lisää sivuja. Joskus botti ei kuitenkaan toimi odotusten mukaisesti; tuo on; kerää yli miljoona gigatavua tietoa alle sekunnissa. Tähän voi olla useita syitä.

Ensinnäkin voi olla, että verkossa on liian paljon sisältöä, sivuja ja verkkosivustoja indeksoimiseksi. Jotkut ovat huonolaatuisia, toiset latautuvat hitaasti ja muilla saattaa olla epäolennaista sisältöä, jolla on monimutkainen sivustorakenne (tai muuta hyvää käyttökokemusta vastaan). Siksi Google loi strategian indeksoida vain korkealaatuiset verkkosivut ja sulkea pois huonolaatuiset sivut. Tällä tavalla sivut voidaan suodattaa ja pienentää (sen sijaan, että indeksoisit kaikki sivut verkossa - sekä arvokkaita että ei -arvokkaita sivuja).

Mutta yllä oleva ei täysin vastaa kysymykseen: Miksi Googlebot ei indeksoi kaikkia sivustoja? Pikemminkin kiinnostava kysymys on, miksi Googlebot ei indeksoi kaikkia sivuston sivuja (tai tarpeeksi sivuja). Ja tähän on kaksi vastausta. Pitkä ja lyhyt vastaus:

Lyhyt vastaus

Google liittää tietyn määrän resursseja ja aikaa jokaisen sivuston indeksointiin päivässä. Tätä kutsutaan sivuston indeksointibudjetiksi. Siksi robotti tekee indeksoinnin tämän budjetin puitteissa. Niinpä yli kymmenen tuhannen sivun verkkosivustolla kaikkia sivuja ei indeksoita.

Tässä on kuitenkin muutakin, mikä vie meidät pitkän vastauksen:

Pitkä vastaus


Indeksointibudjetti määrittää, kuinka monta sivua Googlebot voi indeksoida ja indeksoida sivustoittain päivittäin. Mutta kuten aiemmin mainittiin, tähän liittyy paljon muutakin. Jotkut tekijät määräävät hämähäkin vauhdin indeksoitaessa kunkin sivuston indeksointibudjetin puitteissa. Käydä järkeen? Se tarkoittaa sitä, että vaikka budjetti on luonut rajan, jotkin tekijät voivat joko nopeuttaa tai hidastaa botin tahdia. Ne sisältävät:
  1. Hidas palvelin: Jos palvelimen vasteaika on merkittävästi hidas, se voi muuttaa nopeutta, jolla botti indeksoi indeksointibudjetin jokaisen sivun. Verkkosivustojen omistajat voivat tarkistaa ne indeksointitilastoraportistaan. On suositeltavaa, että mikään yli 300 millisekuntia ei ole hyvä vasteaika.
  2. Verkkosivuston palvelimen isäntä: Jos verkkosivustoa isännöidään jaetulla palvelimella, tämä voi hidastaa kunkin sivun näyttämistä Googlelle indeksoinnin aikana. Tämä johtuu siitä, että muut saman palvelimen sivustot saattavat hidastaa sitä käyttämällä suuria resursseja. On vielä pahempaa, kun sama palvelin isännöi monia sivustoja.
  3. Rouge -robotit: Nämä ovat muita robotteja, jotka voivat estää, estää tai hidastaa Googlebotin toimintaa. Niitä voi tulla eri muodoissa, ja joskus sivusto tarvitsee ammattilaisten apua näiden botien toimintojen hallintaan ja hallintaan.
  4. Verkkosivuston indeksoitavuus: Tämä on indeksoijan pääsy verkkosivuston kaikkiin sivuihin. Kun ohjelmistolla on helppo pääsy sivuston sisältöön, monet sivut indeksoidaan indeksointibudjetin puitteissa.

Sivustosi optimointi Googlebotin budjetin maksimoimiseksi


Edellisessä osassa keskustelimme tekijöistä, jotka määrittävät, kuinka nopeasti (tai kuinka hitaasti) Googlebot indeksoi sivun. Mutta on enemmän kuin henkilö voi tehdä maksimoidakseen kuinka monta sivua botti indeksoi budjetissa. Lyhyesti, tässä on muutamia asioita, joita verkkosivuston omistaja voi tehdä maksimoidakseen, kuinka monta sivua Googlebot indeksoi indeksointibudjetin puitteissa päivässä.
  1. Sivustokartan kehittäminen: Tämä on yksi niistä asioista, joiden avulla Googlebot voi indeksoida sivuston nopeammin. Sivustokartta voidaan asentaa, luoda sivukarttageneraattorista tai luoda tyhjästä.
  2. Sijoita sivuston organisointiin: Tämä liittyy verkkosivuston rakenteeseen ja sivuston sivujen luokitteluun. Kun sivusto on rakennettu siten, että kävijät voivat helposti ymmärtää ja navigoida läpi, on todennäköistä, että Googlebot löytää sen helposti.
  3. Verkkosivuston optimointi: Tämä tiivistää kaikki edellä mainitut kohdat. Kun verkkosivustoa optimoidaan jatkuvasti (oikealla tavalla), verkkosivuston käyttöliittymä rakennetaan oikein ja luodaan sivustokartta. Muita asioita ovat indeksointia estävien tekijöiden hallinta (kuten robots.txt), otsikon optimointi, sisällön luettavuus, sisällön arvo ja paljon muuta. Verkkosivuston optimointi auttaa Googlebotia skannaamaan tällaisen sivuston sivut nopeammin.

Johtopäätös

Googlebotia voidaan pitää pienenä internetrobotina, joka työskentelee Googlen palveluksessa. Se kiertää sivujen vastaanottamisen verkkopalvelimelta linkkien kautta verkkosivustoille. Sitten se tutkii jokaisen sivun ja lisää sen indeksoitujen tietojen kokoelmaan. Useiden tekijöiden ja muuttujien vuoksi botti ei kuitenkaan voi indeksoida jokaisen sivuston kaikkia sivuja (itse asiassa joskus se ei riitä). Ja kaikista mainituista tekijöistä ja ratkaisuista helpoin ratkaisu on palkata ammattimainen yritys Semalt joka voi tehdä kaiken tarvittavan oikealla tavalla ja oikeaan aikaan varmistaakseen, että verkkosivustosi tärkeät sivut indeksoidaan - elleivät kaikki sivut.

mass gmail