Hvordan Google finner og indekserer sidene dine — sitemap og robots enkelt forklart

Du kan ha den beste siden i bransjen, men hvis Google ikke finner den, finnes den ikke i søk. Før noe kan rangere, må Google først oppdage siden, lese den og bestemme seg for å ta den med. Her er hvordan det skjer — uten teknisk sjargong.

To steg: finne og forstå

Google gjør jobben i to trinn, og det hjelper å holde dem fra hverandre:

• Crawling er når Google «besøker» siden din. En automatisk robot følger lenker fra side til side, omtrent som en leser som klikker seg videre.
• Indeksering er når Google leser innholdet, forstår hva siden handler om, og legger den i den enorme katalogen den søker i.

En side kan være crawlet uten å være indeksert. Da har Google sett den, men valgt å ikke ta den med — gjerne fordi innholdet er tynt, en kopi av en annen side, eller blokkert.

Hva en sitemap er

En sitemap er rett og slett en liste over alle sidene du vil at Google skal kjenne til. Den ligger som en fil på nettsiden din, vanligvis på dittdomene.no/sitemap.xml, og fungerer som et kart du gir til Google.

Du trenger ikke en sitemap for at Google skal finne deg — den følger lenker uansett. Men en sitemap hjelper i to tilfeller:

• Når siden din er ny og har få lenker som peker til den.
• Når den er stor, slik at noen sider er dypt begravd og vanskelige å nå.

De fleste nettsideverktøy lager en sitemap automatisk. Bruker du WordPress, Shopify eller et lignende system, finnes den som regel allerede.

Hva robots.txt er

robots.txt er en liten tekstfil som ligger på dittdomene.no/robots.txt. Den forteller søkeroboter hvilke deler av siden de ikke skal besøke — for eksempel en innloggingsside eller en handlekurv.

Her er det lett å gjøre en dyr feil. En enkelt linje i denne filen kan, hvis den er feil, be Google om å la hele nettsiden være. Det skjer oftere enn man skulle tro, gjerne etter en relansering der en midlertidig sperre ble glemt.

Tommelfingerregelen: ikke rør robots.txt med mindre du vet nøyaktig hva hver linje gjør. Og hvis trafikken plutselig forsvinner, er denne filen det første du sjekker.

Search Console er kontrollpanelet ditt

Google tilbyr et gratis verktøy som heter Search Console. Det er her du faktisk ser hva Google har gjort med sidene dine. Med det kan du:

• Se hvilke sider som er indeksert og hvilke som ikke er det.
• Sende inn sitemapen din.
• Be Google se på en ny side med en gang, i stedet for å vente.
• Få beskjed hvis noe er galt.

Hvis du bare gjør én teknisk ting for SEO, er det å sette opp Search Console. Det er gratis, det tar en kort økt, og det gir deg innsyn du ellers ikke har.

Vanlige grunner til at en side ikke vises

Når en side mangler i søk, er det som regel en av disse:

• Den er for ny, og Google har ikke rukket å indeksere den enda.
• Den er utilsiktet blokkert av robots.txt eller en «noindex»-innstilling.
• Innholdet er for tynt eller likner for mye på en annen side.
• Ingen lenker peker til den, så Google finner den aldri.

De fleste av disse er enkle å rette når du først vet hvor du skal se.

Slik sjekker du din egen side

Du kan teste mye selv, helt gratis:

1. Søk på Google etter site:dittdomene.no. Da ser du omtrent hvilke sider Google har med.
2. Åpne dittdomene.no/robots.txt i nettleseren og se at den ikke blokkerer noe viktig.
3. Logg inn i Search Console og se etter sider merket som ikke indeksert.

Hvis tallene ser feil ut, har du nettopp funnet noe verdt å rette.

Det er fundamentet under alt annet

Indeksering er ikke det mest spennende i SEO, men det kommer først. Bilder, innhold og intern lenking betyr lite hvis Google aldri ser sidene. Får du dette på plass, har du lagt grunnmuren resten bygger på.

Det meste her kan du sjekke selv på en ettermiddag. Vil du heller ha noen til å gå gjennom det med deg, kan du ta en prat med oss.