Sådan indsendes en opdateret eller ny Robots.txt-fil igen

robotter txt

Vores agentur håndterer rådgivning inden for organisk søgning for flere SaaS-leverandører i branchen. En klient, som vi for nylig begyndte at arbejde med, havde udført en ret almindelig praksis ved at placere deres ansøgning på et underdomæne og flytte deres brochureside til kernedomænet. Dette er en standard praksis, da det giver både dit produktionsteam og dit marketingteam mulighed for at foretage opdateringer efter behov uden nogen afhængighed af den anden.

Som et første skridt i analysen af ​​deres organiske søgesundhed registrerede vi både brochure- og applikationsdomænerne hos Webmasters. Det var da vi identificerede et øjeblikkeligt problem. Alle applikationssiderne blev blokeret for at blive indekseret af søgemaskinerne. Vi navigerede til deres robots.txt-post i Webmastere og identificerede øjeblikkeligt problemet.

Mens de forberedte sig på migrationen, ønskede deres udviklingsteam ikke, at applikationsunderdomænet skulle indekseres af søgning, så de tillod ikke adgang til søgemaskiner. Robotten.txt-filen er en fil, der findes i roden på dit websted - ditdomæne.dk/robots.txt - der lader søgemaskinen vide, om de skal gennemgå webstedet eller ej. Du kan skrive regler for at tillade eller ikke tillade indeksering på hele webstedet eller specifikke stier. Du kan også tilføje en linje for at specificere din sitemap-fil.

robots.txt filen havde følgende post, som forhindrede webstedet i at blive gennemgået og indekseret i placeringen af ​​søgeresultater:

User-Agent: * Disallow: /

Den skulle have været skrevet som følger:

Bruger-agent: * Tillad: /

Sidstnævnte giver tilladelse til enhver søgemaskine, der gennemsøger webstedet, at de kan få adgang til ethvert bibliotek eller fil på webstedet.

Fantastisk ... så nu, hvor robots.txt filen er perfekt, men hvordan ved Google, og hvornår vil de kontrollere webstedet igen? Nå, du kan absolut anmode om, at Google kontrollerer din robots.txt, men det er ikke for intuitivt.

Naviger til Google Search Console Search Console til Crawl> robots.txt-testeren. Du vil se indholdet af den senest crawlede robots.txt-fil i testeren. Hvis du gerne vil sende din robots.txt-fil igen, skal du klikke på Send og en popup vil komme med et par muligheder.

indsend robots.txt igen

Den sidste mulighed er Bed Google om at opdatere. Klik på den blå Send-knap ved siden af ​​denne mulighed, og naviger derefter tilbage til Crawl> robots.txt-testeren menupunkt for at genindlæse siden. Du skal nu se den opdaterede robots.txt-fil sammen med et datostempel, der viser, at den blev gennemgået igen.

Hvis du ikke kan se en opdateret version, kan du klikke på send og vælge Se uploadet version for at navigere til din faktiske robots.txt-fil. Mange systemer vil cache denne fil. Faktisk genererer IIS denne fil dynamisk baseret på regler indtastet via deres brugergrænseflade. Du bliver højst sandsynligt nødt til at opdatere reglerne og opdatere cachen for at udgive en ny robots.txt-fil.

robotter-txt-tester

Hvad mener du?

Dette websted bruger Akismet til at reducere spam. Lær, hvordan dine kommentardata behandles.