Avanceret XML Sitemap Tips: 4 sider til at udelukke en Robotter TXT Filer

En Robotter TXT-fil arbejder sammen med en XML sitemap til at kommunikere med søgemaskinernes robotter, også kendt som søgemaskine edderkopper eller bots. Disse er automatiske scripts, der rejser World Wide Web med det formål at indeksering indhold. Mens en XML sitemap fortæller robotterne hvad web sider, du vil have indekseret, en Robotter TXT-fil gør det modsatte, notering web indhold, som du ikke vil have robotter til at besøge fordi du ønsker at udelukke dem fra søgemaskiner. Din Robotter TXT-fil kan forbyde adgang til hele dit websted, bestemte mapper eller bestemte websider. Filen kan oprettes ved hjælp af Notepad i Windows eller TextEdit i Mac, og skal gemmes i roden af ​​dit domæne.

Der er 4 primære typer af web-indhold, du ønsker at udelukke fra søgemaskiner ved hjælp af en Robotter TXT-fil:

1. In-Progress Content

Forestil du omlægning en stor hjemmeside. Når du kigge ind på hjemmesiden filer, du finder, at det er fyldt med forældede websider og værste endnu, sider, der bringer op fejl eller omdirigere når folk forsøger at få adgang til dem. Disse skal være udelukket fra din XML sitemap og tilføjet til din Robotter TXT-fil, så søgemaskinerne vil ikke ved et uheld indeksere og sende trafik til dem. Der er ikke noget mere frustrerende for en web-bruger, end at tro, de er kommet af den nøjagtige oplysninger, de har brug for, blot for at opdage, at siden ikke faktisk eksisterer længere. Hvis du arbejder på hele dit websted i et stykke tid, kan du endda bruge robotter TXT-fil til at forbyde adgang til hele din hjemmeside, så søgemaskinespiders ikke besøge dit websted på alle.

2. Privat indhold

Som en virksomhed, er det sandsynligt, du har eller tænker på udstationering særlige indhold for folk, der betaler eller tilmelder sig. Ligeledes kan du password-beskytte dele af din hjemmeside kun for visse medlemmer af dit team til at se. Selvfølgelig behøver du ikke ønsker nogen af ​​disse sider, der viser op i søgemaskinerne for hele verden at se. Ved at slette disse sider fra din XML sitemap og indsætte dem i din Robotter TXT-fil, du sender et klart budskab til søgemaskiner, at siderne er private og ikke bør vises som offentlige indgange til din hjemmeside.

3 . Lav prioritet Content

I betragtning af hvor søgemaskinespiders er automatiske programmer, kan du ikke forvente, at bruge sin sunde fornuft, når de tjekke din hjemmeside. De gør deres beslutninger baseret på beregninger, så de ikke bevidst, hvad web-sider du overveje vigtigere end andre. Af grunde, der spænder fra trafik til eksterne links, en triviel side såsom dit privatliv politik kunne dukke op i toppen af ​​søgemaskinens resultater for bestemte søgeord. Hvis du ikke ønsker bestemte sider til at være din første indtryk til potentielle kunder og klienter, bør du ændre deres prioriterede indstillinger i dit XML sitemap og derefter liste dem i din Robotter TXT-fil.

4. Kopieret indhold

Søgemaskiner straffer hjemmesider for kopieret indhold, fordi spammere bruges til at bruge denne taktik til at forsøge at snyde systemet. Det betyder, at du er i problemer, hvis du tilbyde dine seere en kopi af den samme webside til udskrivning, skal du bruge http sikre (https) og mindre sikker (normal http) versioner af de samme sider, eller har forskellige webadresser, der peger på den samme e-handel butik element for eksempel. Sørg for, at søgemaskiner ved, at du ikke bedrager dem med vilje ved klart at identificere den kanoniske (eller foretrukne) side i din XML sitemap og notering eventuelle dubletter i din Robotter TXT fil til udelukkelse
.