robots.txt - det är anledningen
Om du kör en webbplats har du antagligen redan upptäckt en fil som heter robots.txt i ditt FTP-program. Du kan ta reda på vad som ligger bakom denna textfil och varför det är viktigt i detta praktiska tips.
robots.txt - Krav på sökmotorer
Varje domän bör ha en robots.txt. Det är en viktig del av SEO.
- Sökmotorer arbetar med sökrobotar. Dessa är små, självständigt fungerande program. De söker på internet efter innehåll. Webbplatser läsas upp och indexeras.
- Eftersom sökrobotar arbetar självständigt kallas de också sökmotorbots eller robotar.
- Din webbplats robots.txt berättar för dessa crawlers vilka kataloger som kan och inte kan läsas.
- För att få den här informationen letar sökrobotarna först efter ett domäns robots.txt. Av denna anledning måste robots.txt vara på toppnivån i katalogstrukturen. Det får inte flyttas till en katalog - då hittar inte bots dessa textfiler.
- Enkelt uttryckt ger robots.txt sökmotorer som genomsöker två informationer. Posten "Användaragent:" anger för vilken robot - detta adresseras i robots.txt som en användaragent - följande instruktion gäller.
- Detta följs av posten "tillåt:" eller "tillåt:". Kataloger och underkataloger som botten får krypa och vilka kataloger han ska lämna när indexering sedan listas bakom.
- Posten "tillåta:" är mindre viktigt. Allt som inte uttryckligen utesluts indexeras av roboten ändå.
- Vissa CMS som Drupal skapar robots.txt direkt under installationen. I WordPress kan du skapa robots.txt med ett plugin.
Om du får Google-meddelandet "ovanligt många förfrågningar" kan du ta reda på vad du kan göra i vårt nästa praktiska tips.