Wie oft musste man Sie heute daran erinnern zu atmen? Wahrscheinlich gar nicht, denn Atmen ist etwas, das wir Menschen automatisch tun. Doch genau für diese Aufforderung gibt es ein Äquivalent im robots.txt: <meta name=”robots” content=”index, follow” />. Hier haben wir für Sie vier Gründe zusammengestellt, warum Sie auf diese Meta-Tags verzichten können und sollten.
1. Google indexiert Seiten und folgt Links automatisch
Damit Google seine Arbeit tut, braucht der Crawler keine extra Aufforderung im robots.txt. Seiten zu indexieren und Links auszuwerten gehört zur Standardarbeit des Google Bots, die auch ohne index, follow durchgeführt wird.
2. Die Tags index und follow werden von Google ignoriert
Aus Googles Dokumentation über unterstützte Meta-Tags geht hervor, dass lediglich noindex und nofollow als Arbeitsanweisung verstanden wird. Dies bedeutet, dass man dem Bot verbietet eine Seite zu crawlen. Eine gegenteilige Anweisung wird vom Bot nicht verstanden und ignoriert.
3. Sie können dem Google-Bot keine Arbeitsanweisung geben
Ob Ihre Website indexiert wird oder nicht, entscheidet der Google-Bot selbst. Sie können ihn nicht mit einer Arbeitsanweisung dazu zwingen.
4. Sie geben bei den Meta-Tags „index“ und „follow“ Ihr fehlendes SEO-Wissen preis
Wenn Sie eine Arbeitsanweisung in die robots.txt-Datei aufnehmen, obwohl diese überflüssig ist, geben Sie zu erkennen, dass bei Ihnen in der SEO noch Nachholbedarf besteht.
Wenn Sie weitere Fragen rund um SEO haben, dann schreiben Sie uns heute eine E-Mail an: info@munich-milan.de