robots.txt
Nicht nur Firmen profitieren von der Informations- und Werbewirkung einer eigenen Webseite. Immer öfter präsentieren sich auch Privatpersonen mit einer kleinen Seite im Internet. In beiden Fällen spielt das Thema Sicherheit im Internet eine wichtige Rolle. Welche Seiten und welche Informationen auf den Webseiten angezeigt werden, steuert der Anwender in der Regel selbst und hat hiermit relativ große Kontrolle über deren Nutzung. Es liegt jedoch in der Natur des Internets, dass jedwede Webseiten mit allen Inhalten und Unterseiten von Suchmaschinen besucht und indiziert werden. Dies ist in der Regel auch gewünscht, wodurch die Chancen auf Auffindbarkeit und gutes Ranking in den Suchanfragen gewährleistet wird.
Zwar lässt sich auch in einzelnen HTML-Dateien mit Hilfe eines Meta-Tags für Suchmaschinen die Verwertung der Seite festlegen, doch das betrifft eben nur die einzelne HTML-Datei und maximal alle darin durch Verweise erreichbaren Seiten, nicht jedoch andere Ressourcen wie z.B. Bilder. In einer zentralen robots.txt können Sie dagegen unabhängig von der Datei- und Verweisstruktur Ihres Web-Projekts festlegen, welche Regeln für Verzeichnisse und Verzeichnisbäume gelten sollen. Da es an einem geschriebenen RFC fehlt, wird die Interpretation der robots.txt und deren Syntax von den Robotern nicht immer einheitlich gehandhabt. Die zusätzliche Verwendung von Meta-Tags in HTML-Dateien ist daher in Fällen der unerwünschten Indexierung durch den Robot zu empfehlen, falls der Robot die robots.txt nicht oder nicht richtig interpretiert hat.
Den vollständigen Fachbeitrag finden Sie bei unserem Kunden (#KID-008) unter der folgenden Webadresse: (#KID-008-L).
[#Info: Sie sehen hier keinen Kundennamen und Kunden-URL? Nehmen Sie einfach Kontakt mit uns auf, um sich hier mit Ihrem Unternehmennamen und der vollständigen Themen-URL eintragen zu lassen. #Info]
Benötigen Sie einen qualitativ hochwertigen, uniquen und SEO-optimierten Text zu diesem oder einen ähnlichen Themenbereich? Klicken Sie hier für eine Anfrage.
