robots.txt für TYPO3

Suchmaschinen kann man an die Hand nehmen und ihnen gezielt seine Website zeigen bzw. an mancher Ecke vorbeiführen. Die robots.txt ist dabei eines der Hilfsmittel zur Führung.

Es gibt Ecken in TYPO3 und in der konkreten Website, die für Suchmaschinen inhaltlich irrelevant sind. Warum also sollte man das freundlichen Crawler nicht sagen? Diese werden dankbar sein, dass wir ihnen Arbeit ersparen – und wir sind froh, dass solch irrelevante Teile in keinem Suchindex auftauchen. Hierfür können via Allow gezielt auf Pfade hingewiesen werden, via Disallow hingegen gezielt ausgeschlossen werden.

Vorsicht: Die Angaben in der robots.txt stellen lediglich Bitten/Empfehlungen für Crawler dar. Ob sich ein Crawler tatsächlich dran hält, bleibt ihm überlassen. Echter Zugriffsschutz müsste ggf. anders umgesetzt werden (z.B. via .htaccess).

Eine gute Basis für solch eine robots.txt pflegt Oliver auf Github: robots.txt for TYPO3

Quellen:

robots.txt for TYPO3 (als PDF-Backup)