robots.txt für TYPO3
Suchmaschinen kann man an die Hand nehmen und ihnen gezielt seine Website zeigen bzw. an mancher Ecke vorbeiführen. Die robots.txt ist dabei eines der Hilfsmittel zur Führung. Es gibt Ecken in TYPO3 und in der konkreten Website, die für Suchmaschinen inhaltlich irrelevant sind. Warum also sollte man das freundlichen Crawler nicht sagen? Diese werden dankbar sein, dass wir ihnen Arbeit ersparen – und wir sind froh, dass solch irrelevante Teile in keinem Suchindex auftauchen. Hierfür können via Allow gezielt auf Pfade hingewiesen werden, via Disallow hingegen gezielt ausgeschlossen werden. Vorsicht: Die Angaben in der robots.txt stellen lediglich Bitten/Empfehlungen für Crawler...