robots.txt Pentesting

Was ist robots.txt?

Die robots.txt-Datei liegt im Stammverzeichnis einer Webseite (z.B. https://example.com/robots.txt) und gibt Web-Crawlern an, welche Bereiche nicht indexiert werden sollen. Sie ist kein Sicherheitsmechanismus, sondern nur eine Empfehlung.

Warum relevant im Pentesting?

• Versteckte Pfade: Kann Pfade zu sensiblen oder versteckten Bereichen offenbaren.

• Informationsgewinnung: Bietet Hinweise auf die Verzeichnisstruktur der Website.

Beispiel einer robots.txt-Datei:

plaintextCopy codeUser-agent: *
Disallow: /admin
Disallow: /private

Pentesting-Schritte:

1. Abrufen:

   bashCopy code$ curl http://example.com/robots.txt

2. Analyse: Folge den aufgelisteten Pfaden und überprüfe sie auf nützliche Informationen.

Sicherheitshinweis:

• Sensible Informationen sollten nie über robots.txt verborgen werden, da die Datei öffentlich zugänglich ist.