# robots.txt fuer http://www.heiligeWut.de/ User-agent: * Disallow: /joe/ # Die Dateien sind sehr kurzlebig Disallow: /Test/ Disallow: /logs/ # Die ändern sich jeden Tag Disallow: /cgi-bin/ # CGI Ausgaben nicht indexieren Disallow: /usage/ # Die news.html ändert sich täglich Allow: /jbf/