# =================================== # Folgende Seiten sollen nicht indexiert werden: # =================================== User-agent: * Disallow: /anmeldung Disallow: /datenschutz Disallow: /impressum Disallow: /nutzung Disallow: /admin/ Disallow: /cache/ Disallow: /editor/ Disallow: /lib/ Disallow: /seite/vorlagen/ Disallow: /template/ # =================================== # Schließe folgende Spider komplett aus: # =================================== User-agent: penthesilea Disallow: / User-agent: WebReaper User-agent: WebCopier User-agent: Offline Explorer User-agent: HTTrack User-agent: Microsoft.URL.Control User-agent: EmailCollector Disallow: /