Beiträge mit ‘robots.txt’
komplette WebSites und die robots.txt
Matt Cutts beschreibt im Video Uncrawled URLs in search results kurz das Handling von robots.txt-Files und geht auf folgende Fragen ein: Warum erscheint eine Seite in den SERPs obwohl sie per robots.txt geblockt wird? Wie erreiche ich ein Delisting? Fazit: Um eine Seite komplett zu delisten reicht es nicht aus… weiterlesen »
