Echtzeithilfe.de

about SEO, Marketing, Google and more

komplette WebSites und die robots.txt

Matt Cutts beschreibt im Video Uncrawled URLs in search results kurz das Handling von robots.txt-Files und geht auf folgende Fragen ein:

  • Warum erscheint eine Seite in den SERPs obwohl sie per robots.txt geblockt wird?
  • Wie erreiche ich ein Delisting?

Fazit: Um eine Seite komplett zu delisten reicht es nicht aus die Seite in der robots.txt auszuschliessen. Durch eingehende Links erscheint die Seite innerhalb der SERPs. Die Seite wird nicht gecrawlt und es wird auch kein Snippet aus der Seite verwendet, sondern die Beschreibung aus dem ODP / dmoz. Besser ist es in diesem Fall Google die Seite crawlen zu lassen und mit dem Meta-Tag robots ein noindex auszugeben.

Possibly related posts: (automatically generated)

GD Star Rating
loading...


Kommentar hinterlassen

Was ergibt 13 + 3 =
Please leave these two fields as-is:

Optimized by SEO Ultimate