Echtzeithilfe.de

about SEO, Marketing, Google and more

BaiduSpider beeinflussen?

BaiduSpider ist der Crawler von baidu.com, der größten chinesischen Suchmaschine. Manche Autoren bezeichnen baidu als das “chinesische Google”. Auch in unseren Log-Files findet sich der BaiduSpider, von zig verschiedenen IP-Adressen, z.B. unter Anderem:

  • 123.125.66.15 – 123.125.66.134
  • 220.181.7.55 – 220.181.7.132
Screenshot baidu.com

Screenshot baidu.com

Wir haben einen Kunden, nennen wir der Einfachheit halber domain.de. Dieser Kunde betreibt weitere Shops in der jeweiligen Sprache, auch unter domain.com oder domain.fr. Jetzt haben wir festgestellt, dass BaiduSpider regelmäßig die .de-Domain crawlt. Ich denke, es würde aber mehr Sinn machen, dass Baidu die englishsprachige domain.com crawlt und indiziert, als die deutschsprachige. Wie realisiert man sowas am Sinnvollsten? Ich kann natürlich per robots.txt bzw. über das Meta-Tag robots den BaiduSpider ausschließen/einschränken. Aber wie bringe ich ihn dazu die .com-Domain zu crawlen?!

Natürlich ist es schonmal erfreulich, dass in den Zeiten von chinesischer Internet-Zensur die große Suchmaschine dennoch Interesse an deutschen WebSeiten zeigt.

Interessant wäre auch, ob der BaiduSpider sich an ein Crawl-delay innerhalb von robots.txt hält.

GD Star Rating
loading...


Ein Kommentar zu “BaiduSpider beeinflussen?”

  1. 18. Januar 2010 um 10:40

    Blogger sagt:

    Also bei uns ignoriert der Spider einfach die robots.txt. Wir haben schon versucht dem Baidu per Meta-Tags das indexing zu verbieten, wird aber auch ignoriert. Auch der sitemap.xml schenkt Baidu kein Interesse. Komische Suchmaschine. Leider haben wir für dieses Problem auch noch keine Lösung im Netz gefunden.

Kommentar hinterlassen

Was ergibt 14 + 14 =
Please leave these two fields as-is:

Optimized by SEO Ultimate