Jun 16 2010
Limitierungen der automatisierten Abfragen der Suchergebnisse bei Yahoo und Google
Das automatisierte Abfragen der Suchergebnisse von Google und Yahoo ist dank der gut dokumentierten Schnittstellen kein Problem. Man bekommt leicht zu parsenden XML oder JSON Code zurück und kann dann die Daten weiterverarbeiten ohne den HTML Code parsen zu müssen. Klingt also vielversprechend.
Bei einem ersten Test habe ich dann aber festgestellt, dass sowohl Google als auch Yahoo einige Limitierungen bezüglich der API haben und es nicht ohne weiteres möglich ist, einem Skript eine Liste von Suchbegriffen hinzuwerfen und dann mit Hilfe der API den Index bei Google und Yahoo auszulesen. Schade, aber das war ja auch zu erwarten.
So bekommt man von Google nach eine gewissen Anzahl von Request nur noch den folgenden JSON String zurück:
{”responseData”: null, “responseDetails”: “Suspected Terms of Service Abuse. Please see http://code.google.com/apis/errors”, “responseStatus”: 403}
und Yahoo gibt statt der erwarteten XML Daten einfach ein HTML Dokument mit dem Error 999 zurück. Ein Blick in diese HTML Datei zeigt, dass Yahoo nicht mehr auf meine Anfragen antwortet. Yahoo Error “Unable to process request at this time — error 999″.
OK, verwunderlich ist die Tatsache, dass hier ein Riegel [...]
