Ein KI-Webcrawler ist ein Crawler, der von einem KI-Unternehmen betrieben wird, um Webinhalte für Training von Sprachmodellen oder zur Unterstützung der Echtzeitabfrage zu sammeln, was ihn in seiner Funktion von traditionellen Suchmaschinen-Crawlern unterscheidet. Beispiele hierfür sind OpenAIs GPTBot und Anthropics ClaudeBot; Google hingegen bietet Google-Extended an, ein robots.txt-Token, das es Verlegern ermöglicht zu steuern, ob die Inhalte, die die bestehenden Crawler von Google sammeln, zur Schulung von Gemini-Modellen verwendet werden dürfen.

Website-Betreiber können KI-spezifische Benutzeragenten in robots.txt blockieren und gleichzeitig Suchcrawler zulassen. Google sagt beispielsweise, dass das Blockieren von Google-Extended die Aufnahme einer Website in die Google-Suche nicht beeinträchtigt.

Verwandte Begriffe