KeywordScanner
Informationen zu dem Crawler, der sich mit dem User-Agent KeywordScanner/1.0 meldet.
Was macht der Crawler?
Er besucht öffentlich zugängliche Websites von Unternehmen und zählt, wie oft Begriffe aus dem Themenfeld Energie vorkommen, zum Beispiel Photovoltaik, Windenergie, Wärmepumpe, Solarthermie, Biogas und Geothermie. Das Ergebnis dient einer statistischen Auswertung auf Unternehmensebene.
Was wird gespeichert?
- Nur die Anzahl der Treffer je Website und Begriff.
- Keine Seiteninhalte, keine Texte oder Textausschnitte, keine Seitentitel.
- Keine Kontaktdaten und keine personenbezogenen Daten.
Wie verhält sich der Crawler?
- Er beachtet die
robots.txtIhrer Website. - Höchstens eine Anfrage gleichzeitig pro Website, mit mindestens etwa einer Sekunde Abstand; bei Antwort
429wird automatisch gebremst. - Höchstens 200 Seiten pro Website, nur innerhalb Ihrer Domain.
- Nur HTML-Seiten: keine Bilder, PDFs oder anderen Dateien, kein JavaScript, keine Cookies, keine Formulare oder Logins.
Crawler ausschließen
Tragen Sie Folgendes in die robots.txt Ihrer Website ein. Der Crawler besucht Ihre Seiten dann nicht mehr:
User-agent: KeywordScanner Disallow: /
In English
KeywordScanner visits publicly accessible company websites and counts how often energy-related terms appear. Only per-website counts are stored — no page content, no personal data. It obeys robots.txt, sends at most one request at a time per site, and fetches at most 200 HTML pages per site. To opt out, add User-agent: KeywordScanner / Disallow: / to your robots.txt.