IVskiBot

IVskiBot steht in Ihrem Log, obwohl Sie kein Audit beauftragt haben?

Dann verlinkt eine Website, die wir prüfen, auf Ihre Seite. Zu einem Audit gehört die Prüfung, ob die Links der geprüften Website noch funktionieren, auch Links auf andere Websites. Das ist ein kurzer Besuch genau der einen verlinkten Adresse, kein Crawl Ihrer Website:

1. IVskiBot liest Ihre /robots.txt, einmal pro Audit. Sperrt sie die verlinkte Adresse für IVskiBot, wird der Link nicht geprüft und nichts weiter abgerufen.
2. Er sendet eine HEAD-Anfrage an die verlinkte Adresse: Es geht nur um den Statuscode.
3. Nur wenn HEAD mit einem Fehler beantwortet wird (viele Server unterstützen HEAD nicht), wiederholt er die Anfrage einmal als GET.

IVskiBot folgt nicht den Links auf Ihren Seiten und liest oder speichert Ihre Inhalte nicht. Er notiert den Statuscode, die Antwortzeit und gegebenenfalls das Ziel einer Weiterleitung, in einem vertraulichen Bericht für den Betreiber der verlinkenden Website. Führt die Weiterleitung auf eine andere Adresse, wird diese genauso geprüft.

"GET /robots.txt HTTP/1.1" 200 312 "-" "IVskiBot/0.1 (+https://ivski.com/bot)"
"HEAD /blog/ein-artikel HTTP/1.1" 200 0 "-" "IVskiBot/0.1 (+https://ivski.com/bot)"

IVskiBot sendet keinen Referer. Das Log zeigt daher nicht, welche Website auf Sie verlinkt.

So sperren Sie IVskiBot

Empfohlen: robots.txt

Tragen Sie diese Zeilen in die robots.txt im Stammverzeichnis Ihres Hosts ein, zum Beispiel https://example.com/robots.txt:

User-agent: IVskiBot
Disallow: /

Danach ruft IVskiBot von Ihrer Website nichts mehr ab außer der robots.txt selbst: keine Linkprüfungen und keine Audits. Ihre robots.txt wird bei jedem Besuch neu gelesen; eine Änderung gilt also ab dem nächsten Besuch von IVskiBot.

User-agent: IVskiBot
Disallow: /intern/
Disallow: /checkout

User-agent: IVskiBot
Crawl-delay: 10

Alternative: auf dem Server sperren

Sie können den User-Agent auch mit Status 403 abweisen. Eine Linkprüfung akzeptiert das, muss aber anklopfen, um die 403 zu erhalten: ein HEAD pro verlinkter Adresse und, weil HEAD fehlschlug, ein GET. Mit der robots.txt ruft IVskiBot Ihre Seiten gar nicht erst ab.

if ($http_user_agent ~* "ivskibot") {
    return 403;
}

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ivskibot [NC]
RewriteRule ^ - [F]

Was IVskiBot niemals tut

An Websites sendet IVskiBot ausschließlich GET- und HEAD-Anfragen. Er liest, er schreibt nie. Er wird niemals:

• POST, PUT, PATCH, DELETE oder eine andere Methode senden
• Formulare ausfüllen oder absenden: Kontakt, Suche, Kommentare, Newsletter oder Registrierung
• sich einzuloggen versuchen, Passwörter raten oder Zugangsdaten senden
• Cookies zwischen Anfragen speichern
• nach Sicherheitslücken, Admin-Bereichen, Backups oder offenen Dateien wie /.env, /.git/, /wp-login.php suchen
• Angriffsmuster in Adressen oder Parameter einbauen (SQL, ../, <script>)
• Adressen erfinden: Außer den unten genannten Standardadressen ruft er nur Adressen ab, die er in Links, Sitemaps und Weiterleitungen gefunden hat
• Ihre Inhalte für eine Suchmaschine, für KI-Training oder zum Verkauf sammeln
• die robots.txt ignorieren: Ein Disallow für IVskiBot ist endgültig

Der einzige POST, den IVskiBot überhaupt sendet, geht an die Chrome-UX-Report-API von Google unter chromeuxreport.googleapis.com, eine API, die Ladezeiten echter Nutzer einer geprüften Website liefert. Er geht nie an Ihren Server.

Ist das wirklich IVskiBot?

Jeder kann IVskiBot in einen User-Agent schreiben. Tut eine Anfrage mit unserem Namen etwas aus der folgenden Liste, ist es nicht IVskiBot, sondern ein Skript, das sich mit unserem Namen tarnt, um harmlos zu wirken:

dig +short ivski.com A
dig +short ivski.com AAAA

Eine Fälschung ignoriert die robots.txt ohnehin. Sperren Sie sie deshalb über die IP-Adresse oder Ihre Firewall. Wenn Sie möchten, schreiben Sie uns an abuse@ivski.com, mit Uhrzeit, IP-Adresse und der Anfragezeile aus Ihrem Log.

Was ein Audit abruft

Dieser Abschnitt betrifft Websites, die wir prüfen: unsere eigenen und die, deren Betreiber ein Audit beauftragt haben. Verlinkte Websites erhalten nur die oben beschriebene Linkprüfung.

Außerhalb von HTTP

• ein TLS-Handshake auf Port 443: Zertifikat, Protokollversion, Ablaufdatum
• DNS-Abfragen: MX, SPF, DMARC, DKIM, CAA, DNSSEC
• ein kurzes Gespräch mit den Mailservern der Domain auf Port 25: EHLO, STARTTLS, QUIT. Es wird keine E-Mail gesendet.
• öffentliche Quellen, die Ihren Server nie berühren: Certificate-Transparency-Logs (crt.sh, Cert Spotter) für die Hostnamen der Domain, die RDAP-Registry für das Ablaufdatum der Domain und der Chrome UX Report von Google

Tempo und Grenzen

• standardmäßig mindestens 250 ms zwischen zwei Anfragen (höchstens 4 pro Sekunde) und höchstens 4 Anfragen gleichzeitig
• ein Crawl-delay in der robots.txt macht ihn langsamer, bis zu 30 Sekunden zwischen Anfragen
• bei 429 Too Many Requests oder 503 mit Retry-After wartet er so lange wie verlangt (bis zu einer Minute), wird für den Rest des Besuchs langsamer und versucht es höchstens zweimal erneut
• standardmäßig höchstens 1.000 Seiten und 2.000 Dateien pro Website, höchstens 10 Klicks tief ab der Startseite

Browser-Prüfung

Auf einer geprüften Website kann IVskiBot zusätzlich einige Seiten in einem Headless-Chrome öffnen, um sie so zu sehen wie ein Erstbesucher: Ladezeit (Core Web Vitals), Barrierefreiheit, Bedienung per Tab-Taste, Screenshots in Desktop- und Smartphone-Größe und das Cookie-Banner. Erfasst wird, was vor der Einwilligung lädt; dann klickt sie auf Ablehnen und erfasst, was danach noch lädt.

Dieser Besuch verwendet den normalen Chrome-User-Agent, nicht IVskiBot, weil viele Cookie-Banner Bots gar nicht angezeigt werden. Die Skripte der Seite laufen wie in jedem Browser; Anfragen, die sie senden, stammen also aus dem Code der Seite selbst. Die Browser-Prüfung läuft nie auf Websites, die nur verlinkt sind, und auch nicht, wenn die robots.txt IVskiBot von der Startseite fernhält.

User-agent: IVskiBot
Allow: /

Audit-Berichte sind vertraulich. Sie bleiben bei IVski und dem Betreiber der geprüften Website und werden nicht veröffentlicht.

Kontakt

Fragen zu IVskiBot, eine Beschwerde oder ein Audit Ihrer eigenen Website: abuse@ivski.com. IVskiBot wird von IVski betrieben, siehe Impressum.