Tag: user agent

Dlaczego działające strony zostają dezaktywowane z powodu błędnego statusu?

Opublikowano: 3 tygodnie 1 dzień temu Autor: admin

iDir posiada system cron sprawdzający status każdego umieszczonego w katalogu wpisu. Sprawdzany jest wyłącznie nagłówek odpowiedzi:

  • w przypadku statusu 200 OK strona jest przepuszczana
  • w przypadku statusu 301 lub 302 Redirect sprawdzana jest trasa przekierowań (max. 5), jeśli nie kieruje do serwisów parkujących (np. aftermarket) strona jest przepuszczana
  • w przypadku statusu 4xx-5xx strona jest dezaktywowana

Niestety, czasami zdarza się sytuacja w której strona w przeglądarce na request użytkownika odpowiada prawidłowym statusem 200 OK, a dla bota wysyłającego request z serwera na którym umieszczony jest katalog odpowiada 403 Forbidden. Przyczyn takiego stanu rzeczy może być kilka:

  • serwer strony blokuje adres IP katalogu
  • serwer strony blokuje wszystkie User-Agent spoza whitelisty
  • serwer strony uznaje pozostałe elementy nagłówka requesta za podejrzane

Nie ma technicznego sposobu aby obejść te problemy z poziomu aplikacji iDir bez użycia proxy. To właściciel wpisu musi skonfigurować swój firewall aby przepuszczał bota sprawdzającego z iDir. Aby ułatwić ten proces, bot posługuje się określonym User-Agent zawierającym rodzaj aplikacji, jego wersję oraz host katalogu np:

iDir v1.1.3 demo.idir.intelekt.net.pl