iDir posiada system cron sprawdzający status każdego umieszczonego w katalogu wpisu. Sprawdzany jest wyłącznie nagłówek odpowiedzi:
- w przypadku statusu 200 OK strona jest przepuszczana
- w przypadku statusu 301 lub 302 Redirect sprawdzana jest trasa przekierowań (max. 5), jeśli nie kieruje do serwisów parkujących (np. aftermarket) strona jest przepuszczana
- w przypadku statusu 4xx-5xx strona jest dezaktywowana
Niestety, czasami zdarza się sytuacja w której strona w przeglądarce na request użytkownika odpowiada prawidłowym statusem 200 OK, a dla bota wysyłającego request z serwera na którym umieszczony jest katalog odpowiada 403 Forbidden. Przyczyn takiego stanu rzeczy może być kilka:
- serwer strony blokuje adres IP katalogu
- serwer strony blokuje wszystkie User-Agent spoza whitelisty
- serwer strony uznaje pozostałe elementy nagłówka requesta za podejrzane
Nie ma technicznego sposobu aby obejść te problemy z poziomu aplikacji iDir bez użycia proxy. To właściciel wpisu musi skonfigurować swój firewall aby przepuszczał bota sprawdzającego z iDir. Aby ułatwić ten proces, bot posługuje się określonym User-Agent zawierającym rodzaj aplikacji, jego wersję oraz host katalogu np:
iDir v1.1.3 demo.idir.intelekt.net.pl