Tag: user agent

iDir idzie z duchem czasu i wraz z aktualizacją v11.0.0 wprowadza obsługę OpenAI ChatGPT. Pełna lista zmian:

• dodano generator treści AI umożliwiający użytkownikom automatyczne wypełnienie opisu strony, tagów oraz kategorii w formularzu dodawania wpisów przez AI
• dodano generator miniaturek po stronie serwera. Posiadacze serwerów VPS lub dedykowanych mogą generować miniaturki samodzielnie bez konieczności korzystania z usługi PagePeeker
• dodano możliwość zdefiniowania własnej listy user-agentów oraz proxy-serverów dla funkcji sprawdzania backlinków oraz statusu 200 co powinno zmniejszyć odsetek serwerów blokujących boty sprawdzające. Problem był opisywany szerzej na blogu.

Aktualizacje można sprawdzić "na żywo" w wersji demonstracyjnej.

Procedura aktualizacji dostępna jest w dokumentacji.

iDir posiada system cron sprawdzający status każdego umieszczonego w katalogu wpisu. Sprawdzany jest wyłącznie nagłówek odpowiedzi:

• w przypadku statusu 200 OK strona jest przepuszczana
• w przypadku statusu 301 lub 302 Redirect sprawdzana jest trasa przekierowań (max. 5), jeśli nie kieruje do serwisów parkujących (np. aftermarket) strona jest przepuszczana
• w przypadku statusu 4xx-5xx strona jest dezaktywowana
  

Niestety, czasami zdarza się sytuacja w której strona w przeglądarce na request użytkownika odpowiada prawidłowym statusem 200 OK, a dla bota wysyłającego request z serwera na którym umieszczony jest katalog odpowiada 403 Forbidden. Przyczyn takiego stanu rzeczy może być kilka:

• serwer strony blokuje adres IP katalogu
• serwer strony blokuje wszystkie User-Agent spoza whitelisty
  
• serwer strony uznaje pozostałe elementy nagłówka requesta za podejrzane

Nie ma technicznego sposobu aby obejść te problemy z poziomu aplikacji iDir bez użycia proxy. To właściciel wpisu musi skonfigurować swój firewall aby przepuszczał bota sprawdzającego z iDir. Aby ułatwić ten proces, bot posługuje się określonym User-Agent zawierającym rodzaj aplikacji, jego wersję oraz host katalogu np:

iDir v1.1.3 demo.idir.intelekt.net.pl