Termit, długo by tu pisać, więc napisze w skrócie
, że w pracy niedawno stoczyłem zaciętą walkę z takimi botami masowo "czołgającymi" naszą firmową stronę internetową. Był sobie bot podpisujący się "Googlebot" ...czyli jakby nie patrzeć najbardziej porządny bot świata
Ale moje podejrzenie wzbudził ruch jaki ten bot nam generuje na serwerze - transfer zjadało z tygodnia na tydzień jak smaczny tort. Godzinowa ilość odwiedzin była taka, że chyba na żadnym ogólnopolskim portalu nie ma
No i cóż się okazało... po dłuższym śledztwie ten bot okazał się w ogóle nie być Googlebot-em, a tylko się pod niego podszywał. Mało tego, podszywał się pod adres IP serwera Google, i jak się okazało właził nie z USA (jak to większość statystyk wykazywała) tylko z ...Tokio. Po zablokowaniu wszystkich źródeł z których wychodził sumaryczna ilość odwiedzin przez boty spadła z 450-500 na godzinę do kilku na dobę
Cel był prosty - ktoś sobie automatycznie podlinkowywał grafiki z naszej strony do swojej strony o podobnej tematyce, czyli za darmochę korzystał z naszego serwera, bo gdy klient wszedł na jego stronę, to treści otwierały się z jego serwera, ale już wszystkie obrazki z naszego - czyli na nasz koszt.
Tak więc boty służą do bardzo wielu różnych rzeczy...
Piszesz, że skoro bot jest tak inteligentny to nie powinien zostawić śladu - a no nie koniecznie, bo boty potrafią dziś pisać nawet 10-latkowie, a nie każdy potrafi stworzyć taki programik solidnie, tak żeby nie zostawiał po sobie śladów
Przykładem jest to co opisałem wyżej - ja bez żadnych specjalnych środków (nie potrzebowałem uprawnień dawanych przez ACTA
) wytropiłem co i dlaczego się dzieje z naszą firmową stroną.