Szukam najlepszego i zarazem najbardziej optymalnego rozwiązania, które pozwoli śledzić mi wszelkie zmiany na ściśle określonej stronie internetowej.
Ogólnie kilka razy w ciągu minuty dodawane są na niej nowe wpisy. Zależy na jak najszybszym odnotowaniu takiego newsa i wykonanie akcji z nim związanego.
Pobieranie kodu strony co parę sekund i porównywanie jego wagi z uprzednio popranym chyba nie jest najbardziej optymalnym rozwiązaniem?
Ma ktoś jakiś pomysł jak to efektywniej zrobić?
Jeśli strona nie oferuje żadnego API czy RSS, nie ma innej możliwości.
Nie ma api ani RSS.
Szablon jest ciągle taki sam. Pojawiają się po prostu nowe wpisy.
Może jakoś po dacie newsa? Ale tak czy inaczej trzeba chyba cały html pobrać, żeby go później porównać.
Jak kilka razy w ciągu minuty się pojawia i chcesz to ogarniać poprzez skan strony to szybka droga do banicji IP :)
Jedyną opcją jest pobieranie i parsowanie całej strony.
Popatrz na przykład na phpQuery i inne parsery.
Chyba, że w tle leci jakiś XHR i sprawdza nowe wiadomości - wtedy będzie łatwiej. Może też mają wpięty socket, wtedy trzeba prześledzić ruch sieci i coś może da się "wyskrobać". Jeżeli nie mają, to najpierw napisz sobie bota który Ci będzie pobierał darmowe proxy.