Cześć,
Czy znacie jakiś dobry serwer z mocnym cpu i dużą przepustowością?
Obecnie korzystam z ovh ssd3 2x2ghz i 100mbs ale przy pobieraniu curl'em 60 stron zaczyna go mulić.. a potrzeby klienta stale rosną
0
0
wykonujesz te requesty asynchronicznie?? Jak nie, to tak rob :) I byc moze firewall jest na serwerze, z ktorego pobierasz dane - przez co spowalnia kazde kolejne requesty, ustawiajac tobie najnizszy piorytet.
0
bordeux napisał(a):
wykonujesz te requesty asynchronicznie?? Jak nie, to tak rob :) I byc moze firewall jest na serwerze, z ktorego pobierasz dane - przez co spowalnia kazde kolejne requesty, ustawiajac tobie najnizszy piorytet.
Różnie wykonuję, niektóre asynchronicznie, niektóre nie, taka specyfika kilka różnych skryptów węc nie da się tego połaczyć. Być może ten firewall jest w końcu to VPS, nie wiem jak to sprawdzić, bo nie za bardzo ogarnięty jestem w tych tematach.
Możecie coś poradzić, czy w ogóle VPS jest dobry pod scrapery?
0
bordeux napisał(a):
wykonujesz te requesty asynchronicznie?? Jak nie, to tak rob :) I byc moze firewall jest na serwerze, z ktorego pobierasz dane - przez co spowalnia kazde kolejne requesty, ustawiajac tobie najnizszy piorytet.
Różnie wykonuję, niektóre asynchronicznie, niektóre nie, taka specyfika kilka różnych skryptów węc nie da się tego połaczyć. Być może ten firewall jest w końcu to VPS, nie wiem jak to sprawdzić, bo nie za bardzo ogarnięty jestem w tych tematach.
Możecie coś poradzić, czy w ogóle VPS jest dobry pod scrapery?
0
https://shinsec.pl/porownanie-vps/
Tutaj znajdziesz porównanie VPS, a na dole masz kody rabatowe.
Ogólnie to szukaj serwera, w którym możesz w panelu zmienić jego parametry. Wtedy jak czegoś będzie brakowało możesz od razu zwiększyć.
0
Ja bym ci polecił https://corevps.pl
0
Z tego co się orientuje to w tym przypadku najważniejsze jest aby mieć dużo adresów IP, a pozostałe parametry są drugorzędne.
Nie wiem czy SEO hosting by się do tego nadawał, jak uważacie? Tam można mieć wiele adresów IP, chociaż nie wiem jakie skrypty można odpalać poza "standardem" (PHP, JS, itp.). Taki scraper raczej nie ściąga dużej ilości danych z jednego adresu, więc może by taki hosting "wyrobił" ?
0
a moze chmura?
https://www.oktawave.com/pl