Jakie technologie do projektu

Hej!

Chciałem skorzystać z pewnego API, jednak okazało się to dosyć drogim rozwiązaniem. Powiedzmy, że chodzi o wyniki zakończonych meczy.
Pomyślałem, że mógłbym napisać aplikację, która co określony czas odwiedza inną stronę (na której znajdują się dane, których potrzebuje), wyciąga z niej informacje których potrzebuję. I potem być może też zrobić w oparciu o te dane, aktualizowane na bieżąco, własne API (do celów własnych). Potrzebowałbym jakiś serwer, na którym by ten skrypt mógłby być uruchamiany co określony czas.
Czy robienie czegoś takiego jest sensowne? Jeśli tak, to jakich technologii byście do tego użyli? Do tej pory nie miałem do czynienia z serwerami. Chętnie nauczyłbym się jak wykonać taką aplikację w poleconych przez was technologiach.

Pobranie zawartości strony i jej sparsowanie to z reguły nie jest jakieś wielkie halo. Myślę, że python jest do tego dość dobrym rozwiązaniem — jest tam trochę bibliotek do tego. Niestety, ale twórcy nie lubią, jak ich strony są czytane przez roboty i to blokują. Jak będziesz pobierał zawsze z tego samego IP, to na 100% cie zablokują. Możesz poszukać jakiegoś rozwiązania, które pomoże to obejść, ale należałoby się zastanowić czy nie lepiej zapłacić za to API.

https://www.football-data.org/ daje darmowe API wystarczające, żeby coś zacząć robić
teraz znalazłem jeszcze: https://www.api-football.com/

@Tomek Pycia:
Dzięki za odpowiedź. Niestety ale średnie ceny to ok. 100 dolarów za miesiąc. Jak do aplikacji na której nie zamierzam nawet nigdy zarobić grosza, to pomysł odpada :/ Jeszcze zapytam, jakie technologie prócz pythona? Chodzi mi konkretnie o wywoływanie na serwerze tego skryptu. Czy to już kwestia napisania skryptu w bash na serwerze linuksowym? Myślę, że postaram się poszukać jakiegoś rozwiązania. Nawet jak nie wypali to zawsze jakaś wiedza mi zostanie

@danek
Chodzi o futbol amerykański, ligę NFL

Robisz skrypt w Pythonie, odpalasz na cronie na serwerze i ładujesz dane do bazy (https://medium.com/@gavinwiener/how-to-schedule-a-python-script-cron-job-dea6cbf69f4e).

Jeśli strona nie wyraża zgody na pobieranie danych z ich strony - taka operacja może być nielegalna.
Nie możesz po prostu napisać skryptu, który scrapuje dane ze stron internetowych i potem w swojej aplikacji to wykorzystywać

Myślę, że to raczej problemu dla mnie nie stanowi :) Aplikacja co najwyżej będzie tylko przeze mnie używana, bardziej tutaj chodzi o kwestię edukacyjną. Wpadłem na pomysł, byłem ciekaw jak to zrealizować i teraz to zrealizuję. Żadnych korzyści materialnych. Poza tym to tylko wyniki meczów, nie żadna własność intelektualna. Ponadto mowa tutaj o ok. 15 "pobraniach" na tydzień. I oczywiście chodzi mi o kwestie moralne, bo wiem, że prawnie to wciąż może być różnie interpretowane, jednak skala tego "przedsięwzięcia" pozwala mi się nie martwić.

Lepiej, pewniej i łatwiej znaleźć jakieś darmowe API do tego.