Gdzie się przebranżowić z web developera

Cześć,
od 3 lat mam przyjemność pracować jako web java developer.
Obserwując rynek boję się o swoją przyszłość: coraz większa konkurencja i wymagania są coraz wyższe.

Chciałbym się wyspecjalizować w czymś bardziej przyszłościowym, ale nie wiem w czym. Chmury? Devops? Big Data? ETL?

Załóżmy, że podjąłbym ryzyko i chciał pójść np. w Data Engineering, bo brzmi modnie. Domyślam się, że to coś związanego z ETL / ELT / Big Data. Popracowałbym sobie w tym z rok po to by przekonać się czy to jest coś fajniejszego i po tym roku został w tym lub spróbował następnej działki.

Proszę bardzo, mamy 2 takie fajne oferty:
https://www.pracuj.pl/praca/data-engineer-warszawa,oferta,1000915071?s=21f650d8
https://www.pracuj.pl/praca/data-engineer-katowice,oferta,1000897588?s=21f650d8

Co zrobić by załapać się na Data Engineer skoro wszędzie wymagane jest już doświadczenie jako Data Engineer?
Nie mogę sobie pozwolić na staż za pół darmo, bo mam kredyt hipoteczny.

Chciałbym by specjalizacja w 1 obszarze otwierała nowe ścieżki do nowych obszarów. Tymczasem w Polsce działa to tak, że jak już wejdziesz w 1 specjalizację to musisz w tym pracować do końca albo zacząć znów od nowa w innej.

Jak chcesz zmienić działkę to najprościej jest załapać się do zespołu który blisko współpracuje z zespołem data i zrobić sobie skok w bok. Jeśli jesteś w miarę ogarnięty jeśli chodzi o infrastrukturę o wiele łatwiej skoczyć w jakąś rolę typu devops albo SRE, dużo więcej zespołów produkuje sterty yamla niż pracuje nad pipelineami do danych. Minus jest taki że możesz zostać małpą od yamla.

Nigdzie Web jest fajny.

czym jest właściwie ETL, że opisujesz je jako przyszłościowe?

In computing, extract, transform, load (ETL) is the general procedure of copying data from one or more sources into a destination system which represents the data differently from the source(s) or in a different context than the source(s). The ETL process became a popular concept in the 1970s and is often used in data warehousing.[1]

bo z opisuje brzmi to jak jeszcze bardziej murzyńska robota niż CRÓDing

A nie myślałeś o przejsciu na fachowca? Coraz mniejsza konkurencja ludzie nie chcą robić fizycznie, a kasa praktycznie taka sama jak nie większa z tego co ludzie gadają.

Nie wyobrażam sobie bardziej żmudnej roboty w IT niż robienie ETL. Big Data moim zdaniem to buzz word, wszyscy o tym mówią, nikt nie widział (przesadzam jedynie odrobinkę). Chmura to coś gdzie jest ogromne ssanie w tej chwili, jedynie banki jeszcze siedzą na własnej infrastrukturze. Nawet military i gov przeniosły się do chmury (własnej, ale jednak). Ogarnięty chmurowy devops zarobi teraz więcej niż senior whatever developer.

Dell Boomi, Salesforce, SAP, AWS DevOps, Mulesoft, Google GCP DevOps, Azure DevOps, ETL, Appian, Anaplan itd (pełno tego jest)

w każdym z tych z powyższych zawodów zarabia się o zwykle więcej niż zwykły Java Dev, a masz też większą gwarancję że praca Twoja może się pokrywać często z tym co będziesz robić w kolejnej firmie, co w przypadku Java Developera jest raczej mało prawdopodobne przez co nie musisz się tak dokształcać kosztem wolnego czasu

Witam,
Po pierwsze jest tak jak mówił kolega wyżej, web development jest sporo ciekawszy niż big Data. Ale moim zdaniem na systemy rozproszone jest większe zapotrzebowanie i lepsze pieniądze(na razie),
Chmura/ETL/BigData/devopsowanko to nie są różne dziedziny, to wchodzi w skład pracy bigdejtowca(one man army troche). Teraz nie ma big daty bez chmur i nie ma big daty bez ETL.(No chyba że jakis archaiczny system bare metal, albo systemy bankowe).Jak jesteś javka to masz już dobry start.
Przysiadasz do nauki Hadoopa, uczysz się czym jest HDFS, jak działa Yarn, Trochę podstaw jakichś componentow np. Ooziego, hive,impala. Żeby mieć minimalne pojęcie, jak działają takie rozproszone platformy. Do tego dobrze wiedzieć czym jest S3 na aws, bo tam się często przechowuje sie dane. Nie tylko na hdfs.
Zaznajomic się ze scala(java na sterydach) i liznac temat Sparka, lub PySparka.
I można powiedzieć, że śmiało wtedy możesz atakować na pozycję big data engineer.
Ja nie zajmuje się ML, więc w tym temacie się nie wypowiem, ale często się pojawia.
To są podstawy, które wystarcza żeby dostać pracę, serwisow różnego rodzaju jest tryliard więcej, ale baza jest w większości ta sama.
Ja przyszedłem do projektu gdzie jest apache nifi i airflow, a wczesniej nigdy z tym nie pracowalem, nie da sie znac wszystkiego.

Na rekrutacjach padają pytania typu:
Jak działa hdfs, coś o yarnie, jak działa spark(transformacie, akcje i inne takie)
Pytają o Hive,Impale(czasami) ale turbo podstawy.
Formaty danych: Avro,parquet..
Dość sporo pytań z samej javy i sql'a np. window functions.
Moga ze scali lub pythona wypytac.
Napisać jakiś prosty algorytmik z javy.
Nie trzeba być mistrzem tego wszystkiego, ale wiedzieć że jest takie coś i potrafić cos o tym powiedzieć.

Miałem kilka rozmowy do różnych firm, wszędzie pytali w większości o to samo.

Polecam ta książkę, znajdziesz w necie pdf.
https://helion.pl/ksiazki/hadoop-komplety-przewodnik-analiza-i-przechowywanie-danych-tom-white,hadoop.htm#format/e

Trochę chaotycznie, ale sens przekazałem:D
Jakbyś miał wiecej pytań to śmiało.