gdy Excel to za mało ....

Serdeczna proszę o poradę.
Nie mam kompletnie doświadczenia w profesjonalnym tworzeniu baz danych i potrzebuję wsparcia.
Firma, w której pracuję potrzebuje pracownika do przetwarzania danych. Dane pochodzą z wielu źródeł, różnych systemów, mają różne formaty itd. Dane należy "oczyścić", zbudować z nich bazy danych a następnie z tych danych przygotować zestawienia wg kryteriów klienta wewnętrznego. Obecnie do tego celu wykorzystujemy Excel (PQ) a gdy dane są już "czyste" - Access. Danych jest bardzo dużo i będzie coraz więcej. Wymieniliśmy sprzęt komputerowy na prawie gameingowy ale tworzenie raportów wg niektórych kryteriów (np. w Excelu z wykorzystaniem funkcji tablicowych) idzie opornie i nie zawsze kończy się sukcesem.

Chcemy zatrudnić osobę, która nam pomoże. Niestety nie wiem czym się kierować przy wyborze właściwego kandydata. Celem jest otrzymanie sprawnie działającego rozwiązania. Przełożenie naszych Ecxelowych funkcji na prostszy, szybszy, wygodniejszy i nie zawodny sposób. Kogo powinniśmy szukać programisty czy specjalisty od Big Data? Jakie umiejętności powinna taka osoba posiadać?

Będę wdzięczna za wszelkie wskazówki

Poszukajcie kogoś od power bi i będzie najłatwiej. Pytanie, co rozumiesz przez dużo danych? Może potrzeba inżyniera danych, żeby zrobił hurtownie danych. Trochę mało danych, żeby doradzać
Tak jeszcze dodam: to, że dane nie mieszczą wam się w Excelu nie oznacza, że macie Big Data. To jakie powinien umiejętności posiadać taki ktoś określa, z jakich źródeł będzie musiał pobierać dane (API, bazy danych, pliki ) i co ostatecznie z nimi zrobić.

Tu bardziej podstawową umiejętnością nowego pracownika powinno być ETL, i jako kolejna umiejętność może Power BI. Generalnie jak "Brzydal" mówi za mało informacji - ale z tego co piszesz to mowa tu o DataWarehouse zasilanego rożnymi danymi - przerobieniem ich - i wyplucie danych raportowych. Np do Accessa jak macie teraz. Także umiejętności:

1. ETL - do podlaczenia się do różnych źródeł i prawidłowego ich zaciagnięcia do Waszego magazynu danych
2. TSQL - do przerobienia już danych wejściowych w magazynie danych na interesujące Was raporty dla wew. użytkowników
3. PowerBI - jeśli chcecie jakieś fajne raporty ... ale jeśli dobrze zrobiony raport z interesującymi danymi w Accessie wystarczy to nie koniecznie to.

Edit: Tak sobie myślę teraz - że w sumie ktoś kto zna się na Power BI musi znać ETL więc właściwie to się zgadzam z @Uglyman bo to na 1 wychodzi :P

BlackBad napisał(a):

Edit: Tak sobie myślę teraz - że w sumie ktoś kto zna się na Power BI musi znać ETL więc właściwie to się zgadzam z @Uglyman bo to na 1 wychodzi :P

W zasadzie to nie do końca. Trochę to może iść ze sobą w parze ale nie jest powiedziane że ktoś kto zna Power BI, musi mieć pojęcie o procesach ETL.
Nie wiem tylko po co tworząc hurtownie danych, ładować z niej rekordy do accesa :) Zawsze można jeżeli ktoś nie ogarnia PowerBI to zagregować dane i wrzucić raport do Excela.

Chyba najważniejszą umiejętnością będzie SQL/T-SQL

To proste (w tym wypadku):

Po pierwsze primo - bo OP wspomniał, że już teraz tego używają - więc żeby zawęzić zmiany do tego co niezbędne wspomniałem, że dalej mogą używać do tego Accessa
Po drugie primo - bo mimo wszystko MS office jest "wszędzie" - i jest stosunkowo prosty do pobierania gotowych raportów danych z DW. Jasne można także pobierać do Excela - choć nie wiem jak tam sobie radzi z większą ilością danych.

I mimo wszystko ja bym się upierał, że najpierw ETL, a później TSQL. Bo co Ci da znajomość obróbki danych jak nie będziesz umiał ich najpierw pozyskać z różnych źródeł.

A co myślicie o tym aby poprosić o wsparcie jakąś firmę doradczą (na zlecenie lub o dzieło), która spojrzy na to co mamy i zrobi coś w rodzaju audytu, powie co dobrze robimy a w których miejscach warto zastanowić się nad zmianą podejścia... i w wyniku wyjdzie nam jakiego specjalisty i czy w ogóle potrzebujemy... lub jakie narzędzie jest nam potrzebne ...

enigma_a napisał(a):

A co myślicie o tym aby poprosić o wsparcie jakąś firmę doradczą (na zlecenie lub o dzieło), która spojrzy na to co mamy i zrobi coś w rodzaju audytu, powie co dobrze robimy a w których miejscach warto zastanowić się nad zmianą podejścia... i w wyniku wyjdzie nam jakiego specjalisty i czy w ogóle potrzebujemy... lub jakie narzędzie jest nam potrzebne ...

Moim zdaniem potrzebujecie kogoś w rodzaju CTO, Architekta (nie musi to być osoba na pełny etat) w swojej firmie, który pomoże wam oganiać takie rzeczy. Jak przyjdzie firma to ktoś z nimi będzie musiał pogadać, pokazać co maicie co chcecie, przygotować jakiś plan rozwoju.