Szkolenie: Python w inżynierii danych – automatyzacja procesów, SQL, Pandas, PySpark i pipeline’y w Databricks

- Termin
- 05-15.12.2026
- Miejsce
- Online
- Zapisy do
- 16.11.2026
Zapisy na ten termin są zakończone.
Czego się nauczysz
- Opisuj proces tworzenia skryptu Python automatyzujące procesy przetwarzania danych.
- Opisuje wykorzystanie bibliotekę Pandas do transformacji danych.
- Opisuje nawiązanie połączenia z bazą danych z poziomu Pythona.
- Tworzy skrypty automatyzujące proces ETL/ELT.
- Rozróżnia zastosowanie Pandas i PySpark w procesach przetwarzania danych.
- Charakteryzuje procesy przetwarzania danych w środowisku Databricks.
- Opisuje sposób monitorowania i optymalizacji procesu przetwarzania danych.
Dla kogo
Szkolenie skierowane jest do osób zajmujących się ( zawodowo lub prywatnie) przetwarzaniem, analizą, integracją lub automatyzacją procesów związanych z danymi, w szczególności osób pracujących z bazami danych, raportowaniem, procesami ETL/ELT oraz rozwiązaniami chmurowymi.
Program
26 hProgram szkolenia jest dostosowany do potrzeb uczestników usługi oraz głównego celu usługi i jej charakteru oraz obejmuje zakres tematyczny usługi. Uczestnik nie musi spełniać dodatkowych wymagań dot. poziomu zaawansowania.
Usługa prowadzona jest w godzinach dydaktycznych. Przerwy nie są wliczone w ogólny czas usługi rozwojowej. Harmonogram usługi może ulec nieznacznemu przesunięciu, ponieważ ilość przerw oraz długość ich trwania zostanie dostosowana indywidualnie do potrzeb uczestników szkolenia. Łączna długość przerw podczas szkolenia nie będzie dłuższa aniżeli zawarta w harmonogramie.
Zajęcia zostaną przeprowadzone przez ekspertów z wieloletnim doświadczeniem, którzy przekazuje nie tylko wiedzę teoretyczną, ale także praktyczne wskazówki i najlepsze praktyki. Uczestnicy mają możliwość czerpania z jego wiedzy i doświadczeń.
Szkolenie będzie realizowane zdalnie w czasie rzeczywistym za pomocą platformy ,umożliwiającej aktywny udział uczestników w warsztatach i ćwiczeniach grupowych.
Szkolenie realizowane jest przez platformę umożliwiającą:
- udostępnianie ekranu,
- czat, komunikację audio-wideo,
- współdzielenie materiałów i plików,
- interaktywną prezentację kodu i analiz danych.
_______________________________________________________________________________________________________________________
Przed dokonaniem zapisu i złożeniem karty uczestnictwa do Operatora, zachęcamy do kontaktowania się z nami telefonicznie, SMS-em lub e-mailem pod adresem/numerem wskazanym w zakładce „Kontakt”.
Pozwoli to potwierdzić dostępność miejsca w grupie szkoleniowej oraz rozwiać ewentualne wątpliwości.
_______________________________________________________________________________________________________________________
Podział szkolenia:
- Teoria: 18 h
- Praktyka: 36 h
- Walidacja 1 h
Moduł 1. Python w automatyzacji procesów danych – (4 godz. 2t,2p)
- struktura skryptów Python wykorzystywanych w procesach danych,
- praca z plikami i katalogami,
- automatyczne wyszukiwanie i pobieranie plików,
- odczyt i zapis plików Excel,
- walidacja i kontrola poprawności danych,
- obsługa błędów i wyjątków,
- automatyzacja powtarzalnych operacji,
- przygotowanie skryptu automatycznie pobierającego dane z Excela i przekazującego je do dalszego przetwarzania.
Ćwiczenie: automatyzacja procesu „Excel → Python → baza danych”.
Moduł 2. Pandas – przygotowanie i transformacja danych –(4 godz. 2t,2p)
- DataFrame i Series,
- import danych z Excel/CSV/SQL,
- filtrowanie, sortowanie i wybieranie danych,
- czyszczenie danych,
- obsługa brakujących wartości,
- zmiana typów danych,
- łączenie i agregowanie zbiorów danych,
- przygotowanie danych do załadowania do bazy,
- automatyzacja transformacji danych za pomocą skryptów Python.
Ćwiczenie: przygotowanie surowego pliku Excel do załadowania do bazy danych.
Moduł 3. Python i SQL – skrypty bazodanowe – (4 godz. 2t,2p)
- podstawy pracy z bazą SQL z poziomu Pythona,
- nawiązywanie połączenia z bazą,
- wykonywanie zapytań SQL,
- SELECT, INSERT, UPDATE, DELETE,
- tworzenie i modyfikacja tabel,
- parametryzowanie zapytań,
- ładowanie danych z DataFrame do SQL,
- pobieranie danych SQL do Pandas,
- kontrola poprawności załadowanych danych,
- obsługa błędów i logowanie operacji.
Ćwiczenie: stworzenie skryptu automatycznie pobierającego dane z Excela, przetwarzającego je i zapisującego do tabeli SQL.
Moduł 4. PySpark – przetwarzanie dużych zbiorów danych – (6 godz. 2t,4p)
- architektura Apache Spark i rola PySpark,
- Spark DataFrame,
- odczyt danych,
- selekcja i filtrowanie,
- transformacje danych,
- join, groupBy i agregacje,
- obsługa brakujących wartości,
- typowanie i konwersja danych,
- różnice pomiędzy Pandas i PySpark,
- kiedy wykorzystać Pandas, a kiedy PySpark,
- optymalizacja podstawowych operacji.
Ćwiczenie: przetworzenie większego zbioru danych przy wykorzystaniu PySpark.
Moduł 5. Pipeline’y danych w Databricks – (3,5 godz., 1t, 2,5)
- środowisko Databricks i organizacja pracy,
- notebooki Python i PySpark,
- przygotowanie procesu ETL/ELT,
- pobieranie danych ze źródła,
- transformacja danych,
- zapis danych w warstwie docelowej,
- budowa pipeline’u danych,
- zależności pomiędzy poszczególnymi etapami,
- parametryzacja procesów,
- uruchamianie i monitorowanie pipeline’ów,
- obsługa błędów,
- podstawy automatyzacji cyklicznego przetwarzania danych.
Projekt końcowy:
Uczestnik tworzy kompletny proces:
Excel → Python → walidacja → Pandas → SQL/PySpark → transformacja → Databricks → tabela docelowa → pipeline automatyzujący cały proces.
Walidacja na podstawie dowodów i deklaracji uczestnika.
Terminy i miejsca
Wymagania techniczne
1. Sprzęt uczestnika:
- komputer lub laptop z systemem operacyjnym Windows 10 / 11, macOS lub Linux,
- procesorem co najmniej Intel i5 / Ryzen 5 lub równoważnym,
- pamięcią RAM: minimum 8 GB (zalecane 16 GB dla płynnej pracy z dużymi zbiorami danych),
- wolną przestrzenią dyskową: minimum 10 GB,
- stabilne łącze internetowe (min. 10 Mbps) – w przypadku zajęć zdalnych,
- aktualna przeglądarką internetową (Chrome, Edge, Firefox),
Obowiązkowe:
- Kamera:Uczestnik powinien posiadać działającą kamerę (wbudowaną w laptop/komputer lub zewnętrzną). Kamera umożliwia aktywny udział w sesjach, prezentację ćwiczeń grupowych oraz interakcję z prowadzącym.
- Mikrofon: Niezbędny jest sprawny mikrofon (wbudowany lub zewnętrzny, np. w zestawie słuchawkowym).Umożliwia zadawanie pytań, udział w dyskusjach i ćwiczeniach grupowych.
- Zalecane użycie słuchawek z mikrofonem, aby zredukować echo i poprawić jakość dźwięku.
2. Oprogramowanie:
Nie jest wymagane wcześniejsze przygotowanie środowiska programistycznego. Wszystkie niezbędne programy, dane i narzędzia zostaną przekazane przez trenera w trakcie trwania szkolenia.
W ramach zajęć uczestnicy będą korzystać z następujących narzędzi i środowisk :
- Python (najnowsza wersja),
- podstawowe biblioteki: pandas, numpy, matplotlib, sqlalchemy, pymongo, requests.
- SQLite / PostgreSQL / MySQL
- MongoDB (NoSQL)
- Power BI Desktop
3. Łącze internetowe:
- Minimum 10 Mbps download / 5 Mbps upload
- Stabilne połączenie bez dużych przerw i opóźnień
4. Środowisko pracy:
- Ciche miejsce do pracy i nauki
- Dostęp do powierzchni roboczej umożliwiającej komfortowe używanie komputera
- Możliwość dzielenia ekranu w trakcie sesji praktycznych i konsultacji
5. Środowisko szkoleniowe
Szkolenie realizowane jest przez platformę umożliwiającą:
- udostępnianie ekranu,
- czat, komunikację audio-wideo,
- współdzielenie materiałów i plików,
Prowadzący
Materiały
Prezentacja PDF przesłana po zakończonym szkoleniu. Materiały dodatkowe w tym dostęp do platformy LMS zostanie dostosowany do potrzeb uczestników
Warunki uczestnictwa
Warunkiem zdobycia certyfikatu potwierdzającego zdobyte kompetencje jest uzyskanie pozytywnego wyniku walidacji
Minimalny poziom frekwencji uczestnika na usłudze rozwojowej wynosi 80%.
Uczestnicy przyjmują do wiadomości, że usługa może być poddana monitoringowi z ramienia Operatora lub PARP i wyrażają na to zgodę.
Uczestnik ma obowiązek zapisania się na usługę przez BUR co najmniej w dniu zakończenia rekrutacji.
Informacje dodatkowe
Podstawa zwolnienia z VAT:
§ 3 ust. 1 pkt. 14 Rozporządzenia Ministra Finansów z dnia 20 grudnia 2013 r. w sprawie zwolnień od podatku od towarów i usług oraz warunków stosowania tych zwolnień - w przypadku dofinansowania w co najmniej 70%
Po szkoleniu
Numer usługi w BUR: 2026/10/05/22948/3858874 · Dane z Bazy Usług Rozwojowych
Podobne szkolenia
Informatyka i telekomunikacja · Programowanie