Kurs i obuka – Databricks i Apache Spark — obrada podataka

Kurs je namenjen polaznicima koji žele da prošire znanja iz oblasti obrade velikih skupova podataka (big data), zaposlenima koji rade sa podacima, kao i osobama koje razmatraju profesionalni razvoj u ovom smeru. Veštine se mogu koristiti u obradi većih skupova podataka na distribuiranim platformama.

Preporučeno prethodno znanje: Osnovni Python i SQL; razumevanje relacijskih podataka.

Kroz nastavne celine polaznici će učiti:

• Spark i Databricks – Distribuirana obrada, workspace, cluster/compute, notebooks.
• DataFrame i Spark SQL – Učitavanje, transformacije, join, grupisanje i particije.
• Lakehouse i Delta – Parquet i Delta osnove, slojevi, transakcionalnost koncept.
• Performanse i tokovi – Lazy evaluation, shuffle, cache uvodno, jobs i raspored.
• Završni mini-pipeline – Kontrola kvaliteta, troškovi, dozvole i dokumentacija.

Ova znanja mogu doprineti efikasnijem radu u obradi većih skupova podataka na distribuiranim platformama. Posebno su korisna kada je potrebno obrada distribuiranih skupova podataka i izrada osnovnog pipeline-a. Obuka je početak ili dopuna profesionalnog razvoja, a ne zamena za višegodišnje radno iskustvo.

Individualna nastava (1 polaznik) traje 24 školska časa, mikro grupa (2–3 polaznika) 24 časa, a standardna grupna nastava (4 i više polaznika) 28 časova. Jedan školski čas traje 45 minuta. Nastava se može organizovati uživo ili online, uz praktične vežbe i odgovarajuće softversko okruženje.

Polaznik će moći da demonstrira obrađene radne postupke, izvede praktični zadatak iz programa i obrazloži rezultate. Kao završni proizvod predviđeno je: Predati obradu sa izveštajem o rezultatu. Nivo samostalnosti zavisi od predznanja i složenosti projekta.

1. Spark i Databricks – Distribuirana obrada, workspace, cluster/compute, notebooks. Praktičan rad: Pokrenuti prvi notebook nad demo podacima.
2. DataFrame i Spark SQL – Učitavanje, transformacije, join, grupisanje i particije. Praktičan rad: Obraditi skup podataka kroz Spark.
3. Lakehouse i Delta – Parquet i Delta osnove, slojevi, transakcionalnost koncept. Praktičan rad: Sačuvati rezultate u Delta tabeli.
4. Performanse i tokovi – Lazy evaluation, shuffle, cache uvodno, jobs i raspored. Praktičan rad: Uporediti dve strategije transformacije.
5. Završni mini-pipeline – Kontrola kvaliteta, troškovi, dozvole i dokumentacija. Praktičan rad: Predati obradu sa izveštajem o rezultatu.