Adattárház fejlesztő (elosztott adatfeldolgozás és Data Lakehouse)

Hely: Budapest
Cég: Pillér Nonprofit Kft
Kategória: IT programozás, Fejlesztés

Nagyméretű adatkészletek feldolgozását és elemzését támogató megoldások fejlesztése, Adatintegrációs, ETL/ELT- és adattranszformációs folyamatok kialakítása és optimalizálása, Data Lakehouse architektúrához kapcsolódó adatkezelési és feldolgozási megoldások fejlesztése, Python-alapú adatfeldolgozó és elemző algoritmusok készítése és optimalizálása, Párhuzamos és elosztott számítási technológiák alkalmazása, SQL-lekérdezések, adatfeldolgozási folyamatok teljesítményének vizsgálata és optimalizálása, Kutatói és fejlesztői környezetekhez kapcsolódó szolgáltatások integrációja, Fejlesztések tesztelése, dokumentálása és reprodukálhatóságának biztosítása. Magabiztos Python-programozási ismeretek és gyakorlati fejlesztői tapasztalat, Erős SQL-tudás, összetett lekérdezések készítése és lekérdezésoptimalizálási szemlélet, Linux-alapú fejlesztői környezet önálló használata, Git-alapú verziókezelés ismerete, Nagy adatmennyiségek kezelésével kapcsolatos alapelvek és teljesítményszempontok ismerete, Gyakorlati tapasztalat legalább az egyik szakterületen: adatmérnöki feladatok, adatintegráció, ETL/ELT, adattárházi vagy Data Lakehouse megoldások; adatfeldolgozó, elemző vagy párhuzamosítható algoritmusok fejlesztése. Önálló problémamegoldási képesség, rendszerszemlélet és új technológiák elsajátítására való nyitottság. Apache Spark vagy Ray ismerete, Parquet, Apache Iceberg, Trino, S3-kompatibilis objektumtárolók használata, PostgreSQL, Oracle vagy más nagy adatbázisrendszerrel szerzett tapasztalat, Pandas, NumPy és további Python-adatfeldolgozó könyvtárak ismerete, Docker, Kubernetes vagy Jupyter-alapú környezetekkel szerzett tapasztalat, Gépi tanulási vagy statisztikai elemzési feladatokban való részvétel, Elosztott feldolgozási rendszerek teljesítményoptimalizálásában szerzett gyakorlat. Kiszámítható és versenyképes bérezés, béren kívüli juttatások (premizálási rendszer, cafeteria, képzések támogatása stb.), Színvonalas szakmai feladatok és folyamatos tanulási és szakmai fejlődési lehetőség, Barátságos és modern munkakörnyezet, támogató munkahelyi légkör és kitűnő megközelíthetőség, Magasan kvalifikált szakembergárdába történő beilleszkedés lehetősége, Hibrid munkavégzés (heti 2 nap Home Office lehetőség), Helyben üzemeltetett, nyílt forráskódú technológiákra épülő kutatási és adatfeldolgozási infrastruktúra, Data Lakehouse és elosztott számítási megoldások fejlesztése, Lehetőség a két fő szakterület közötti szakmai fejlődésre, Hosszabb távon bekapcsolódási lehetőség MLOps, AI/LLM-alapú szolgáltatások, fejlettebb adatirányítási és lakehouse-megoldások kialakításába.

Címkék: Középiskola

profession.hu - kb. 7 órája

További információ és jelentkezés