Abstrakt
Databricks to popularne rozwiązanie umożliwiające tworzenie zaawansowanych platform danych. Jedną z jego głównych zalet jest możliwość budowy procesu ETL (Extract, Transform, Load) przy użyciu języków programowania, takich jak Python czy Scala, co pozwala zespołom projektowym na ustalenie dobrych praktyk już na wczesnym etapie rozwoju platformy. Niektóre z nich są opisane na oficjalnym blogu Databricks i są natywnie wspierane przez platformę. Funkcjonalności, takie jak integracja z repozytorium kodu czy możliwość rozwoju kodu w lokalnym środowisku programistycznym (IDE), nie tylko ułatwiają pracę, ale również pozwalają tworzyć niezawodne rozwiązania, oparte na sprawdzonych praktykach z software engineeringu. Na sesji zaprezentuję możliwości, jakie daje rozwijanie kodu dla Databricks w środowisku Visual Studio Code (VS Code). Pokażę przykłady implementacji testów jednostkowych oraz możliwości importowania modułów bez konieczności uruchamiania dodatkowego notebooka. Dzięki tym funkcjonalnościom zespoły projektowe będą mogły szybciej i efektywniej tworzyć, testować i zarządzać swoimi rozwiązaniami opartymi na platformie Databricks.