강의 계획서
데이터를 수집하고 다루는 핵심 도구들을 배워 실무에서 쓰이는 데이터 파이프라인을 만들어보는 강의입니다.
[어떤 것을 배우나요?]
•
파이썬과 도커를 써서 깔끔한 개발 환경을 만드는 기초 체력 다지기
•
데이터베이스와 API를 연결해 필요한 데이터를 자동으로 수집하고 정리하는 방법 학습
•
대용량 데이터도 거침없이 다루는 Databricks와 Spark 기술을 경험하고 대시보드 시각화까지 완성
어떤 사람에게 추천하나요?
[이런 분께 추천합니다]
•
분석할 데이터를 빠르고 안정적으로 모아주는 '데이터 파이프라인'을 직접 만들어보고 싶으신 분
•
단순 데이터 처리를 넘어, 최신 데이터 엔지니어링 기술(Databricks, Spark)을 찍먹해보며 실무 감각을 키우고 싶으신 분
•
선행 요구 역량: 파이썬 기초 문법, pandas basic 사용법, 기본 SQL 개념은 알고 계시면 수강이 훨씬 수월합니다.
신청 전 확인하기!
•
실습을 위해 컴퓨터에 파이썬과 도커(Docker) 설치가 권장됩니다.
•
수업 중 다루는 Databricks 실습을 위해 미리 무료 계정(Free Edition)을 만들어주셔야 합니다.
커리큘럼 (16주차)
1주차 | 데이터 엔지니어링의 역할과 학습 흐름을 이해 |
2주차 | Python 가상환경 구성 및 활용 |
3주차 | Docker 핵심 개념 이해 |
4주차 | Docker 컨테이너 생성 및 관리 실습 |
5주차 | Python을 통한 데이터베이스 연결 - 1 |
6주차 | Python을 통한 데이터베이스 연결 - 2 |
7주차 | Python을 통한 API 호출 |
8주차 | Python Class 및 객체 지향 프로그래밍 기초 |
9주차 | 실전 데이터 파이프라인 개발 - 1 |
10주차 | 실전 데이터 파이프라인 개발 - 2 |
11주차 | 실전 데이터 파이프라인 개발 - 3 |
12주차 | Databricks 기초 이론 및 실습 |
13주차 | Apache Spark 기초 이론 |
14주차 | Apache Spark 코드 실습 (Databricks 기반) |
15주차 | Delta Lake 기초 이론 및 실습 |
16주차 | Databricks 시각화 대시보드 개발 실습 |