강의 계획서
데이터를 정해진 시간에 맞춰 자동으로 수집하고 처리하는 워크플로 자동화(Airflow)의 기초부터 실습까지 배워보는 강의입니다.
[어떤 것을 배우나요?]
•
가장 대표적인 자동화 도구인 에어플로우의 핵심 개념과 작동 원리 익히기
•
도커 기반 환경에서 작업 순서를 짜고 흐름을 자동으로 관리하는 방법 배우기
•
API에서 데이터를 가져와 데이터베이스나 클라우드에 자동으로 쌓아주는 파이프라인 만들기
어떤 사람에게 추천하나요?
[이런 분께 추천합니다]
•
반복되는 데이터 수집·처리 작업을 원하는 시간에 자동으로 실행되도록 시스템화하고 싶으신 분
•
실무에서 널리 쓰이는 에어플로우(Airflow)를 기초부터 차근차근 실습해보고 싶으신 분
•
선행 요구 역량: 파이썬 기초, 기본 명령줄(CLI) 사용 경험, SQL 기본 개념을 알고 계시면 수강이 훨씬 수월합니다.
신청 전 확인하기!
•
실습 프로그램(Airflow)을 원활하게 돌리기 위해 컴퓨터 메모리(RAM)가 최소 8GB 이상이어야 합니다.
•
개인 PC에 도커(Docker) 설치가 필요합니다. (설치 과정은 수업 시간에도 함께 다룹니다!)
커리큘럼 (16주차)
1주차 | Apache Airflow 기초 개념 안내 |
2주차 | Docker 핵심 개념 이해 |
3주차 | Docker 컨테이너 생성 및 관리 실습 |
4주차 | Airflow 실행 환경 구성 및 UI 기본 기능 학습 |
5주차 | DAG의 기본 구조와 실행 흐름 작성 |
6주차 | Airflow 설정값과 외부 연결 정보를 관리 |
7주차 | .PythonOperator 파라미터 전달 |
8주차 | 오퍼레이터 간 데이터 전달(XCom) |
9주차 | BranchPythonOperator 활용 |
10주차 | TaskFlow API 기본 활용 |
11주차 | Airflow 설정값과 외부 연결 정보 관리 |
12주차 | API 조회 기반 데이터 수집 |
13주차 | 데이터베이스 작업 처리 |
14주차 | Hook 개념과 기본 활용 |
15주차 | 클라우드 서비스 대상 작업 |
16주차 | Airflow 기반 데이터 파이프라인 개발 |