Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | ||||
| 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| 11 | 12 | 13 | 14 | 15 | 16 | 17 |
| 18 | 19 | 20 | 21 | 22 | 23 | 24 |
| 25 | 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- mysql
- 빅데이터
- Kubernetes
- Airflow
- Spark Caching
- Salting
- AQE
- 데이터 파이프라인
- SQL
- Docker
- k8s
- Speculative Execution
- Spark
- backfill
- aws
- etl
- KDT_TIL
- Spark 실습
- CI/CD
- topic
- Dag
- redshift
- disk spill
- colab
- Kafka
- DataFrame Hint
- Spark SQL
- spark executor memory
- Spark Partitioning
- off heap memory
Archives
- Today
- Total
목록Incremental Update (1)
JUST DO IT!
Yahoo finance API 사용해서 Airflow DAG 만들어보기 - TIL230607
📚 KDT WEEK 10 DAY 3 TIL Yahoo finance API Airflow DAG 코드 구현 Full Refresh 방식 구현 Incremental Update 방식 구현 Yahoo finance API를 사용하여 Airflow ETL 구현하기 먼저 Yahoo finance API를 사용하려면 yfinance 모듈을 다운로드받아야한다. 나는 Airflow를 도커 환경에서 사용하고 있으므로 도커에 설치를 해주었다. docker ps # Airflow scheduler의 Container ID를 확인하자 docker exec -it SchedulerContainerID sh # 찾은 scheduler의 Container ID를 입력해서 접속한다. # airflow 접속 후 pip install..
TIL
2023. 6. 8. 16:58