Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- Spark
- Kafka
- aws
- Kubernetes
- Spark SQL
- etl
- 데이터 파이프라인
- Spark Partitioning
- CI/CD
- off heap memory
- backfill
- Spark Caching
- topic
- Docker
- Dag
- Spark 실습
- 빅데이터
- Speculative Execution
- disk spill
- k8s
- Airflow
- KDT_TIL
- mysql
- DataFrame Hint
- spark executor memory
- colab
- AQE
- SQL
- redshift
- Salting
Archives
- Today
- Total
목록container (1)
JUST DO IT!
Docker와 Docker File - TIL230519
📚 KDT WEEK 7 DAY 5 TIL AWS Lambda Docker Docker 명령어 Docker File Docker Port forwarding 🟥 AWS Lambda 별도의 서버없이 단순 함수만으로 어플리케이션으로 동작하는 서비스 특정 이벤트나 행위에 대해 프로그램 실행을 원할 때 사용 > 트리거에 특정 이벤트를 설정해서 Lambda가 작동하도록 구현한다. ex) S3의 데이터 전송마다 Lambda 작동 1. Lambda 함수 생성 2. S3 특정 버킷 설정 > 이벤트 알림 생성 > 객체 전송 이벤트에 체크 > 해당 Lambda 함수 설정 3. 해당 버킷에 파일이 새로 올라오면 Lambda 함수가 처리함에 따라 CloudWatch 로그에 기록됨 🟦 Docker 어플리케이션을 신속하게 구축, ..
TIL
2023. 5. 19. 22:22