Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- Docker
- AQE
- Spark Partitioning
- Dag
- Salting
- Speculative Execution
- Airflow
- colab
- Kubernetes
- KDT_TIL
- Spark 실습
- k8s
- Spark
- Spark Caching
- etl
- spark executor memory
- DataFrame Hint
- SQL
- 데이터 파이프라인
- Kafka
- aws
- off heap memory
- Spark SQL
- topic
- disk spill
- redshift
- 빅데이터
- CI/CD
- backfill
- mysql
Archives
- Today
- Total
목록데이터 과학자 (1)
JUST DO IT!
데이터 팀과 데이터 웨어하우스 - TIL230522
📚 KDT WEEK 8 DAY 1 TIL 데이터 팀 데이터 웨어하우스 🟥 데이터 팀 데이터 팀의 역할 신뢰할 수 있는 데이터를 바탕으로 부가 가치 생성 데이터를 고려한 결정이 가능하도록 돕는다 ex) 대시보드, 리포트 생성 데이터를 기반으로 사용자 서비스 개선 가능 ex) 알고리즘을 통한 추천 기능 데이터 팀의 발전 1. 데이터 인프라(ETL + 데이터 웨어하우스) 구축 : 데이터 엔지니어 데이터 웨어하우스(OLAP) 회사에 필요한 모든 데이터를 모아놓은 중앙 DB 소규모일경우에는 그냥 프로덕션 DB로 대체 데이터 웨어하우스의 구축이 진정한 데이터 팀의 첫 번째 스텝 면접 질문에서 사용하는 데이터 웨어하우스의 기술을 물어봐도 좋음. ETL(Extract, Transform, Load) = 데이터 파이프라..
TIL
2023. 5. 22. 22:14