Notice
Recent Posts
Recent Comments
Link
์ผ | ์ | ํ | ์ | ๋ชฉ | ๊ธ | ํ |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- SQL
- KDT_TIL
- mysql
- Spark Partitioning
- ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ
- ๋น ๋ฐ์ดํฐ
- Kubernetes
- Spark Caching
- etl
- redshift
- disk spill
- Spark
- Spark ์ค์ต
- AQE
- backfill
- Docker
- colab
- Spark SQL
- Kafka
- k8s
- aws
- Salting
- topic
- Dag
- Airflow
- CI/CD
- spark executor memory
- off heap memory
- DataFrame Hint
- Speculative Execution
Archives
- Today
- Total
JUST DO IT!
๋ฐ์ดํฐ ์นดํ๋ก๊ทธ - TIL230623(2) ๋ณธ๋ฌธ
๐ KDT WEEK 12 DAY 5 TIL
- ๋ฐ์ดํฐ ์นดํ๋ก๊ทธ
๐ฅ ๋ฐ์ดํฐ ์นดํ๋ก๊ทธ
๋ฐ์ดํฐ ์์ฐ์ ํจ์จ์ ์ธ ๊ด๋ฆฌํ๋ ํ๋ ์์์ด์, ๋ฐ์ดํฐ ์์ฐ ๋ฉํ ์ ๋ณด ์ค์ ์ ์ฅ์
๋ง์ ํ์ฌ๋ค์ด ๋ฐ์ดํฐ ์นดํ๋ก๊ทธ๋ฅผ ๋ฉ์ธ ๋ฐ์ดํฐ ๊ฑฐ๋ฒ๋์ค ํด๋ก ์ฌ์ฉํจ
๋ฐ์ดํฐ ์์ฐ : ํ ์ด๋ธ (๋ฐ์ดํฐ๋ฒ ์ด์ค), ๋์๋ณด๋, ๋ฌธ์/๋ฉ์์ง, ML ํผ์ณ, ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ... ๋ฑ๋ฑ
๋ฐ์ดํฐ ์นดํ๋ก๊ทธ์ ์ฃผ์ ๊ธฐ๋ฅ
- ์ฃผ์ ๋ฐ์ดํฐ ํ๋ซํผ ์ง์ : ์ฃผ์ DW, BI Tools, ELT์ ETL ํด ๋ฑ๋ฑ ๋๋ถ๋ถ์ ์ง์
- ๋น์ฆ๋์ค ์ฉ์ด์ง(Business Glossary)
- ์ฃผ์/๋ฌธ์/ํ๊ทธ ๋ฑ ํ์ ๊ธฐ๋ฅ
- ๋ฐ์ดํฐ ๋ฆฌ๋์ง
- ๋ฐ์ดํฐ ๋ชจ๋ํฐ๋ง, ๊ฐ์ฌ. ํธ๋ ์ด์ฑ
- ๊ฐ๋ ฅํ ๊ฒ์ ๊ธฐ๋ฅ(ํตํฉ, NLP ๊ฒ์)
- ๋ฐ์ดํฐ ์ถ์ฒ ๊ธฐ๋ฅ
๋ฐ์ดํฐ ์นดํ๋ก๊ทธ์ ์ค์์ฑ(๋ฐ์ดํฐ ๊ฑฐ๋ฒ๋์ค ๊ด์ )
- ๋ฐ์ดํฐ ์์ฐ์ ๋ํ ํตํฉ ๋ทฐ ์ ๊ณต
- ์ค๋ฌธ์ด๋ ๋ฐ์ดํฐ ํฐ์ผ์ ๊ฐ์๋ก ํ์ธ๋๋ ์์ฐ์ฑ ์ฆ๋
- ์๋ชป๋ ๊ฒฐ์ ๊ณผ ๊ฐ์ธ์ ๋ณด ๋ฑ์ ์ ํ ๋ฐฉ์ง๋ฅผ ํตํ ์ํ ๊ฐ์
- ๋ถํ์ํ ์ ๋ณด์ ์์ฑ ๋ฐฉ์ง๋ฅผ ํตํ ์ธํ๋ผ ๋น์ฉ ๊ฐ์
๋ฐ์ดํฐ ์นดํ๋ก๊ทธ ํด
- ์์ฉ์ ํ : Alation, Collibra, Atlan, Select Star
- ์คํ์์ค : Amundsen, DataHub
- ํด๋ผ์ฐ์ค ์๋น์ค : AWS Glue Data Catalog, Google Cloud Data Catalog, Microsoft Azure Data Catalog...
Atlan
- ํ์ ๊ด๋ จ ์ฌ๋ฌ ์๋น์ค(Slack, Jira, Github ๋ฑ)๊ณผ์ ์ฐ๋์ ์ด์
- ์คํ API๋ฅผ ํตํ ์๋ก์ด ๋ฉํ๋ฐ์ดํฐ์ ์ถ๊ฐ ์ฐ๋์ด ์ฌ์
- ํ๋ก๊ทธ๋๋ฐ์ด ๊ฐ๋ฅํ ๋ด์ ์ฌ์ฉํด ํ์คํฌ ์๋ํ ๊ฐ๋ฅ
Microsoft Azure Purview Data Catalog
- ๋ฉํ๋ฐ์ดํฐ๋ฅผ ์์งํ๊ณ ๋ฆฌ๋์ง ์ ๋ณด ์ถ์ถ ๊ธฐ๋ฅ
- ์ง์ํ๋ ๋ฐ์ดํฐ ํ๋ซํผ์ ์๊ฐ ๋ง์
- ๋ฐ์ดํฐ ๊ฑฐ๋ฒ๋์ค ์ ํ์ ์ผ๋ถ ์๋น์ค๋ก, ๊ฑฐ๋ฒ๋์ค๋ก ํ์ฅ ์ฉ์ด
'TIL' ์นดํ ๊ณ ๋ฆฌ์ ๋ค๋ฅธ ๊ธ
Spark ๋ฐ์ดํฐ์ฒ๋ฆฌ ์ค์ต - TIL230704 (0) | 2023.07.05 |
---|---|
๋น ๋ฐ์ดํฐ์ Spark ์์๋ณด๊ธฐ - TIL230703 (0) | 2023.07.04 |
DBT์ ์ถ๊ฐ ๊ธฐ๋ฅ ์์๋ณด๊ธฐ (seed, sources, snapshots, tests) - TIL230623 (0) | 2023.06.23 |
๊ฐ๋จํ DBT ์ค์ตํด๋ณด๊ธฐ (with Redshift) - TIL230622(2) (0) | 2023.06.23 |
Airflow ์ด์์ ์ฃผ์์ฌํญ๊ณผ Airflow ๋์ ์๋น์ค ์์๋ณด๊ธฐ - TIL230622 (0) | 2023.06.22 |