Notice
Recent Posts
Recent Comments
Link
์ผ | ์ | ํ | ์ | ๋ชฉ | ๊ธ | ํ |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | 7 |
8 | 9 | 10 | 11 | 12 | 13 | 14 |
15 | 16 | 17 | 18 | 19 | 20 | 21 |
22 | 23 | 24 | 25 | 26 | 27 | 28 |
29 | 30 | 31 |
Tags
- Kafka
- KDT_TIL
- Spark ์ค์ต
- CI/CD
- spark executor memory
- etl
- Speculative Execution
- Spark Partitioning
- k8s
- Spark Caching
- colab
- ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ
- Dag
- Kubernetes
- aws
- off heap memory
- disk spill
- DataFrame Hint
- AQE
- Docker
- Airflow
- mysql
- Salting
- topic
- Spark
- ๋น ๋ฐ์ดํฐ
- Spark SQL
- backfill
- SQL
- redshift
Archives
- Today
- Total
JUST DO IT!
[TIL] KDT_20230410 ๋ณธ๋ฌธ
๐ KDT 2์ฃผ์ฐจ 1์ผ TIL
- ์ฝ๋ฉํ ์คํธ ํน๊ฐ ๋ผ์ด๋ธ์ธ์ ์๊ฐ
- ์๋ฃ๊ตฌ์กฐ/์๊ณ ๋ฆฌ์ฆ ์์ ํ์ต (๋ฆฌ์คํธ์ ์ ๋ ฌ, ํ์, ์ฌ๊ท ์๊ณ ๋ฆฌ์ฆ)
์ฝ๋ฉํ ์คํธ ํน๊ฐ
- ํ์ค ๋ฌธ์ ํด๊ฒฐ์ ์ํ ์๊ณ ๋ฆฌ์ฆ ํ๋ จ + ์ ํ ์๊ฐ์์ ์์ฑ ๋ฐ ๋๋ฒ๊น >> ๊พธ์คํ ์ฐ์ต!
- ์ฝ๋ฉํ
์คํธ ๋ฌธ์ ๋ฅผ ๋ณด๊ณ ์ ํฉํ ์๋ฃ๊ตฌ์กฐ์ ์๊ณ ๋ฆฌ์ฆ์ ๋ ์ฌ๋ฆฌ๋ ๊ฒ์ด ํต์ฌ
- ๊ฐ์ ๋ฌธ์ ์ ํด๊ฒฐ์์๋ ์ ํํ ์๋ฃ๊ตฌ์กฐ์ ๋ฐ๋ผ ์๊ณ ๋ฆฌ์ฆ์ด ๋ค๋ฅด๋ค
- ์๊ณ ๋ฆฌ์ฆ์ ์ผ์ผ์ด ์ธ์ฐ์ง๋ง๊ณ ๊ทธ ํ๋ฆ์ ์ดํดํ๊ณ ๋ฐ๋ผ๊ฐ๊ธฐ
๋ฆฌ์คํธ์ ์ฐ์ฐ์ ์๋
- .append(), .pop() : ๋ฆฌ์คํธ์ ๊ธธ์ด์ ๊ด๊ณ์์ด ๋น ๋ฅด๊ฒ ์ฒ๋ฆฌ
- .insert(), .del() : ๋ฆฌ์คํธ์ ๊ธธ์ด์ ๋น๋กํ ์๊ฐ์ผ๋ก ์ฒ๋ฆฌ
์ฌ๊ท ์๊ณ ๋ฆฌ์ฆ
- ๊ฐ์ ์๊ณ ๋ฆฌ์ฆ์ ๋ฐ๋ณต์ ์ผ๋ก ์ ์ฉํจ์ผ๋ก์จ ํ์ด
- ๋ฌดํํ ๋ฐ๋ณตํ๋ ๊ฒ์ ๋ง๊ธฐ์ํด ์ข ๊ฒฐ ์กฐ๊ฑด(trivial case)๋ฅผ ๋ช ์ํ๋ ๊ฒ์ด ์ค์!
- ํผ๋ณด๋์น ์์ด์ ์ฌ๊ท ์๊ณ ๋ฆฌ์ฆ์ผ๋ก ํ์ดํ ๊ฒฝ์ฐ ๊ฐ์ ์ฐ์ฐ์ ๋ฐ๋ณตํ๋ ๊ฒฝ์ฐ๊ฐ ์๋ค.
์๊ณ ๋ฆฌ์ฆ์ ๋ณต์ก๋
- ์๊ฐ ๋ณต์ก๋ : ์์ํ๋ ์๊ฐ
- ์ ๊ทผ ํ๊ธฐ๋ฒ(asymptotic notation) : big-O notation
- ex) ์ ํ ์๊ฐ ์๊ณ ๋ฆฌ์ฆ - O(n), ๋ณํฉ ์ ๋ ฌ - O(n*log(n))
- ๊ณต๊ฐ ๋ณต์ก๋ : ์์ํ๋ ๋ฉ๋ชจ๋ฆฌ
๐ค ๊ณต๋ถํ๋ฉด์ ์ด๋ ค์ ๋ ๋ด์ฉ
๋๋ถ๋ถ ์๊ณ ์๋ ๋ด์ฉ์ด๋ผ ์ดํดํ๋ ๋ฐ์ ๋ฌด๋ฆฌ๋ ์์์ง๋ง, ๊ฐ์ฌ๋๊ป์ ์ค๊ฐ์ ์ฌ์ฉํ์ lambda ํจ์๊ฐ ํท๊ฐ๋ ธ๋ค..
lambda expression : ๋๋ค ํํ์ #์ต๋ช ํจ์
- ํจ์๋ฅผ ๊ฐํธํ๊ฒ ์์ฑ ๊ฐ๋ฅํ์ฌ ๋ค๋ฅธ ํจ์์ ์ธ์๋ก ๋ฃ์ ๋ ์ฃผ๋ก ์ฌ์ฉํ๋ค.
๋ค๋ฅธ ํจ์์ ์ธ์๋ก ๋ฃ์ ๋์ ์์๋ฅผ ๋ณด๋ฉด..
>>> list(map(lambda x: x + 10, [1, 2, 3]))
[11, 12, 13]
์์ ๊ฐ์ด map๊ณผ ํจ๊ป ์์ฑํ ์๋ ์๋ค
์ฐธ์กฐ) https://dojang.io/mod/page/view.php?id=2359
'TIL' ์นดํ ๊ณ ๋ฆฌ์ ๋ค๋ฅธ ๊ธ
[TIL]KDT_20230417 (0) | 2023.04.17 |
---|---|
[TIL] KDT_20230414 (0) | 2023.04.14 |
[TIL] KDT_20230413 (0) | 2023.04.13 |
[TIL] KDT_20230412 (0) | 2023.04.12 |
[TIL] KDT_20230411 (0) | 2023.04.11 |