์ผ | ์ | ํ | ์ | ๋ชฉ | ๊ธ | ํ |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- Dag
- Docker
- topic
- KDT_TIL
- spark executor memory
- Spark ์ค์ต
- colab
- ๋น ๋ฐ์ดํฐ
- ๋ฐ์ดํฐ ํ์ดํ๋ผ์ธ
- Spark SQL
- etl
- SQL
- Speculative Execution
- backfill
- DataFrame Hint
- Kubernetes
- k8s
- Spark Caching
- CI/CD
- redshift
- Salting
- Spark Partitioning
- Spark
- disk spill
- mysql
- aws
- AQE
- Airflow
- off heap memory
- Kafka
- Today
- Total
JUST DO IT!
AWS EC2 ๊ธฐ๋ณธ ์ฉ์ด ๋ฐ ์ธ์คํด์ค ์์ฑํ๊ธฐ(TIL 230515) ๋ณธ๋ฌธ
๐ KDT WEEK 7 DAY 1 TIL
- AWS EC2 ์ธ์คํด์ค ์์ฑ ์ฉ์ด
- AWS EC2 ์ธ์คํด์ค ์์ฑํ๊ธฐ
- AWS ๊ธฐ๋ณธ ์ฉ์ด
ํด๋ผ์ฐ๋ ์๋น์ค ์ ํ
์๋ง์กด AWS, ๋ง์ดํฌ๋ก์ํํธ Azure, ๊ตฌ๊ธ GCP, ์ค๋ผํด OCI, IBM ํด๋ผ์ฐ๋, KT ํด๋ผ์ฐ๋, ๋ค์ด๋ฒ NCP ..
๐ฅAWS EC2
Amazon Elastic Compute Cloud
AWS ํด๋ผ์ฐ๋๋ฅผ ํ์ฉํ์ฌ ๋ค์ํ ์ด์์ฒด์ ์ SW๋ฅผ ์ ์ดํ ์ ์๋ ์๋ฒ์ ์คํ ๋ฆฌ์ง๋ฅผ ์ ๊ณตํ๋ ์๋น์ค
'Elastic' ์ 'ํ๋ ฅ์ ' ์ด๋ผ๋ ์๋ฏธ๋ก, ์ฌ์ฉ์๊ฐ ์ฑ๋ฅ๊ณผ ์ฉ๋์ ์กฐ์ ํ์ฌ ๋น์ฉ ์กฐ์ ์ด ๊ฐ๋ฅํ๋ค๋ ์๋ฏธ์ด๋ค.
์ฝ๊ฒ ๋งํ๋ฉด, ์ฌ์ฉ์๊ฐ ์ด๋ ต๊ฒ ๋ฌผ๋ฆฌ์ ์ผ๋ก ์๋ฒ๋ฅผ ๊ตฌ์ฑํ ํ์์์ด ํด๋ฆญ ๋ช ๋ฒ์ผ๋ก ๋ค์ํ ์๋ฒ ๊ตฌ์ฑ์ด ๊ฐ๋ฅํ๋ค!
๋ค์์ ์ธ์คํด์ค๋ฅผ ๋ง๋ค๊ธฐ ์ ์ ์์์ผ ํ ์ฉ์ด๋ค์ด๋ค.
- ์ธ์คํด์ค : ๊ฐ์ ์ปดํจํ ํ๊ฒฝ
- AMI(Amazon ๋จธ์ ์ด๋ฏธ์ง) : ์๋ฒ์ ํ์ํ ์ด์์ฒด์ ์ ์ฌ๋ฌ ์ํํธ์จ์ด๋ค์ด ๊ตฌ์ฑ๋ ์ํ๋ก ์ ๊ณต๋๋ ํ ํ๋ฆฟ ์ธ์คํด์ค
- ์ธ์คํด์ค ์ ํ : ์ธ์คํด์ค๋ฅผ ์ํ CPU, ๋ฉ๋ชจ๋ฆฌ, ์คํ ๋ฆฌ์ง, ๋คํธ์ํน ์ฉ๋์ ์ฌ๋ฌ ๊ฐ์ง ๊ตฌ์ฑ ์ ๊ณตํ๋ค.
- ํค ํ์ด : ์ธ์คํด์ค ๋ก๊ทธ์ธ ์ ๋ณด ๋ณดํธ
- AWS๋ ํผ๋ธ๋ฆญ ํค๋ฅผ ์ ์ฅ, ์ฌ์ฉ์๋ ๊ฐ์ธ ํค๋ฅผ ์์ ํ ์ฅ์์ ๋ณด๊ด
- ์ธ์คํด์ค ์คํ ์ด ๋ณผ๋ฅจ : ์์ ๋ฐ์ดํฐ๋ฅผ ์ ์ฅํ๋ ์คํ ๋ฆฌ์ง ๋ณผ๋ฅจ์ด๋ค.
- ์ธ์คํด์ค ์ค๋จ or ์ต๋ ์ ์ ๋ชจ๋ or ์ข ๋ฃํ๋ฉด ์ญ์ ๋จ
- EBS(Elastic Block Store) : ์๊ตฌ ์คํ ๋ฆฌ์ง ๋ณผ๋ฅจ
- ๋ณด์ ๊ทธ๋ฃน : ์ธ์คํด์ค์ ์ฐ๊ฒฐํ ์ ์๋ ํ๋กํ ์ฝ, ํฌํธ, ์์ค IP ๋ฒ์๋ฅผ ์ง์ ๊ฐ๋ฅ
- EIP(ํ๋ ฅ์ IP ์ฃผ์) : ๋์ ํด๋ผ์ฐ๋ ์ปดํจํ ์ ์ํ ๊ณ ์ IPv4 ์ฃผ์
- ํ๊ทธ : ์ฌ์ฉ์๊ฐ ์์ฑํด์ EC2 ๋ฆฌ์์ค์ ํ ๋นํ ์ ์๋ ๋ฉํ ๋ฐ์ดํฐ
- VPC(Virtual Private Clouds) : AWS ํด๋ผ์ฐ๋์ ๋ ผ๋ฆฌ์ ์ผ๋ก ๊ฒฉ๋ฆฌ๋์ด ์์ง๋ง ์ํ ๋๋ง๋ค ๊ณ ๊ฐ์ ๋คํธ์ํฌ์ ๊ฐํธํ ์ฐ๊ฒฐํ ์ ์๋ ๊ฐ์ ๋คํธ์ํฌ
๐ฆ EC2 ์ธ์คํด์ค ์์ฑํ๊ธฐ
ํค ํ์ด ์์ฑํ๊ธฐ
EC2 ์ธ์คํด์ค์ ์์ ํ๊ฒ ๋ก๊ทธ์ธ ํ๊ธฐ์ํด ํค ํ์ด๋ฅผ ๋จผ์ ์์ฑํ ๋ค ์ธ์คํด์ค๋ฅผ ์์ฑํด๋ณด์.
ํค ํ์ด ์์ฑ์ EC2 ๋์๋ณด๋ ์ผ์ชฝ ํญ์์ ์ฐพ์ ์์ฑํ ์ ์๋ค.
ํด๋น ํค๋ ๋ฐ๊ธ ์ ๋ฐ๋ก ๋ค์ด๋ก๋๋๋ค.
EC2 ์ธ์คํด์ค ์ ์์ ์ฌ์ฉํ ์์ ์ด๋ฏ๋ก ์์ ํ ์ฅ์์ ๋ณด๊ดํ๊ณ ์ ์ํ ๋ ์ฌ์ฉํ๋ฉด ๋๋ค.
๊ทธ๋ฆฌ๊ณ ์ ์ํ๊ธฐ ์ ์ ๋ฐ๊ธ๋ฐ์ ํค์ ๊ถํ์ค์ ์ด ํ์ํ๋ค.
๋งฅ์ ๊ฒฝ์ฐ ํฐ๋ฏธ๋์์ 'chmod 400 ํ์ผ์ด๋ฆ' ์ ์ฌ์ฉํ๊ณ ,
์๋์ฐ ๊ถํ์ค์ ์ ์๋ ๋งํฌ ์ฐธ๊ณ
์ธ์คํด์ค ์์ฑํ๊ธฐ
๋ณธ๊ฒฉ์ ์ผ๋ก EC2๋ฅผ ์ฌ์ฉํ๊ธฐ ์ํด ์ธ์คํด์ค๋ฅผ ์์ฑํด๋ณธ๋ค.
์ด๋ฆ์ ๋ฑ๋กํ๊ณ , ์ด์์ฒด์ ๋ฅผ ๊ณ ๋ฅด๋ฉด ํค ํ์ด๋ฅผ ์ค์ ํด์ผํ๋ ๊ตฌ๊ฐ์ด ๋ณด์ธ๋ค.
ํค ํ์ด๋ฅผ ๋ฑ๋กํ๋ฉด, ํด๋น ํค๋ก ์ธ์คํด์ค์ ์ฐ๊ฒฐํ ์ ์๊ฒ๋๋ค.
์ฐ์ต์ผ๋ก ์์ฑํ๋ ์ธ์คํด์ค๋ผ์ ํ๋ฆฌํฐ์ด ๊ธฐ์ค์ผ๋ก ์์ฑํ์๋ค.
ํฌํธ ์ถ๊ฐํ๊ธฐ
์น ์๋น์ค๋ฅผ ์ ๊ณตํ ๋๋ ๊ธฐ๋ณธ 22 ํฌํธ์ธ์ 80 ํฌํธ๊ฐ ํ์ํ ์๋ ์๋ค.
ํฌํธ๋ฅผ ์ถ๊ฐํ๋ ค๋ฉด ๋ฐ์ ์ด๋ฏธ์ง์ฒ๋ผ ๋ณด์ ๊ทธ๋ฃน ํญ์ผ๋ก ๋์ด๊ฐ์ ์ค์ ํด์ค์ผ ํ๋ค.
๋ด ์ธ์คํด์ค์ ๋ณด์ ๊ทธ๋ฃน ์ธ๋ฐ์ด๋ ๊ท์น์ ํ์ธํด๋ณด๋ฉด, 22 ํฌํธ๋ง ๋จ์์์ ๊ฒ์ด๋ค.
์ฌ๊ธฐ์ ์ ์ด๋ฏธ์ง์ ๋งํนํ '์ธ๋ฐ์ด๋ ๊ท์น ํธ์ง' ๋ฒํผ์ ํด๋ฆญํ์ฌ ์ค์ ํ๋ค.
์ค์ ์ด ๋๋๊ณ ๊ท์น ์ ์ฅ ๋ฒํผ์ ๋๋ฅด๋ฉด ๋
ํ๋ ฅ์ IP ์ฃผ์ ํ ๋นํด๋ณด๊ธฐ(EIP)
์ธ์คํด์ค์ ๊ณ ์ ์ ์ธ ๊ณต์ธ IP์ฃผ์๋ฅผ ํ ๋นํด์ค ์ ์๋ค.
EIP๋ฅผ ์ญ์ ํ๊ธฐ ์ ๊น์ง IP์ฃผ์๋ฅผ ์ญ ์ ์งํด์ค ์ ์๋ค.
ex) ๋๋ฉ์ธ ์๋ฒ์์ IP์ฃผ์๋ฅผ ์ฐ๊ฒฐํด์ผํ ๋ โก๏ธ ๊ณ ์ ์ IP ์ฃผ์ ํ์ โก๏ธ EIP ํ ๋น
1. EIP ์์ฑ
EC2 ๋์๋ณด๋ ์ผ์ชฝ ๋ฉ๋ด๋ฐ์์ ํ๋ ฅ์ IP๋ฅผ ์ฐพ์ ํด๋ฆญํ๊ณ ์์ฑํ๋ค.
์ต์ ์ ์ํ๋ ๋๋ก ์์ฑํด์ฃผ๋ฉด ๋๋ค.
๋๋ ์ง์ญ๋ง ๋ง์ถ๊ณ ๋ฐ๋ก ํ ๋นํด์ฃผ์๋ค.
2. ์ธ์คํด์ค์ EIP ์ฐ๊ฒฐ
EIP๋ฅผ ์์ฑํ๋ค๋ฉด ๋ฐ๋ก ์๋จ ์๋ฆผ๋ฐ์์ ์ฐ๊ฒฐ ๋ฒํผ์ ๋๋ฌ๋ ๋๊ณ ,
ํด๋นํ๋ EIP๋ฅผ ์ฒดํฌํ ๋ค, ์๋ ์ฌ์ง์ฒ๋ผ ํ๋ ฅ์ IP ์ฃผ์ ์ฐ๊ฒฐ ๋ฒํผ์ ๋๋ฌ๋ ๋๋ค.
๋ฒํผ์ ๋๋ฅด๊ณ ์ฐ๊ฒฐํ ์ธ์คํด์ค๋ง ์ง์ ํด์ฃผ๋ฉด ์ฐ๊ฒฐ ๋!
์ฐ๊ฒฐ์ด ์๋ฃ๋๋ฉด ํผ๋ธ๋ฆญ ip๋ฅผ ์ฌ์ฉํด์ ์๋ฒ์ ์ฐ๊ฒฐํ๋ ๊ฒ์ฒ๋ผ EIP๋ก๋ ๊ฐ๋ฅํด์ง๋ค.
๋จ, EIP๋ก ์ฐ๊ฒฐํ ๋๋ 80 ํฌํธ๋ฅผ ์ด์ด๋์ผ ํ๋ค.
๐จ AWS ๊ธฐ๋ณธ์ฉ์ด
- ๊ฐ์ํ : ํด๋ผ์ฐ๋ ์ปดํจํ ์ ๊ธฐ๋ฐ์ผ๋ก์จ, ๋ฌผ๋ฆฌ์ ์ปดํจํฐ ํ๋์จ์ด๋ฅผ ๋ณด๋ค ํจ์จ์ ์ผ๋ก ํ์ฉํ ์ ์๊ฒ ํ๋ค.
- ๊ฐ์๋จธ์ (VM) : ์ํํธ์จ์ด ํ์์ผ๋ก ๋ฌผ๋ฆฌ์ ์ปดํจํ
์ ์๋ฎฌ๋ ์ด์
ํ๋ ๊ฐ์ํ๊ฒฝ
- ๊ฐ์ ํ๋๋๋ผ์ด๋ธ์ ์คํ ๋ฆฌ์ง, ์ค๋ ์ท, VM ๊ตฌ์ฑ์ ํฌํจํ ๋ค์์ ํ์ผ๋ก ๊ตฌ์ฑ
- ์ค๋
์ท : ํน์ ์์ ์ ์คํ ๋ฆฌ์ง ํ์ผ ์์คํ
์ ์ ์ฅํด๋๋ ๊ธฐ์
- ์๋์ฐ์ ๋ณต์ ์ง์ ์ฒ๋ผ ๋ฐ์ดํฐ ์์์ ์ค๋ ์ท์ผ๋ก ๋ฐ์ดํฐ ๋ณต๊ตฌ ๊ฐ๋ฅ
- ๋ฐฑ์ ๊ณผ๋ ๋ฌ๋ฆฌ ์ด๊ธฐ ์์ฑ๊ณผ ๋ฐ์ดํฐ ๋ณ๊ฒฝ์ด ์๊ธฐ ์ ๊น์ง๋ ์คํ ๋ฆฌ์ง ๊ณต๊ฐ ์ฐจ์งํ์ง ์์
- ๋ฉํ๋ฐ์ดํฐ์ ๋ณต์ฌ๋ณธ์ด๋ฏ๋ก ์์ฑ์๊ฐ์ด ๊ธธ์ง ์๊ณ , ์ฅ์ ์ํฉ์ ๋น ๋ฅด๊ฒ ๋ฐ์ดํฐ ๋ณต์ ๊ฐ๋ฅ
- ๋ฐ์ดํฐ ์ผํฐ : ์๋ง์ ์๋ฒ๋ค์ ํ๋ฐ ๋ชจ์ ๋คํธ์ํฌ๋ก ์ฐ๊ฒฐํด ๋์ ์์ค
- Region(์ง์ญ) : ๋ฐ์ดํฐ ์ผํฐ๊ฐ ์์นํ ์ง์ญ์ผ๋ก, ๊ตญ๊ฐ๋ง๋ค ์์์ฌ์ฉ ๋น์ฉ์ด ๋ค๋ฅด๋ค.
- Availability Zone(๊ฐ์ฉ์์ญ, AZ) : ํ๋์ Region์ ๋ ๊ฐ ์ด์์ AZ๋ก ๊ตฌ์ฑ๋๋ค.
๐ฉ Elasticbeanstalk
AWS ํด๋ผ์ฐ๋์์ ์ ํ๋ฆฌ์บ์ด์ ์ ์ ์ํ๊ฒ ๋ฐฐํฌํ๊ณ ๊ด๋ฆฌํ ์ ์๋ ์๋น์ค
์ ํ๋ฆฌ์ผ์ด์ ์ ์ ๋ก๋ํ๊ธฐ๋ง ํ๋ฉด ์ฉ๋ ํ๋ก๋น์ ๋, ๋ก๋ ๋ฐธ๋ฐ์ฑ, ์กฐ์ , ์ํ ๋ชจ๋ํฐ๋ง์ ์๋์ผ๋ก ์ฒ๋ฆฌ
Go, JAVA, .NET, Node.js, PHP, Python ๋ฑ ๋ค์ํ ๊ฐ๋ฐ ์ ํ๋ฆฌ์ผ์ด์ ์ ์ง์
'TIL' ์นดํ ๊ณ ๋ฆฌ์ ๋ค๋ฅธ ๊ธ
AWS CLI - TIL230518 (0) | 2023.05.19 |
---|---|
AWS IAM, S3, CI/CD, ์ข ํฉ์ค์ต - TIL230517 (0) | 2023.05.17 |
SQL ํ์ต - Transaction(for Python) & ์ถ๊ฐ SQL ๋ฌธ๋ฒ (TIL 230512) (0) | 2023.05.12 |
SQL ํ์ต - JOIN (TIL 230511) (0) | 2023.05.12 |
SQL ํ์ต - GROUP BY, CTAS (TIL 230510) (0) | 2023.05.10 |