개발계발 - 1

numble 챌린지 중간 회고

냥냥친구 — Tue, 25 Apr 2023 14:36:03 +0900

나는 numble에서 실전 가이드 프로젝트_Kubernetes로 모니터링 시스템 구축하기를 진행하고 있다.

사이드프로젝트를 해야겠다는 생각과 쿠버네티스에 대한 공부를 하고 싶다는 생각을 하고 있던 참이었는데 우연히 이 두 가지를 충족시킬 수 있는 프로그램을 발견하게 돼서, 심지어 가격도 해볼 만해서 바로 결제했다. ㅋㅅㅋ

특히 여기에 혹했다. ㅎ

프로젝트는 팀을 이루어 진행하지만 결과물은 각자 제출해야 된다. 각자 제출이다 보니 팀원 스케줄에 너무 얽매이지도 않고 처음부터 끝까지 다 해볼 수 있다는 장점이 있다.! 우리팀은 카톡방을 하나 파서 모르는 것을 질문하며 진행 중이다. (아직까지는 순항중..!)

나는 쿠버네티스 지식이 전무한 상태에서 시작했기 때문에 노드, 파드 등 개념부터 argoCD, kibana 툴 등 공부할게 매우매우 많다. ㅋㅋ 지식의 양 팍팍 늘어나는 중!! (바라던 부분인데 좀 힘들다..) 다행히도 호스트님이 예시 코드를 제공해 주어 모르는 부분을 참고하며 진행하고 있다.

클라우드 서비스로는 네이버클라우드플랫폼(NCP)을 이용하고 있다. numble에서 크레딧을 최대 100만 원 제공해 주기 때문에 프로젝트 종료기간까지는 문제없이 무료로 이용할 수 있을 것 같다.

네이버 클라우드 플랫폼은 처음사용해보는데 깔끔하고 좋다. 특히 가이드 문서가 정말 잘 되어있어 편리하다.!

AWS를 사용해본 유저라면 NCP 역시 무난하게 사용할 수 있을 것 같다!

최초 가입 시에는 10만 원 크레딧도 준다고 하니 한 번 테스트해 봐도 좋을 것 같다.

이제 2주 정도 남았는데 마지막까지 열심히해서 프로젝트 완수해야지!

[쿠버네티스 세팅하기] 1. 쿠버네티스 구성 살펴보기

냥냥친구 — Sat, 15 Apr 2023 21:48:47 +0900

쿠버네티스는 공식 문서가 매우 잘 되어있다.

다만, 많은 내용을 담고 있어 쿠버네티스 구성에 대한 내용을 간략하게 정리해 보았다.

https://kubernetes.io/ko/docs/concepts/overview/

쿠버네티스란 무엇인가?

쿠버네티스는 컨테이너화된 워크로드와 서비스를 관리하기 위한 이식할 수 있고, 확장 가능한 오픈소스 플랫폼으로, 선언적 구성과 자동화를 모두 지원한다. 쿠버네티스는 크고 빠르게 성장하

kubernetes.io

쿠버네티스란

컨테이너화된 애플리케이션을 배포, 확장 및 관리해주는 시스템이다.

규모가 큰 서비스들은 여러개의 서버에 여러개의 애플리케이션을 띄워놓고 운영하는데, 서버 하나하나씩 독립적으로 관리한다면 같은 일을 여러번 관리하는 등의 번거로운 점이 발생한다. 이런 불편함을 해결해주는 것이 쿠버네티스다. yml 파일에 구성하려는 서버 리소스를 명세하고 배포하면 여러 서버에 걸쳐 항상 그 상태를 유지 및 관리해준다. 스케일 아웃된 여러 개의 컨테이너를 하나로 묶어 트래픽을 로드밸런싱해주거나 명세를 통한 자동 롤아웃과 롤백 등을 제공한다.

쿠버네티스 클러스터

쿠버네티스 클러스터의 구성은 아래와 같다.

컨트롤 플레인 컴포넌트

클러스터에 관한 전반적인 결정을 수행하고 클러스터 이벤트를 핸들링한다.

kube-apiserver

쿠버네티스 api를 노출하는, 컨트롤 플레인의 프론트엔드이다.

etcd

클러스터 데이터를 담는 쿠버네티스 뒷단의 저장소로 사용되는 key-value 스토리지이다.

kube-scheduler

생성된 파드를 노드에 할당하는 등의 스케줄링 작업을 진행한다.

kube-controller-manager

컨트롤러 프로세스를 실행한다.

노드 컴포넌트

동작 중인 파드를 유지, 쿠버네티스 런타임 환경 제공한다.

kubelet

파드의 스펙 등 컨테이너를 관리한다.

kube-proxy

클러스터의 각 노드에서 실행되는 네트워크 프록시로 노드의 네트워크 규칙을 관리한다.

다음으로는 주요 개념들을 살펴보자.

노드

노드는 컨트롤플레인에 의해 관리되며 파드를 실행하는데 필요한 서비스를 포함한다. 하나의 노드는 하나의 서버라고 이해하면 된다.

하나의 클러스터 안에는 여러 개의 노드가 있을 수 있고, 하나의 노드 안에는 여러 개의 파드가 있을 수 있다.

파드

쿠버네티스에서 생성하고 관리할 수 있는 배포 가능한 가장 작은 컴퓨터 단위이다. 하나 이상의 컨테이너를 포함하며 컨테이너에 대한 스토리지 및 네트워크를 공유한다.

파드 템플릿

파드템플릿은 파드를 생성하기 위한 명세이다. 파드 템플릿이 변경되면 기존의 파드를 갱신하지않고 새로운 파드를 생성한 후 교체한다.

아래는 예시이다.

apiVersion: batch/v1
kind: Job
metadata:
  name: hello
spec:
  template:
    # 여기서부터 파드 템플릿이다
    spec:
      containers:
      - name: hello
        image: busybox:1.28
        command: ['sh', '-c', 'echo "Hello, Kubernetes!" && sleep 3600']
      restartPolicy: OnFailure
    # 여기까지 파드 템플릿이다

워크로드 리소스

워크로드 리소스로는 디플로이먼트, 레플리카 셋, 스테이트풀셋 등이 있다.

레플리카 셋

레플리카셋은 명세된 내용을 달성하기 위해 파드를 띄우거나 삭제한다. 명세 내용으로는 파드를 식별하는 방법이 명시된 셀렉터, 유지해야 하는 파드 개수를 명시하는 레플리카 개수, 레플리카 수 유지를 위해 생성하는 신규 파드에 대한 데이터를 명시하는 파드 템플릿을 포함한다.

디플로이먼트

파드와 레플리카셋에 대한 선언적 업데이트 제공하며 레플리카 셋의 상위 수준의 리소스이다. 블로그를 좀 찾아보니 레플리카셋 대신 디플로이먼트를 주로 사용하는 것 같다.

서비스

파드에서 실행중인 애플리케이션을 네트워크 서비스로 노출하는 추상화 방법이다. 아래 그림이 직관적인 이해를 돕는다.

서비스에 고유한 ip주소와 파드 집합에 대한 단일 dns명을 부여하고 로드밸런싱을 수행한다. 파드가 영구적이지 않고 새로 뜨고 교체되기 때문에 논리적으로 파드에 접근할 수 있도록 해주는 역할을 한다.

인그레스

클러스터 내의 서비스에 대한 외부 접근을 관리하는 api 오브젝트이며, 일반적으로 http를 관리한다. 외부 접근을 허용하게 하는 또 다른 방법으로는 노드 포트가 있는데 이는 L4레벨까지만 다룰 수 있어서 L7레벨까지의 접근을 허용하려면 인그레스를 사용한다.

쿠버네티스 세팅을 진행하며 추가로 필요한 개념들은 계속 추가해 나갈 예정!

다음 포스팅에서는 쿠버네티스 세팅을 진행해보겠다.

Django ALLOWED_HOST, CORS_ORIGIN_WHITELIST

냥냥친구 — Fri, 9 Dec 2022 09:25:41 +0900

ALLOWED_HOST

서버로 요청하는 Host에 대한 Allowed 리스트.

DEBUG=True라면 기본값으로 ['.localhost', '127.0.0.1', '[::1]'] 로 설정된다.

참고 : [::1] 는 로컬의 IPV6을 의미한다. IPV4에서 localhost와 같은 역할.!

CORS_ORIGIN_WHITELIST

Origin 헤더에 대한 Allowed 리스트. Origin 헤더는 fetch가 시작되는 위치로, GET 요청을 제외하고 포함된다.

django-cors-headers 라이브러리에서 제공하는 기능이다.

아래와 같이 INSTALLED_APP과 MIDDLEWARE에서 추가 후, CORS_ORIGIN_WHITELIST를 정의할 수 있다.

INSTALLED_APPS = [
    ...,
    "corsheaders",
    ...,
]

MIDDLEWARE = [
    ...,
    "corsheaders.middleware.CorsMiddleware",
    "django.middleware.common.CommonMiddleware",
    ...,
]

443, 80 포트를 제외하고는 URI scheme + hostname + port로 정의해야 한다.

CORS_ORIGIN_WHITELIST = [
	'https://example.com',
	'http://127.0.0.1:9000',
]

만약, 정규표현식으로 Allowed 리스트를 정의하고 싶다면, CORS_ALLOWED_ORIGIN_REGEXES 사용하면 된다.

(CORS_ORIGIN_WHITELIST 와 함께 사용 가능.)

CORS_ALLOWED_ORIGIN_REGEXES = [
    r"^https://\\w+\\.example\\.com$",
]

CORS_ALLOW_ALL_ORIGINS 가 True이면 모든 Origin에 대해 출처가 허용됨을 의미한다. (제한이 없다.!)

예전에는 CORS_ORIGIN_ALLOW_ALL 이었다. 둘 다 사용할 경우 지금 이름이 먼저.!

CORS_ALLOW_ALL_ORIGINS = True

특정 path 만을 허용 할 수도 있다. CORS_URLS_REGEX 를 사용하며, 기본 값은 r'^.*$’ 로, 모든 path에 대해 허용한다는 의미이다.

CORS_URLS_REGEX = r"^/api/.*$"

DynamoDB 톺아보기

냥냥친구 — Sat, 29 Oct 2022 15:28:03 +0900

Dynamo(다이나모) DB가 NoSQL이라 key-value 구조로 데이터를 저장한다는 것만 알고 있었는데, 이번에 처음 도입해 보니 생각보다 알아야 할 게 많았다. 여기저기 문서를 참고하며 배운 내용을 기록해보자.

DynamoDB란?

AWS 에서 제공하는 NoSQL 기반 데이터베이스 서비스로, 데이터 읽고 쓰기, 인덱싱, 샤딩과 백업 등을 지원한다.

필드가 고정이 아니다.

RDB와 달리 필드가 고정이 아니다. 아래의 People 테이블에서 보듯이 Address와 FavoriteColor가 없는 row도 가능하다. 여기서 없다는 것은 null이 아닌 키조차도 없음을 의미한다.

People

{
    "PersonID": 101,
    "LastName": "Smith",
    "FirstName": "Fred",
    "Phone": "555-4321"
},
{
    "PersonID": 102,
    "LastName": "Jones",
    "FirstName": "Mary",
    "Address": {
                "Street": "123 Main",
                "City": "Anytown",
                "State": "OH",
                "ZIPCode": 12345
    }
},
{
    "PersonID": 103,
    "LastName": "Stephens",
    "FirstName": "Howard",
    "Address": {
                "Street": "123 Main",
                "City": "London",                                    
                "PostalCode": "ER3 5K8"
    },
    "FavoriteColor": "Blue"
}

기본키는 필요하다.

다만, 다이나모도 RDB와 같이 기본키(Primary Key)가 필요하다. 다이나모에는 Partition Key와 Sort Key가 있는데, Parition Key를 단독으로 기본키로 사용하거나 Partition Key와 Sort Key를 복합키로하여 기본키로 사용할 수 있다. Key에 해당 하는 필드는 row에 값이 있어야 하며, 기본키는 고유한 값이어야 한다.

1. 파티션 키(Partition Key)

다이나모는 데이터를 파티션(Partition)으로 저장하는데 이 Key를 사용해 어떤 파티션에 저장할지 결정한다. 아래의 이미지와 같이 파티션 키를 해시함수 인자로 사용해서 출력되는 결과로 어떤 파티션에 저장할지 결정한다고 하는데, 이는 dynamoDB의 역할이므로 우리가 관리하지는 않는다.

Partition Key만으로 기본키로 사용하면 해당 필드는 고유해야 한다. People 테이블에서는 PersonId가 해당한다.

2. 정렬 키(Sort Key)

파티션이 고유하지 않다면 정렬 키를 사용해 복합키로써 고유키를 지정할 수 있다. 파티션에서는 이 정렬 키를 사용해 row를 정렬한다.

쿼리 VS 스캔

테이블의 데이터를 조회할 때 조회 방식으로 쿼리와 스캔이 있다.

쿼리

기본키나 인덱스를 기준으로 데이터를 조회한다. 인덱스를 기준으로 데이터를 탐색하기 때문에 빠른 결과를 기대할 수 있다. 한 번의 쿼리를 기준으로 최대 1MB의 데이터를 반환한다.

스캔

인덱스로 지정되지 않은 필드로 데이터을 조회한다. 풀스캔하기 때문에 쿼리보다 질의 속도가 느리다.

인덱스

1. 로컬 보조 인덱스 (Local Secondary Index)

테이블에 파티션 키와 정렬 키를 설정하면, 해당 키들로 인덱싱도 가능하다. 이 기본키들로 생성된 인덱스를 로컬 보조 인덱스(LSI)라고 한다.

2. 글로벌 보조 인덱스 (Global Secondary Index)

파티션 키, 정렬 키 외에도 다른 필드로 필터를 해야 한다면, 글로벌 보조 인덱스(GSI)로 지정할 수 있다. People 테이블에서 FirstName이 같은 사람들을 쿼리하고 싶다면 FirstName로 인덱스를 추가할 수 있다. GSI는 테이블 등록 시점에 생성할 수도 있고 이미 생성된 테이블에 추가할 수도 있다. 다만, 데이터 양에 영향을 받기 때문에 인덱스 생성 속도가 느려질 수 있다.

읽기 단위, 쓰기 단위

읽기 단위

읽기 단위가 1이면 4KB 용량에 대해 초당 1회의 강력한 일관성 읽기 또는 초당 2회의 최종 읽관성 읽기를 나타낸다. 만약 읽기 단위가 10인 테이블을 생성한다면, 이 테이블은 4KB 항목에 대해 초당 10개의 row를 읽을 수 있다. 만약 4KB보다 큰 용량의 row를 읽으면 읽기 단위 2를 사용한다.

쓰기 단위

쓰기 단위가 1이면 1KB 용량에 초당 1회 쓰기를 나타낸다. 만약 쓰기 단위가 10인 테이블을 생성한다면, 이 테이블은 초당 10 회 row를 쓸 수 있다. row 하나씩 쓰기 때문에, row 별 용량에 따라 쓰기 단위를 사용한다.

python Lint툴 적용하기(flake8, black)

냥냥친구 — Sun, 25 Sep 2022 14:32:39 +0900

파이썬은 PEP8이라고 하는 파이썬 코드 작성 규칙이 있다.

이 작성 규칙을 지키지 않아도 스크립트를 실행하는데 문제가 없지만 코드의 일관성과 용이한 유지보수를 위해, 그리고 당신의 코드를 읽을 또 다른 동료를 위해 규칙을 지켜주어야 한다.

하지만 이 규칙을 모두 기억하기란 어려운 일이다. 이 때 린트툴을 사용하면 내가 작성한 코드를 읽고 코드 규칙에 어긋나는 부분을 알려준다. 심지어 직접 고쳐주기도 한다.

파이썬의 기본 린트툴로는 pylint가 있으며 유명한 flake8이나 black 패키지로 대체할 수 있다. 하나씩 사용해보자.

flake8

설치

pip install flake8

실행

# 패키지 전체 검사
flake8
# 특정 경로 및 파일 검사
flake8 your_script.py

결과

./lib/youtube/youtube.py:3:1: F401 'json' imported but unused
./lib/youtube/youtube.py:6:1: F401 'apiclient.discovery.build' imported but unused
./lib/youtube/youtube.py:8:1: E265 block comment should start with '# '
./lib/youtube/youtube.py:13:1: E302 expected 2 blank lines, found 1
./lib/youtube/youtube.py:19:1: W293 blank line contains whitespace
./lib/youtube/youtube.py:35:1: W293 blank line contains whitespace
./lib/youtube/youtube.py:51:1: W293 blank line contains whitespace
./lib/youtube/youtube.py:67:1: W293 blank line contains whitespace

명령어를 실행하고 나면, 코드 내 규칙 오류를 잡아준다. F401, E302 등이 PEP8에 명시된 코드 규칙이며 어긴 내용을 간략하게 적어준다. 실행 내용을 참고하여 코드 규칙을 적용해주면 된다.

만약, lint를 적용하고 싶지 않은 파일이나 코드 규칙이 있다면, .flake 파일 생성 후 아래와 같이 제외하고 싶은 내용을 작성해주고 실행하면 된다.

[flake8]

exclude = 
    .git,
    .gitignore,
    venv,
    ./lib/

ignore =
    F401,
    E501

black

black은 잘못된 코드 규칙을 직접 수정해준다.

설치

pip install black

실행

black your_script.py

--check 옵션을 실행하면 포맷팅이 필요하다고 귀엽게 알려준다.

결과

~~(귀여운 반짝반짝 케이크)~~

실행 후 코드를 보면 모양새가 바뀐 것을 확인할 수 있다. 직접 해보시길..

다시 --check 옵션을 추가하면 All done! 이라며 케이크를 또 준다.

black은 공식 커뮤니티에서 개발한 것인데도 이렇게 귀엽다.

[2293] 동전1

냥냥친구 — Tue, 22 Sep 2020 08:53:38 +0900

백준 2293번 동전1

n, k = map(int, input().split())
c = []
dp = [0 for i in range(k + 1)]
dp[0] = 1
for i in range(n):
    c.append(int(input()))
for i in c:
    for j in range(1, k + 1):
        if j - i >= 0:
            dp[j] += dp[j - i]
print(dp[k])

핵심 아이디어

k길이의 배열을 만들고, 각 원소 별 경우의 수를 계산하여 k가 되는 경우의 수를 구한다.

설명

dp 배열에서 원소를 dp[key] = value 라고 한다면,

key : 1, 2, 3, ... k
value : key를 만들 수 있는 경우의 수

예를 들어 [1, 2, 5] coin을 가지고 k = 4라면, 우리는 약간의 계산으로 경우의 수가 3개인 걸 알 수 있는데, 코드로 보면

i = 1, j = 1 일 때, $j - i ≥ 0$이므로 $dp[1] += dp[0]$ 이 된다. 이 때 dp[0]은 1이므로 dp[1]도 1이다.
i = 1, j =2,3,4일 때도 모두 j - i ≥ 0이므로 dp[2], dp[3], dp[4] 역시 모두 1이다.
i =2, j = 2 일 때, j - i ≥ 0이므로 dp[2] += dp[0] 이 된다. dp[2]는 2이다. 왜냐하면 누적값이기 때문에
i = 2, j =3 일 때, j -i ≥ 0이므로, dp[3] += dp[1]에서 dp[1]은 1이므로, dp[3]도 1이다.
i = 2, j = 4일 때, j - i ≥0이므로, dp[4] += dp[2]에서 dp[2]는 2이므로 dp[4]도 3이다. 왜냐하면 dp[4]가 앞서 1이었기 때문에

이로써 dp[4] = 3이므로, 경우의 수가 3개가 나온다.

[17413] 단어뒤집기2 #python

냥냥친구 — Tue, 22 Sep 2020 08:52:04 +0900

백준 17413번 단어뒤집기2

text = list(input())
flag = False

result = []
temp = []
for i, t in enumerate(text):
    if t == "<":
        if len(temp) > 0:
            temp.reverse()
            result.extend(temp)
            temp = []
        flag = True
        temp.append(t)
    elif t == ">":
        flag = False
        temp.append(t)
        result.extend(temp)
        temp = []
    elif t == " ":
        if flag == False:
            temp.reverse()
            temp.append(t)
            result.extend(temp)
            temp = []
        else:
            temp.append(t)
    else:
        temp.append(t)
        if len(text) == i+1:
            temp.reverse()
            result.extend(temp)

print(''.join(result))

[17729] 오등큰수 #python

냥냥친구 — Tue, 22 Sep 2020 08:49:39 +0900

백준 17299번 오등큰수

import sys

num = int(input())
a = list(map(int, input().split(" ")))
result = ["-1" for _ in range(num)]
stack = [0]
count = dict()
for i in a:
    try:
        count[i] += 1
    except:
        count[i] = 1

for i in range(num):
    while stack and count[a[stack[-1]]] < count[a[i]]:
        result[stack[-1]] = str(a[i])
        stack.pop()
    stack.append(i)
    i+=1

print(" ".join(result))

[17298]오큰수와 같은 유형의 문제이다. 다만, 오등큰수는 각 원소 별 합에 대한 크기를 비교한다.

count에 원소를 키로 해서 키 별 원소 개수를 저장한다.

stack에는 a의 인덱스 값을 저장할 건데, for문을 돌면서 count[a] 값이 작은 a의 인덱스를 stack에 push하다가 stack[-1]보다 큰 count[a]를 만나면 stack에서 인덱스를 pop한다.

[Tip] 백준 시간 초과 에러

냥냥친구 — Mon, 21 Sep 2020 23:44:15 +0900

로직의 이슈가 없는데도 시간 초과가 난다면, input() 대신 아래와 같이 sys 모듈을 사용하자.

python 이외의 언어는 빠른 A+B를 참고하세요.

import sys

#num = int(input()) 대신 아래의 코드를 쓰자.
num = int(sys.stdin.readline())

하지만 우리는 코딩할 때, input()으로 코드를 짜기 때문에 이를 일일히 sys.stdin.readline() 바꾸기가 번거롭다. 그럴 때는 sys.stdin.readline 를 input 으로 덮어쓰면 조금 더 간편해진다.

import sys

input = sys.stdin.readline
#기존의 코드를 수정할 필요가 없어진다.
num = int(input())

참고로, sys.stdin.readline() 은 마지막에 엔터 개행문자가 들어가므로 rstirp()을 사용하여 제거해야 한다.

import sys
input = sys.stdin.readline

text = input().strip(" ").rstrip()

#rstrip() : 문자열의 오른쪽 공백제거

[17298] 오큰수 #python

냥냥친구 — Mon, 21 Sep 2020 23:42:36 +0900

백준 17298번 오큰수

내가 푼 코드 ⇒ 시간초과

num = int(input())
a = list(map(int, input().split(" ")))
result = []
for i in range(num):
    if i+1 == num:
        result.append("-1")
        break
    max_num = max(a[i+1:])
    if a[i] < max_num:
        for j in range(i+1, num):
            if a[j] > a[i]:
                result.append(str(a[j]))
                break
    else:
        result.append("-1")
print(" ".join(result))

정답

num = int(input())
a = list(map(int, input().split(" ")))
result = ["-1" for _ in range(num)]
stack = []
stack.append(0)
i = 1
for i in range(num):
    while stack and a[stack[-1]] < a[i]:
        result[stack[-1]] = str(a[i])
        stack.pop()

    stack.append(i)
    i += 1

print(" ".join(result))

num의 최댓값이 백만이므로, 이중포문을 돌면 시간초과가 발생한다.

stack을 사용해서 해결하는데, 작은 수의 인덱스를 stack에 push 하다가 큰 수를 만나면 큰 수보다 작은 stack의작은 수를 모두 pop한다. 이런 식으로 push와 pop을 반복하며 바로 다음 큰 수를 찾는다.