실습

Security Context

1. Pod 생성

   cat <<EOF | kubectl apply -f -
   apiVersion: v1
   kind: Pod
   metadata:
     name: nginx
   spec:
     containers:
     - image: nginx
       name: nginx
   EOF

2. 컨테이너에서 프로세스를 실행중인 유저 확인

   kubectl exec nginx -- id 

3. 프로세스 유틸리티 설치

   kubectl exec nginx -- bash -c "apt update && apt install -y procps"

4. 실행중인 프로세스 확인

   kubectl exec nginx -- ps aux

5. nginx 유저 확인

   kubectl exec nginx -- id nginx

6. Pod 재생성

   cat <<EOF | kubectl replace --force -f -
   apiVersion: v1
   kind: Pod
   metadata:
     name: nginx
   spec:
     securityContext:
       runAsNonRoot: true
     containers:
     - image: nginx
       name: nginx
   EOF

7. Pod가 생성되었는지 확인

   kubectl get pod nginx

8. Pod에 명시된 컨테이너가 실행 되지 않는다면 그 이유를 확인

   kubectl describe pod nginx

9. Pod 재생성

   cat <<EOF | kubectl replace --force -f -
   apiVersion: v1
   kind: Pod
   metadata:
     name: nginx
   spec:
     securityContext:
       runAsNonRoot: true
       runAsUser: 101
     containers:
     - image: nginx
       name: nginx
   EOF

10. Pod가 생성되었는지 확인

    kubectl get pod nginx

11. Pod에 명시된 컨테이너가 실행 되지 않는다면 그 이유를 확인

    kubectl describe pod nginx

12. Pod 로그 확인

    kubectl logs nginx

13. NGINX 설정 파일 확인

    kubectl run nginx-tmp --image=nginx --rm -it --restart=Never \
    -- cat /etc/nginx/nginx.conf

14. Pod 재생성

    cat <<EOF | kubectl replace --force -f -
    apiVersion: v1
    kind: ConfigMap
    metadata:
      name: nginx
    data:
      nginx.conf: |
        
        worker_processes  auto;
        
        error_log  /var/log/nginx/error.log notice;
        pid        /var/run/nginx.pid;
        
        
        events {
            worker_connections  1024;
        }
        
        
        http {
            include       /etc/nginx/mime.types;
            default_type  application/octet-stream;
        
            log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                              '$status $body_bytes_sent "$http_referer" '
                              '"$http_user_agent" "$http_x_forwarded_for"';
        
            access_log  /var/log/nginx/access.log  main;
        
            sendfile        on;
            #tcp_nopush     on;
        
            keepalive_timeout  65;
        
            #gzip  on;
        
            include /etc/nginx/conf.d/*.conf;
        }
    ---
    apiVersion: v1
    kind: Pod
    metadata:
      name: nginx
    spec:
      securityContext:
        runAsNonRoot: true
        runAsUser: 101
      containers:
      - image: nginx
        name: nginx
        ports:
        - containerPort: 80
        volumeMounts:
        - name: nginx-conf
          mountPath: /etc/nginx/nginx.conf
          subPath: nginx.conf
      volumes:
      - name: nginx-conf
        configMap:
          name: nginx
          items:
          - key: nginx.conf
            path: nginx.conf
    EOF

15. Pod가 생성되었는지 확인

    kubectl get pod nginx

16. Pod에 명시된 컨테이너가 실행 되지 않는다면 그 이유를 확인

    kubectl describe pod nginx

17. Pod 로그 확인

    kubectl logs nginx

18. 아래의 Dockerfile로 새로운 컨테이너 이미지 생성

    FROM nginx
    WORKDIR /app
    RUN chown -R nginx:nginx /app && chmod -R 755 /app && \
            chown -R nginx:nginx /var/cache/nginx && \
            chown -R nginx:nginx /var/log/nginx && \
            chown -R nginx:nginx /etc/nginx/conf.d
    RUN touch /var/run/nginx.pid && \
            chown -R nginx:nginx /var/run/nginx.pid
    USER nginx
    CMD ["nginx", "-g", "daemon off;"]

19. Pod 재생성

    cat <<EOF | kubectl replace --force -f -
    apiVersion: v1
    kind: Pod
    metadata:
      name: nginx
    spec:
      securityContext:
        runAsNonRoot: true
        runAsUser: 101
      containers:
      - image: youngwjung/nginx-nonroot
        name: nginx
        ports:
        - containerPort: 80
        volumeMounts:
        - name: nginx-conf
          mountPath: /etc/nginx/nginx.conf
          subPath: nginx.conf
      volumes:
      - name: nginx-conf
        configMap:
          name: nginx
          items:
          - key: nginx.conf
            path: nginx.conf
    EOF

20. Pod 상태 확인

    kubectl get pod nginx

21. Pod 로그 확인

    kubectl logs nginx

22. Pod 재생성

    cat <<EOF | kubectl replace --force -f -
    apiVersion: v1
    kind: ConfigMap
    metadata:
      name: nginx
    data:
      nginx.conf: |
        
        worker_processes  auto;
        
        error_log  /var/log/nginx/error.log notice;
        pid        /var/run/nginx.pid;
        
        
        events {
            worker_connections  1024;
        }
        
        
        http {
            include       /etc/nginx/mime.types;
            default_type  application/octet-stream;
        
            log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                              '$status $body_bytes_sent "$http_referer" '
                              '"$http_user_agent" "$http_x_forwarded_for"';
        
            access_log  /var/log/nginx/access.log  main;
        
            sendfile        on;
            #tcp_nopush     on;
        
            keepalive_timeout  65;
        
            #gzip  on;
            
            server {
                listen       8080;
                server_name  localhost;
                location / {
                    root   /usr/share/nginx/html;
                    index  index.html index.htm;
                }
            }
        }
    ---
    apiVersion: v1
    kind: Pod
    metadata:
      name: nginx
    spec:
      securityContext:
        runAsNonRoot: true
        runAsUser: 101
      containers:
      - image: youngwjung/nginx-nonroot
        name: nginx
        ports:
        - containerPort: 80
        volumeMounts:
        - name: nginx-conf
          mountPath: /etc/nginx/nginx.conf
          subPath: nginx.conf
      volumes:
      - name: nginx-conf
        configMap:
          name: nginx
          items:
          - key: nginx.conf
            path: nginx.conf
    EOF

23. Pod 상태 확인

    kubectl get pod nginx

24. 컨테이너가 정상적으로 실행중인지 확인

    kubectl exec nginx -- curl -s localhost:8080

25. 새로운 Pod 생성

    cat <<EOF | kubectl apply -f -
    apiVersion: v1
    kind: Pod
    metadata:
      name: ubuntu
    spec:
      securityContext:dddd
        runAsNonRoot: true
        runAsUser: 101
      containers:
      - image: ubuntu
        name: ubuntu
        command: ["sleep", "3600"]
    EOF

26. 컨테이너에서 프로세스를 실행중인 유저 확인

    kubectl exec ubuntu -- id 

27. 실행중인 프로세스 확인

    kubectl exec ubuntu -- ps aux

28. NGINX 설치 시도

    kubectl exec ubuntu -- bash -c "apt update && apt install -y nginx"

29. Pod 재생성

    cat <<EOF | kubectl replace --force -f -
    apiVersion: v1
    kind: Pod
    metadata:
      name: ubuntu
    spec:
      securityContext:
        runAsNonRoot: true
        runAsUser: 101
      containers:
      - image: ubuntu
        name: ubuntu
        command: ["sleep", "3600"]
        securityContext:
          runAsUser: 0
    EOF

30. Pod가 정상적으로 생성되었는지 확인

    kubectl get pod ubuntu

31. Pod에 명시된 컨테이너가 실행되지 않는다면 그 이유를 확인

    kubectl describe pod ubuntu

32. Pod 재생성

    cat <<EOF | kubectl replace --force -f -
    apiVersion: v1
    kind: Pod
    metadata:
      name: ubuntu
    spec:
      securityContext:
        runAsUser: 101
      containers:
      - image: ubuntu
        name: ubuntu
        command: ["sleep", "3600"]
        securityContext:
          runAsUser: 0
    EOF

33. 컨테이너에서 프로세스를 실행중인 유저 확인

    kubectl exec ubuntu -- id 

34. 새로운 Pod 생성

    cat <<EOF | kubectl apply -f -
    apiVersion: v1
    kind: Pod
    metadata:
      name: alpine
    spec:
      containers:
      - image: alpine
        name: alpine
        command: ["sleep", "3600"]
        volumeMounts:
        - name: dev
          mountPath: /mnt/dev
      volumes:
      - name: dev
        hostPath:
          path: /dev
    EOF

35. 생성된 컨테이너를 통해 호스트의 디스크 디바이스 접근 시도

    kubectl exec alpine -- head /mnt/dev/xvda

36. 컨테이너에서 프로세스를 실행중인 유저 확인

    kubectl exec ubuntu -- id 

37. Pod 재생성

    cat <<EOF | kubectl replace --force -f -
    apiVersion: v1
    kind: Pod
    metadata:
      name: alpine
    spec:
      containers:
      - image: alpine
        name: alpine
        command: ["sleep", "3600"]
        volumeMounts:
        - name: dev
          mountPath: /mnt/dev
        securityContext:
          privileged: true
      volumes:
      - name: dev
        hostPath:
          path: /dev
    EOF

38. 생성된 컨테이너를 통해 호스트의 디스크 디바이스 접근 시도

    kubectl exec alpine -- head /mnt/dev/xvda

39. 리소스 삭제

    {
        kubectl delete pod ubuntu alpine nginx
        kubectl delete cm nginx
    }

Seccomp

1. Pod 생성

   cat <<EOF | kubectl apply -f -
   apiVersion: v1
   kind: Pod
   metadata:
     name: ubuntu
   spec:
     containers:
     - image: ubuntu
       name: ubuntu
       command: ["sleep", "3600"]
   EOF

2. 새로운 리눅스 네임스페이스를 만드는 명령어 실행

   kubectl exec -it ubuntu -- unshare

4. Pod 생성

   cat <<EOF | kubectl apply -f -
   apiVersion: v1
   kind: Pod
   metadata:
     name: ubuntu
   spec:
     securityContext:
       seccompProfile:
         type: RuntimeDefault
     containers:
     - image: ubuntu
       name: ubuntu
       command: ["sleep", "3600"]
   EOF

Network Policy

1. Tigera Calico Operator 설치

   {
       helm repo add projectcalico https://docs.projectcalico.org/charts
       helm repo update
       helm install calico projectcalico/tigera-operator --version v3.21.4
   }

2. Calico Operator 설치 확인

   kubectl get all -n tigera-operator

3. Calico CNI 설치 확인

   kubectl get all -n calico-system

4. 모든 Calico 구성 요소들이 정상 동작중인지 확인 - 에러메시지가 없으면 정상으로 판단

   {
       kubectl logs deploy/tigera-operator -n tigera-operator | grep ERROR
       kubectl logs ds/calico-node -n calico-system | grep ERROR
       kubectl logs deploy/calico-typha -n calico-system | grep ERROR
   }

5. 리소스 생성

   cat <<EOF | kubectl apply -f -
   apiVersion: v1
   kind: Namespace
   metadata:
     name: red
     labels:
       env: red
   ---
   apiVersion: v1
   kind: Pod
   metadata:
     name: client
     namespace: red
     labels:
       role: client
   spec:
     containers:
     - image: curlimages/curl
       name: client
       command: ["sleep", "3600"]
   ---
   apiVersion: v1
   kind: Namespace
   metadata:
     name: blue
     labels:
       env: blue
   ---
   apiVersion: v1
   kind: Pod
   metadata:
     name: client
     namespace: blue
     labels:
       role: client
   spec:
     containers:
     - image: curlimages/curl
       name: client
       command: ["sleep", "3600"]
   ---
   apiVersion: v1
   kind: Namespace
   metadata:
     name: web
     labels:
       env: web
   ---
   apiVersion: v1
   kind: Pod
   metadata:
     name: server
     namespace: web
     labels:
       role: server
   spec:
     containers:
     - image: httpd
       name: httpd
   ---
   apiVersion: v1
   kind: Pod
   metadata:
     name: client
     namespace: web
     labels:
       role: client
   spec:
     containers:
     - image: curlimages/curl
       name: client
       command: ["sleep", "3600"]
   EOF

6. web Namespace에 있는 server Pod의 IP 주소 확인

   kubectl get pod server -o wide -n web

7. red Namespace에 있는 client Pod에서 web Namespace에 있는 server Pod 호출

   kubectl -n red exec client -- \
   curl -s $(kubectl get pod server -n web -o=jsonpath='{.status.podIP}')

8. red 및 blue Namespace에 Network Policy 생성

   cat <<EOF | kubectl apply -f -
   apiVersion: networking.k8s.io/v1
   kind: NetworkPolicy
   metadata:
     name: default-deny-egress
     namespace: red
   spec:
     podSelector: {}
     policyTypes:
     - Egress
   ---
   apiVersion: networking.k8s.io/v1
   kind: NetworkPolicy
   metadata:
     name: default-deny-egress
     namespace: blue
   spec:
     podSelector: {}
     policyTypes:
     - Egress
   EOF

9. red Namespace에 있는 client Pod에서 web Namespace에 있는 server Pod 호출 - timeout을 1초로 설정

   kubectl -n red exec client -- \
   curl -m 1 -s $(kubectl get pod server -n web -o=jsonpath='{.status.podIP}')

10. red Namespace에 새로운 Network Policy 생성

    cat <<EOF | kubectl apply -f -
    apiVersion: networking.k8s.io/v1
    kind: NetworkPolicy
    metadata:
      name: allow-egress-server
      namespace: red
    spec:
      podSelector:
        matchLabels:
          role: client
      policyTypes:
      - Egress
      egress:
      - to:
        - ipBlock:
            cidr: $(kubectl get pod server -n web -o=jsonpath='{.status.podIP}')/32
        ports:
        - protocol: TCP
          port: 80
    EOF

11. 위에서 생성한 Network Policy 확인

    kubectl -n red describe networkpolicy allow-egress-server

12. red Namespace에 있는 client Pod에서 web Namespace에 있는 server Pod 호출 - timeout을 1초로 설정

    kubectl -n red exec client -- \
    curl -m 1 -s $(kubectl get pod server -n web -o=jsonpath='{.status.podIP}')

13. blue Namespace에 있는 client Pod에서 web Namespace에 있는 server Pod 호출 - timeout을 1초로 설정

    kubectl -n blue exec client -- \
    curl -m 1 -s $(kubectl get pod server -n web -o=jsonpath='{.status.podIP}')

14. blue Namespace에 새로운 Network Policy 생성

    cat <<EOF | kubectl apply -f -
    apiVersion: networking.k8s.io/v1
    kind: NetworkPolicy
    metadata:
      name: allow-egress-server
      namespace: blue
    spec:
      podSelector:
        matchLabels:
          role: client
      policyTypes:
      - Egress
      egress:
      - to:
        - podSelector:
            matchLabels:
              role: server
        ports:
        - protocol: TCP
          port: 80
    EOF

15. 위에서 생성한 Network Policy 확인

    kubectl -n blue describe networkpolicy allow-egress-server

16. blue Namespace에 있는 client Pod에서 web Namespace에 있는 server Pod 호출 - timeout을 1초로 설정

    kubectl -n blue exec client -- \
    curl -m 1 -s $(kubectl get pod server -n web -o=jsonpath='{.status.podIP}')

17. 위에서 생성한 Network Policy 수정

    cat <<EOF | kubectl apply -f -
    apiVersion: networking.k8s.io/v1
    kind: NetworkPolicy
    metadata:
      name: allow-egress-server
      namespace: blue
    spec:
      podSelector:
        matchLabels:
          role: client
      policyTypes:
      - Egress
      egress:
      - to:
        - namespaceSelector:
            matchLabels:
              env: web
        ports:
        - protocol: TCP
          port: 80
    EOF

18. 위에서 수정한 Network Policy 확인

    kubectl -n blue describe networkpolicy allow-egress-server

19. blue Namespace에 있는 client Pod에서 web Namespace에 있는 server Pod 호출 - timeout을 1초로 설정

    kubectl -n blue exec client -- \
    curl -m 1 -s $(kubectl get pod server -n web -o=jsonpath='{.status.podIP}')

20. web Namespace에 Network Policy 생성

    cat <<EOF | kubectl apply -f -
    apiVersion: networking.k8s.io/v1
    kind: NetworkPolicy
    metadata:
      name: default-deny-all
      namespace: web
    spec:
      podSelector: {}
      policyTypes:
      - Ingress
      - Egress
    EOF

21. blue Namespace에 있는 client Pod에서 web Namespace에 있는 server Pod 호출 - timeout을 1초로 설정

    kubectl -n blue exec client -- \
    curl -m 1 -s $(kubectl get pod server -n web -o=jsonpath='{.status.podIP}')

22. web Namespace에 새로운 Network Policy 생성 - Egress 정책

    cat <<EOF | kubectl apply -f -
    apiVersion: networking.k8s.io/v1
    kind: NetworkPolicy
    metadata:
      name: allow-all-egress
      namespace: web
    spec:
      podSelector: {}
      policyTypes:
      - Egress
      egress:
      - {}
    EOF

23. web Namespace에 새로운 Network Policy 생성 - Ingress 정책

    cat <<EOF | kubectl apply -f -
    apiVersion: networking.k8s.io/v1
    kind: NetworkPolicy
    metadata:
      name: allow-ingress-blue-client
      namespace: web
    spec:
      podSelector:
        matchLabels:
          role: server
      policyTypes:
      - Ingress
      ingress:
      - from:
        - namespaceSelector:
            matchLabels:
              env: blue
          podSelector:
            matchLabels:
              role: client
    EOF

24. blue Namespace에 있는 client Pod에서 web Namespace에 있는 server Pod 호출 - timeout을 1초로 설정

    kubectl -n blue exec client -- \
    curl -m 1 -s $(kubectl get pod server -n web -o=jsonpath='{.status.podIP}')

25. blue Namespace에 새로운 Pod를 생성

    kubectl -n blue run nginx --image=nginx

26. 위에서 생성한 Pod에서 web Namespace에 있는 server Pod 호출 - timeout을 1초로 설정

    kubectl -n blue exec nginx -- \
    curl -m 1 -s $(kubectl get pod server -n web -o=jsonpath='{.status.podIP}')

27. 리소스 삭제

    kubectl delete ns red blue web

28. Calico 삭제

    helm uninstall calico

29. Calico가 삭제되었는지 확인

    kubectl get ns tigera-operator calico-system

30. 한개의 Node로 Session Manager 연결

    aws ssm start-session --target \
    $(kubectl get node -o jsonpath='{.items[0].spec.providerID}{"\n"}' | grep -oE "i-[a-z0-9]+")

31. Calico CNI가 생성한 iptable 규칙들이 남아 있는지 확인

    sudo iptables-save | grep -i cali

32. Session Manager 종료

    exit

33. 모든 Node 삭제 - 관리형 노드그룹에 의해서 새로운 Node가 자동으로 생성됨

    aws ec2 terminate-instances --instance-ids \
    $(kubectl get node -o jsonpath='{.items[*].spec.providerID}' | grep -oE "i-[a-z0-9]+" | column)

34. Node를 새로 생성할수 없는 경우에는 해당 문서를 참고 - https://github.com/projectcalico/calico/blob/master/calico/hack/remove-calico-policy/remove-policy.md

35. 새로운 Node가 생성되었는지 확인

    kubectl get node

36. 한개의 Node로 Session Manager 연결

    aws ssm start-session --target \
    $(kubectl get node -o jsonpath='{.items[0].spec.providerID}{"\n"}' | grep -oE "i-[a-z0-9]+")

37. Calico CNI가 생성한 iptable 규칙들이 남아 있는지 확인

    sudo iptables-save | grep -i cali

38. Session Manager 종료

    exit