전체 글114 AWS SageMaker HyperPod (w. EKS) 도입기 도입 배경딥러닝 모델을 학습하는 과정을 온프레미스 환경에서 수행하고 있었다. (온프레미스 환경의 GPU 워크로드는 쿠버네티스로 연동되어 있는 상태)모델의 크기 및 데이터 볼륨이 증가함에 따라 FSDP, DDP와 같은 분산 학습 기법을 활용했음.멀티 노드 분산 학습과정을 위해 Kubeflow의 Training Operator를 활용했지만, 인프라 관리 비용과 네트워크 병목이 발생했다.Kustomize, Istio와 같은 스택들을 관리하는 데에서 오는 부담감InfiniBand가 아닌 일반 이더넷 기반에서 NCCL 백엔드의 TCP 소켓 통신에 대한 대역폭 병목적합한 서비스를 찾던 와중, Slurm과 같은 HPC 플랫폼과 Kubernetes를 오케스트레이터로 지원하는 SageMaker의 HyperPod를 발견했.. 2025. 4. 4. 쿠버네티스 환경의 서비스 디스커버리 서비스의 규모가 커질수록 모놀리식 아키텍처로 관리하는 것은 점점 한계가 존재한다. 도메인 혹은 기능간의 의존성이 생기고 이를 서버 혹은 컨테이너 단위로 분리해야 의존성을 제거할 수 있다. 이러한 형태를 MSA(Micro Service Architecture)라고 한다. 그러나, MSA는 사실 이상적인 형태로써, DDD(Domain-Driven Development)가 제대로 수행되어야 실질적으로 서비스 간의 의존성을 깨끗하게 정리할 수 있다. 그리고, 아무리 MSA라 하더라도, 다양한 요소로 인해 전반적인 아키텍처는 훨씬 복잡해질 수 있다. 예를 들면, 로드 밸런싱(Load Balancing)의 문제이다. 만약 단일 서버 혹은 컨테이너가 비동기적으로 오는 클라이언트의 무수한 요청을 받기 위해 노력하고 있.. 2024. 5. 26. 0. 옵시디언 (Obsidian) 마이그레이션 오늘은 옵시디언이라는 워크스페이스에 대해서 간단하게 알아보고, 노션에서 마이그레이션하는 방법에 대해 알아보겠습니다. ㅎㅎ 사실 많은 고민을 했습니다. 굳이 노션을 잘 사용하고 있는데, 옵시디언으로 갈아타야 하나..? 라는 생각이 들 때, 다음과 같은 내용이 저를 확 끌어당긴 것 같아요. 바로 옵시디언의 꽃인 그래프 뷰(Graph View)인데요. 저 같은 경우에는 노션에 방대한 양의 페이지가 쌓이면서 나름 hierarchy하게 구조를 가져간다고 생각했지만, 실제로는 해당 페이지의 depth까지 타고 들어가야 파악할 수 있다는 단점이 있었어요. 그래서 처음엔 대충 사람들이 하라는대로 마이그레이션 하면 되겠지~ 라는 안일한 마인드로 하다가 여러 삽질 끝에 성공적으로 마이그레이션한 케이스를 공유하고자 합니다... 2023. 10. 13. 2023-06-30 회고록 안녕하세요. 저번에는 우울한 내용으로 회고록을 가져왔다면, 이번에는 다소 긍정적인 내용으로 소식을 전하고자 합니다. 앞서, A 스타트업으로부터 경영 악화로 인해 해고당하며, 밀린 월급에 대한 처리를 하고, 이직을 위해 이력서를 다시 작성하고, 여러 기업에 지원서를 내미는 상황이었습니다. 처음에는 아는 형과 호기롭게 규모가 큰 기업에 이력서들을 내밀었습니다. 저는 데이터 사이언티스트로써 모델을 연구하고, 형은 A 스타트업에서 MLOps 포지션으로 모델을 배포해주기에 같은 회사에 입사하면 서로 좋은 시너지가 날 것이라 생각해서 같이 지원을 했습니다. 하지만, 보기 좋게 대기업들에서는 서류 광탈 메일만 날라오고 저희는 점점 말수가 적어져갔습니다. 결국 같이 지원하기 시작한지 2주쯤 되자 각자도생으로 서로 언젠.. 2023. 6. 30. # 0. 비선형성 (Nonlinearity) P.S. 안녕하세요. 해당 딥러닝 카테고리는 이직을 위해 기술면접을 보던 도중 딥러닝의 기본 요소들에 대해 구체적으로 말할 수 있을 정도가 아니라고 생각이 들어서 다시한번 복습하기 위해 만들었습니다. 딥러닝에 대한 배경지식이 있다는 가정하에 정리를 할 예정입니다. 비선형성을 딥러닝 사용하는 직관적인 이유딥러닝 모델에 비선형성을 부여하는 것은 매우 당연한 일이다.어떻게 보면 비선형 함수를 누적해서 부여하는 행위 자체가 딥러닝이기도 하다.선형 변환(Linear Transfomation)의 개념을 안다면, 단순 직교 좌표계 변환만으로는 복잡한 고차원적인 문제를 해결할 수 없다는걸 알 수 있다.그래서, 비선형 변환을 통해 직교 좌표계 공간을 곡선의 형태로 변환하여 보다 복잡한 문제를 해결하기 위함이다. 위 그림.. 2023. 6. 14. # 1. 베이지안 이론 (Bayesian Theory) 빈도 확률 (Frequentist Probability) VS 베이지안 확률 (Bayesian Probability) 빈도 확률 (Frequentist Probability) 동전의 앞면이 나올 확률은 몇일지 궁금하다고 가정한다. 10번을 던져서 4번이 앞면이 나온경우 0.4의 확률을 가지고 더 높은 신뢰도를 위해 100번을 던져서 45번이 앞면이 나온 경우 0.45로 생각할 수 있다. 이러한 수행을 반복하여 빈도(Frequency)를 측정하여 빈도 확률을 계산할 수 있다. 베이지안 확률 (Bayesian Probability) 하지만, 현실에서는 동전을 던지는 것만큼 간단하게 수행할 수 없는 현상들이 존재한다. 이렇게 일어나지 않은 사건에 대한 확률을 추정하는 것이 베이지안 확률이다. 베이즈 정리 (B.. 2023. 6. 9. 이전 1 2 3 4 ··· 19 다음
