Vie d'Anaelle

출처: https://tv.naver.com/v/23652089/list/753227 BERT로 만든 네이버 플레이스 비슷한 취향 유저 추천 시스템 NAVER D2 | 주윤상/유원홍 - BERT로 만든 네이버 플레이스 비슷한 취향 유저 추천 시스템 tv.naver.com 앞 내용은 생략..! MLOps의 요소: DevOps + Data Engineering+ ML

출처: https://tv.naver.com/v/23650093 AiSuite : Kubeflow를 통해 더 나은 AI 모델 서빙과 MLOps 실현하기 NAVER D2 | 한완규/박정욱 - AiSuite : Kubeflow를 통해 더 나은 AI 모델 서빙과 MLOps 실현하기 tv.naver.com Hadoop은 빅데이터 처리를 하기 위한 플랫폼으로, 아래와 같은 단점이 있다 컨테이너 오케스트레이션의 제약 : AI서비스를 관리하기에 배포, 스케일링, 모니터링 등 컨테이너 관리기능 한계 컨테이너 네트워킹을 위한 추가개발 필요: 오버레이 네트워크 지원을 위해 Flannel및 DNS직접 커스터마이징해야함. GPU스케줄링한계: Hadoop 내 GPU지원 한계로, GPU스케줄러 직접개발해서 사용해야 함. 서빙 플..

Minikube 를 활용하면 된다. 1. VirtualBox 설치 (선택 사항) Minikube는 기본적으로 VirtualBox를 가상화 드라이버로 사용한다. VirtualBox가 설치되어 있지 않은 경우, 다음 명령으로 설치 brew install virtualbox brew install minikube minikube start brew install kubectl #클러스터 정보 확인 kubectl cluster-info 이제 macOS에서 로컬 Kubernetes 클러스터가 실행 중이다. 필요에 따라 kubectl 명령을 사용하여 애플리케이션을 배포하고 관리할 수 있다. Minikube는 로컬 테스트 및 개발 환경에 적합하며, 개발 및 테스트용으로 Kubernetes를 사용하는 데 유용하다.

1. kafka 종류 기본적으로 많이 쓰이는건 wurstmeister 이라고 한다! 2. Docekr 버전 확인 docker는 이전에 설치해 놨다. docker-compose도 같이 설치된다고 한다. 3. wurstmeister/kafka-docker 깃클론 4. kafka-docker 디렉터리 내부 docker-compose.yml 파일 설정 바꾸기 mac북이면 kafka_advertised_host_name에 local 내부 Ip 쓰면된다고함 아래 명령어 중 하나로 로컬 ip 찾을 수 있다 $ifconfig | grep inet $ipconfig getifaddr en0 5. Kafka container 시작 docker-compose up -d​ 시작이 완료되면 아래와 같이 뜬다. Kafka 컨테이..

What is Core Pinning? (CPU affinity) https://www.nas.nasa.gov/hecc/support/kb/processthread-pinning-overview_259.html pinning -> the binding of a process or thread to a specific core, can improve the performance of your code by increasing the percentage of local memory accesses. 멀티코어 환경에서 SW 성능 높이기 위해, 프로세스를 처리할수있는 CPU종류를 설정하는 것. Once your code runs and produces correct results on a system, the ..

https://www.youtube.com/watch?v=-pimSpfBEBY 1. Docker Pytorch container 실행 https://hub.docker.com 여기 tags 들어가면 파이토치 여러 버전 확인 가능 Docker Hub Container Image Library | App Containerization Deliver your business through Docker Hub Package and publish apps and plugins as containers in Docker Hub for easy download and deployment by millions of Docker users worldwide. hub.docker.com 2. NVIDIA CUDA Runt..

Lawrence Berkely National Lab에서 만들어짐 내 데스크탑에서 container build 한 후 HPC 클러스터, 서버, 어디서든 돌릴 수 있다. Singularity was created to run complex applications on HPC clusters in a simple, portable, and reproducible way. One of the main uses of Singularity is to bring containers and reproducibility to scientific computing and the high-performance computing (HPC) world.[5] Singularity가 집중한 것 Verifiable reprodu..

컨테이너.. 도커 공부중.. 전문성 제로 참고만 하세요 1. 다운로드 https://docs.docker.com/desktop/install/mac-install/ Install Docker Desktop on Mac docs.docker.com 2. 설치 3. 계정생성 4. 튜토리얼 welcome-to-docker속의 Dockerfile 을 그냥 사용하면 에러가 뜸. 인터넷에서 간단한 도커파일 예시를 찾아서 넣어줘보자. Dockerfile이라는 이름으로 welcome-to-docker안에 만들어줬음. FROM alpine:3.10 ENTRYPOINT ["echo", "hello"] docker run을 했더니 hello를 출력하고 컨테이너가 종료됨 아래 명령어로 우분투 설치도 해봄. 맥에서 뭘 만들고 ..

여름방학 계획 코딩테스트 준비 c언어, 파이썬 취업준비 Github, tistory, linkedin DeepLearning 텐서플로, 파이토치, 분산딥러닝, 도커 recommender system DL-based recommender system, HugeCTR bc서버로 실험 취업준비

참고: https://feedbackcontrol.tistory.com/entry/%EA%B3%A0%EC%84%B1%EB%8A%A5-%EC%BB%B4%ED%93%A8%ED%8C%85-HPC-High-Performance-Computing 고성능 컴퓨팅 HPC (High Performance Computing)구성 방법 HPC는 연구분야에 많이 활용됩니다. 물리적으로 분리된 다수의 노드(하드웨어)를 논리적으로 한대로 묶은 파일 시스템으로 보시면 됩니다. HPC 인프라를 설치및 구성 방법에 대해서 설명하겠습니 feedbackcontrol.tistory.com Application ~ (Scheduler, MPI(Message Passing Interface)) MPI 종류로는 openMPI, IntelMPI..