주요 콘텐츠로 건너뛰기
버전: 1.0.0

Docker로 노드 시작

이 문서의 모든 명령어는 최신 Docker와 컨테이너에 사용할 수 있는 최소 8GB의 RAM이 있는 모든 컴퓨터에서 변경 없이 실행할 수 있습니다. 기본적으로 컨테이너는 CPU를 사용하여 계산을 수행하므로 대규모 LLM의 경우 속도가 느려질 수 있습니다. GPU의 경우,

  • Mac: 여기의 모든 내용은 Mac용 Docker Desktop에서 작동합니다. 그러나 2024년 후반에 WebGPU가 Docker에서 지원될 때까지는 Apple GPU 코어를 Docker 컨테이너 내에서 사용할 수 없습니다.
  • Nvidia GPU가 탑재된 Windows 및 Linux: 다음을 설치해야 합니다. NVIDIA 컨테이너 툴킷 를 설치합니다. 아래 지침에서 최신 태그 cuda12 또는 cuda11 를 사용하려면 GPU를 활용하고 --device nvidia.com/gpu=all 플래그. 이미지를 직접 작성해야 하는 경우 다음을 대체합니다. 도커파일 와 함께 Dockerfile.cuda12 또는 Dockerfile.cuda11.

실행할 수 있는 GaiaNet 도커 이미지를 찾아보세요!

빠른 시작​

GaiaNet 노드용 Docker 컨테이너를 시작합니다. 이 터미널에서 GaiaNet 노드의 실행 로그를 인쇄합니다.

도커 실행 --이름 가이아넷 \.
  -p 8080:8080 \
  -v $(pwd)/qdrant_storage:/root/gaianet/qdrant/storage:z \.
  가이아넷/phi-3-mini-instruct-4k_paris:최신

다음과 같이 표시되면 노드가 준비된 것입니다. 가이아넷 노드는 다음 주소에서 시작됩니다: https://... 를 클릭합니다. 브라우저에서 해당 URL로 이동하여 GaiaNet 노드와 상호 작용할 수 있습니다.

도커 이미지에는 노드에 필요한 LLM과 임베딩 모델이 포함되어 있습니다. 그러나 벡터 컬렉션 스냅샷(즉, 지식창고)은 노드가 시작될 때 다운로드 및 가져오기됩니다. 시작될 때 다운로드 및 가져옵니다. 이는 지식 기반이 자주 업데이트될 수 있기 때문입니다. 노드가 시작될 때 qdrant_storage 디렉토리에 벡터 데이터베이스 콘텐츠가 저장됩니다.

또는 Nvidia CUDA 12 머신에서 GaiaNet을 실행하는 명령은 다음과 같습니다.

도커 실행 --이름 가이아넷 \.
  -p 8080:8080 --device nvidia.com/gpu=all \.
  -v $(pwd)/qdrant_storage:/root/gaianet/qdrant/storage:z \.
  gaianet/phi-3-mini-instruct-4k_paris:cuda12

중지 후 다시 시작​

다음과 같이 노드를 중지했다가 다시 시작할 수 있습니다. 다시 시작할 때마다 벡터 컬렉션(지식창고)을 다시 초기화합니다. 컬렉션(지식창고)을 다시 활성화합니다.

도커 중지 가이아넷
도커 시작 가이아넷

참고: 노드를 다시 시작하면 로그 메시지가 더 이상 콘솔에 인쇄되지 않습니다. 재시작한 노드가 다시 온라인 상태가 될 때까지 몇 분 정도 기다려야 합니다. 여전히 로그를 볼 수 있습니다. 다음과 같이 컨테이너에 로그인하여 로그를 확인할 수 있습니다.

도커 실행 -잇 가이아넷 /bin/bash
tail -f /root/gaianet/log/start-llamaedge.log

노드가 더 이상 필요하지 않은 경우 노드를 삭제할 수도 있습니다.

도커 중지 가이아넷
도커 rm 가이아넷

노드 변경하기​

모델의 컨텍스트 크기와 같은 노드의 구성 매개 변수를 업데이트하려면 다음을 수행하면 됩니다. 를 실행하여 구성 명령의 가이아넷 프로그램을 실행합니다. 예를 들어 다음 명령은 채팅 LLM의 컨텍스트 크기를 8192토큰으로 변경합니다.

도커 실행 -잇 가이아넷 /루트/가이아넷/빈/가이아넷 구성 --chat-ctx-size 8192

그런 다음 노드를 다시 시작하여 새 구성을 적용합니다. 서버가 다시 시작될 때까지 몇 분 정도 기다리거나 위에서 설명한 대로 컨테이너 내부의 로그 파일을 컨테이너 내부의 로그 파일을 모니터링할 수 있습니다.

도커 중지 가이아넷
도커 시작 가이아넷

노드 ID 변경​

노드와 연결된 노드 ID(이더리움 주소)를 업데이트할 수 있습니다. 노드를 시작하고 nodeid.json 파일에 정의된 키스토어 파일뿐만 아니라 nodeid.json 를 컨테이너에 넣습니다.

도커 cp /로컬/경로/투/노드아이디.json 가이아넷:/루트/가이아넷/노드아이디.json
도커 cp /로컬/경로/to/1234-abcd-키-저장소 가이아넷:/루트/가이아넷/1234-abcd-키-저장소

그런 다음 노드를 다시 시작하여 새 주소와 키 저장소를 적용합니다.

도커 중지 가이아넷
도커 시작 가이아넷

로컬에서 노드 이미지 빌드​

각 가이아넷은 config.json 파일을 추가합니다. 이 파일은 노드의 필수 LLM 및 임베딩 모델, 모델 매개변수, 모델 매개변수, 프롬프트 및 벡터 스냅샷(예: 지식창고)을 정의합니다. 다음 명령은 지정된 플랫폼에 따라 노드에 대해 두 개의 플랫폼 를 기반으로 한 노드에 대해 지정된 config.json 파일을 만듭니다.

도커 빌드x 빌드 . --플랫폼 리눅스/암64,리눅스/암드64 \.
  --tag gaianet/phi-3-mini-instruct-4k_paris:latest -f Dockerfile \.
  --build-arg CONFIG_URL=https://raw.githubusercontent.com/GaiaNet-AI/gaianet-node/main/config.json

그리고 도커파일 사용 가능 여기. Nvidia로 자유롭게 변경하십시오. CUDA 버전 를 사용하여 도커를 활성화한 경우 엔비디아 컨테이너 툴킷.

다른 사람들이 사용할 수 있도록 노드를 게시할 수 있습니다.

도커 푸시 가이아넷/phi-3-mini-instruct-4k_paris:최신

행운을 빕니다!