모든 것, LLM

Anything LLM은 완전한 RAG 및 AI 에이전트 기능을 갖춘 올인원 데스크톱 및 도커 AI 애플리케이션입니다. GaiaNet 노드를 LLM 백엔드로 사용하여 Anything LLM을 구성할 수 있습니다.

이와 같이 스냅샷 없이 노드를 시작하는 것이 좋습니다.

단계

먼저, LLM 채팅 모델 및 임베딩 모델로 GaiaNet 노드를 추가해야 합니다.

• 설정으로 이동
• LLM 추론 섹션에서 LLM 제공자로 로컬 AI를 선택합니다. 그런 다음 LocalAI 기본 URL에 GaiaNet 노드 API 기본 URL을 복사하여 붙여넣습니다. 채팅 모델과 임베딩 모델이 노드와 함께 자동으로 로드됩니다. 여기에서 채팅 모델을 선택하고 컨텍스트 길이를 입력합니다. 변경 사항을 적용하려면 변경 사항 저장을 클릭하는 것을 잊지 마세요.

• 그런 다음 임베딩 기본 설정 섹션으로 이동하여 임베딩 제공업체로 LocalAI를 선택합니다. 그런 다음 LocalAI 기본 URL에 GaiaNet 노드 API 기본 URL을 복사하여 붙여넣습니다. 채팅 모델과 임베딩 모델이 노드와 함께 자동으로 로드됩니다. 여기에서 임베딩 모델을 선택하고 최대 임베딩 청크 길이를 입력합니다. 변경 사항을 적용하려면 변경 사항 저장을 클릭하는 것을 잊지 마세요.

위의 작업은 GaiaNet 노드를 LLM 백엔드로 만듭니다.

둘째, 데이터 소스를 설정해 보겠습니다. 파일을 업로드하거나 Anything LLM에서 제공하는 데이터 커넥터를 사용할 수 있습니다.

데이터 소스를 워크스페이스로 이동하면 Anything LLM이 GaiaNet 노드의 임베딩 API를 호출하여 문서에 대한 임베딩을 청크하고 계산하는데, 이 작업은 몇 분 정도 걸릴 수 있습니다.

여기까지입니다. 임베딩이 완료되면 작업 공간으로 돌아가서 질문하세요.

자세한 내용은 start-llamaedge.log 를 클릭해서 확인합니다.