열기 WebUI
모든 Gaia 노드를 백엔드 LLM API로 사용하여 자체 호스팅 웹UI인 Open WebUI 프레임워크를 구성할 수 있습니다. 이를 통해 Open WebUI를 기반으로 구축된 모든 애플리케이션에서 자체 또는 커뮤니티 Gaia 노드를 사용할 수 있습니다.
전제 조건
공개 URL을 통해 LLM 서비스를 제공하려면 Gaia 노드가 준비되어 있어야 합니다. 다음을 수행할 수 있습니다.
이 튜토리얼에서는 퍼블릭 노드를 사용하여 계속 플러그인을 구동합니다.
| 모델 유형 | API 기본 URL | 모델명 |
|---|---|---|
| 잡담 | https://llama8b.gaia.domains/v1 | llama |
| 포함 | https://llama8b.gaia.domains/v1 | nomic |
컴퓨터에서 웹UI 열기 시작
Gaia 노드를 성공적으로 시작하면 다음을 사용할 수 있습니다. 도커 실행 를 클릭하여 Open WebUI를 시작합니다.
도커 실행 -d -p 3000:8080 \.
-v open-webui:/app/backend/data \
-e OPENAI_API_BASE_URL="https://llama8b.gaia.domains/v1" \
-e OPENAI_API_KEYS="gaianet" \.
--name open-webui \
--restart 항상 \
ghcr.io/open-webui/open-webui:main
그런 다음 http://localhost:3000 를 클릭하면 웹UI 열기 페이지가 표시됩니다.
웹UI가 시작될 때 자체 노드를 구성할 수도 있습니다.
- 오른쪽 상단의 프로필을 클릭하고 설정을 선택합니다.
- 그런 다음 연결을 선택합니다. OpenAI API 필드에 노드 기본 URL을 입력하고 임의의 문자를 여러 개 입력합니다.
- 저장을 클릭하여 변경 사항을 적용합니다.
Open WebUI를 챗봇 UI로 사용하기
모델 선택에서 채팅 모델을 선택하기만 하면 가이아 노드에 메시지를 보낼 수 있습니다.
클라이언트 측 RAG 도구로 Open WebUI 사용
Open WebUI에서는 RAG 애플리케이션을 구현하는 방법도 제공합니다. Gaia 노드에는 OpenAI와 호환되는 임베딩 API가 있으므로 이 기능도 사용할 수 있습니다. 그러나 이 기능을 사용하려면 다음과 같이 스냅샷 없이 노드를 시작하는 것이 좋습니다.
1단계: 임베딩 API로 Gaia 노드 사용
- 왼쪽 상단의 작업 공간을 클릭하고 문서 탭을 선택합니다. 여기에서 업로드한 문서를 관리할 수 있습니다.
- 문서 설정을 클릭하여 임베드 설정을 구성합니다.
- 일반 설정에서 임베딩 모델 엔진으로 OpenAI를 선택합니다. 노드 API 기본 URL과 임의의 문자를 몇 개 입력합니다. 그런 다음 임베딩 모델 필드에 임베딩 모델 이름을 입력합니다. 저장을 클릭하여 변경 사항을 적용합니다.
2단계: 임베딩 API로 Gaia 노드 사용
를 클릭하여 문서를 업로드합니다.
3단계: 채팅
그런 다음 채팅 페이지로 돌아갑니다. 메시지를 보내기 전에 #을 입력하여 컨텍스트로 사용할 문서를 선택합니다.
그게 다입니다.