Gaia 웹 도구를 사용하여 지식창고 구축하기

Gaia는 벡터 컬렉션 스냅샷 파일을 만드는 도구를 개발하여 누구나 쉽게 자신만의 지식창고를 만들 수 있도록 했습니다.

여기에서 액세스: https://tools.gaianet.xyz/

텍스트 파일 분할

먼저 형식이 지정되지 않은 텍스트를 txt 파일로 복사합니다. 그런 다음 두 가지 규칙에 따라 콘텐츠를 청크(비슷한 콘텐츠를 한데 묶는 것)하세요.

• 각 제목과 관련 콘텐츠는 하나의 청크입니다. 한 청크에는 빈 줄이 없습니다.
• 빈 줄을 사용하여 다른 청크를 인식합니다.

그런 다음 txt 파일로 저장합니다.

예를 들어 아래는 소스입니다.

포맷이 완료되면 다음과 같이 표시됩니다.

블록체인이란 무엇인가요?
블록체인은 네트워크 참여자들이 중개자 없이도 신뢰할 수 있고 변경 불가능한 거래 데이터 기록을 구축할 수 있는 분산화된 암호화 보안 데이터베이스 구조입니다. 블록체인은 거래 결제 외에도 스마트 계약과 같은 다양한 기능을 실행할 수 있습니다. 스마트 계약은 코드에 내장된 디지털 계약으로, 형식과 조건이 무한할 수 있습니다. 블록체인은 데이터를 안전하게 조정하는 데 탁월한 솔루션으로 입증되었지만 토큰화, 인센티브 설계, 공격 저항, 거래 상대방 위험 감소 등 훨씬 더 많은 기능을 수행할 수 있습니다. 최초의 블록체인은 비트코인 블록체인으로, 그 자체로 한 세기가 넘는 암호화 및 데이터베이스 기술 발전의 정점입니다.

블록체인 소프트웨어란 무엇인가요?
블록체인 소프트웨어는 다른 소프트웨어와 비슷합니다. 최초의 비트코인은 오픈 소스 소프트웨어로 공개되어 누구나 사용하거나 변경할 수 있었습니다. 블록체인 생태계 전반에서 비트코인의 오리지널 소프트웨어를 개선하기 위한 다양한 노력이 이루어지고 있습니다. 이더리움에는 자체 오픈 소스 블록체인 소프트웨어가 있습니다. 일부 블록체인 소프트웨어는 독점적이어서 대중에게 공개되지 않습니다.

스냅샷 파일 생성

1. 이 URL (https://tools.gaianet.xyz/)을 방문하여 위에서 준비한 txt 파일을 업로드합니다.
2. 편집 dbname . 참고: dbname에 공백이나 특수 문자를 포함하지 마세요..
3. 임베딩 모델 선택, 다음을 사용하는 것이 좋습니다. nomic-embed-text-v1.5.f16.
4. '걸레 만들기' 버튼을 클릭하고 기다립니다.

완료되면 챗봇이 Gaia 노드 구성 정보를 표시합니다. 다음과 같은 JSON 형식입니다.

{
  "embedding": "https://huggingface.co/gaianet/Nomic-embed-text-v1.5-Embedding-GGUF/resolve/main/nomic-embed-text-v1.5.f16.gguf",
  "embedding_ctx_size": 768,
  "snapshot": "https://huggingface.co/datasets/max-id/gaianet-qdrant-snapshot/resolve/main/test/test.snapshot"
}

노드 구성 업데이트

다음을 실행합니다.

가이아넷 구성 \
  --스냅샷 https://huggingface.co/datasets/max-id/gaianet-qdrant-snapshot/resolve/main/test/test.snapshot \
  --embedding-url https://huggingface.co/gaianet/Nomic-embed-text-v1.5-Embedding-GGUF/resolve/main/nomic-embed-text-v1.5.f16.gguf \
  --embedding-ctx-size 768

를 클릭한 다음

가이아넷 초기화
가이아넷 시작

즐거운 시간 보내세요!