계획 에이전트
gpt 플래너는 LLM의 계획 기능을 보여주는 Python 애플리케이션입니다. 이 애플리케이션을 실행하면 목표나 쿼리에 대한 여러 실행 계획을 생성하도록 LLM에 요청합니다. 그런 다음 LLM에 최상의 계획을 비교 및 선택한 다음 사용자 쿼리에 응답하도록 다시 작성하도록 요청합니다.
이 프로그램은 공식 OpenAI 파이썬 라이브러리를 사용하기 때문에 Gaia 노드를 사용하도록 쉽게 변경할 수 있습니다.
전제 조건
공개 URL을 통해 LLM 서비스를 제공하려면 Gaia 노드가 준비되어 있어야 합니다. 다음을 수행할 수 있습니다.
이 튜토리얼에서는 퍼블릭 노드를 사용하겠습니다.
| 속성 | 가치 |
|---|---|
| API 엔드포인트 URL | https://llama8b.gaia.domains/v1 |
| 모델 이름 | llama |
에이전트 실행
먼저 콜랩에서 노드북을 로드합니다.
코드를 편집하여 OpenAI 클라이언트를 생성합니다. 우리는 base_url 여기를 클릭하세요.
client = openai.OpenAI(base_url="https://llama8b.gaia.domains/v1", api_key=OPENAI_API_KEY)
다음으로, 모든 GPT-4O-MINI 모델 이름과 함께 llama 모델명을 추가합니다.
다음은 예시입니다.
response = client.chat.completions.create(
model="llama",
messages=[
{"role": "system", "content": "You are a helpful assistant. Use the given plan to create a detailed and high-quality response to the user's query."},
{"role": "user", "content": f"User Query: {user_query}\n\nPlan: {best_plan}\n\nGenerate a detailed response based on this plan."}
],
temperature=0.5,
max_tokens=2000
)
쿼리를 직접 변경합니다.
user_query = "TLS 연결 시간 초과를 디버깅하려면 어떻게 하나요?"
마지막으로 노트북을 실행해 결과를 확인하세요!