LLM 호스팅: LLM API 빠른 시작 가이드

인증 및 키

llm hosting API를 사용하려면 계정 대시보드에서 API 키가 필요합니다. 이 키는 모든 요청을 인증합니다. 키를 안전하게 보관하세요. 키를 가진 사람은 누구나 선불 크레딧을 사용할 수 있습니다. 키는 언제든지 재생성할 수 있으며, 이전 키는 즉시 무효화됩니다. 각 계정은 하나의 활성 키만 지원합니다. 새 계정에는 체험 크레딧이 제공되므로 시작하는 데 전화번호나 신용카드가 필요하지 않습니다.

베이스 URL 구성

당사의 API는 OpenAI와 완전히 호환됩니다. 전환하려면 클라이언트의 베이스 URL을 https://api.llmhostingapi.com/v1로 업데이트하고 인증 헤더에 API 키를 설정하세요. 이는 공식 OpenAI SDK 및 호환 가능한 모든 클라이언트 라이브러리에서 작동합니다. 코드 로직을 변경할 필요가 없으며 엔드포인트와 자격 증명만 변경하면 됩니다. 사용해야 할 모델 식별자는 uncensored입니다.

Copycurl https://api.llmhostingapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

채팅 완성 엔드포인트

POST /v1/chat/completions를 통해 모델에 텍스트를 전송하세요. API는 메시지를 받아 텍스트 응답을 반환합니다. 입력과 출력 모두에 대해 100,000 토큰의 컨텍스트 창을 지원합니다. 구조화된 데이터 추출을 위해 함수 호출이 지원됩니다. 이 모델은 추가 구성 없이 합법적인 성인 용도에서 콘텐츠 거부 없이 답변하도록 조정되어 있어 창작, 연구 또는 성인 콘텐츠 생성에 이상적입니다.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmhostingapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

스트리밍 응답 (SSE)

낮은 지연 시간과 실시간 사용자 경험을 위해 stream: true를 설정하여 스트리밍을 활성화하세요. API는 서버 전송 이벤트(SSE) 청크를 반환합니다. 이를 통해 생성되는 대로 부분 응답을 표시할 수 있습니다. 스트리밍은 가격이나 토큰 수에 영향을 미치지 않습니다. 사용자가 즉각적인 피드백을 기대하는 채팅 인터페이스에 권장됩니다. 클라이언트가 SSE 파싱을 올바르게 처리하는지 확인하세요.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

함수 호출 지원

요청 본문에서 tools 매개변수를 사용하여 함수를 정의하세요. 모델은 적절한 경우 일반 텍스트 대신 함수 호출을 응답으로 반환합니다. 함수는 클라이언트 측에서 직접 실행해야 하며, 그 결과는 다음 대화 턴에서 다시 전송해야 합니다. 이를 통해 데이터베이스 쿼리나 API 통합과 같은 복잡한 워크플로우를 구현할 수 있습니다. 모델은 사용자의 프롬프트와 사용 가능한 함수 정의에 따라 도구 선택을 자동으로 처리합니다.

모델 목록 엔드포인트

사용 가능한 모델을 나열하려면 GET /v1/models를 쿼리하세요. ID, 생성 날짜, 소유자 필드가 포함된 uncensored 모델을 확인할 수 있습니다. 이 엔드포인트는 연결성 및 모델 가용성을 확인하는 데 도움이 됩니다. 표준 OpenAI 형식의 JSON을 반환합니다. 채팅 요청을 보내기 전에 인증 문제를 디버깅하는 데 사용하세요. 이 엔드포인트는 경량이며 즉시 반환됩니다.

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmhostingapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);