Хостинг LLM: Быстрый старт API LLM

Аутентификация и ключи

Для использования API хостинга LLM вам нужен API-ключ из панели управления аккаунтом. Ключ аутентифицирует все запросы. Храните его в безопасности; любой, у кого есть ключ, может использовать ваш предоплаченный баланс. Вы можете сгенерировать новый ключ в любое время, что немедленно аннулирует предыдущий. Каждый аккаунт поддерживает один активный ключ. Для начала не требуется номер телефона или кредитная карта, так как новым аккаунтам начисляется пробный баланс.

Настройка базового URL

Наш API полностью совместим с OpenAI. Чтобы переключиться, обновите базовый URL клиента на https://api.llmhostingapi.com/v1 и укажите API-ключ в заголовке авторизации. Это работает с официальными SDK OpenAI и любой совместимой библиотекой клиентов. Вам не нужно менять логику кода, только эндпоинт и учетные данные. Идентификатор модели для использования — uncensored.

Copycurl https://api.llmhostingapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Эндпоинт завершения чата

Отправляйте текст модели через POST /v1/chat/completions. API принимает сообщения и возвращает текстовые ответы. Мы поддерживаем контекстное окно на 100 000 токенов как для ввода, так и для вывода. Поддерживается вызов функций для извлечения структурированных данных. Модель настроена на ответы без отказов по контенту для законного взрослого использования, что делает её идеальной для генерации творческого, исследовательского или взрослого контента без дополнительной настройки.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmhostingapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Потоковые ответы (SSE)

Для снижения задержки и обеспечения взаимодействия в реальном времени включите потоковую передачу, установив stream: true. API возвращает фрагменты Server-Sent Events (SSE). Это позволяет отображать частичные ответы по мере их генерации. Потоковая передача не влияет на ценообразование или подсчет токенов. Она рекомендуется для чат-интерфейсов, где пользователи ожидают немедленной обратной связи. Убедитесь, что ваш клиент корректно обрабатывает парсинг SSE.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Поддержка вызова функций

Определите функции в теле запроса с помощью параметра tools. Модель будет отвечать вызовами функций вместо обычного текста, когда это уместно. Вы должны выполнить функцию на своей стороне и отправить результат обратно в следующем повороте разговора. Это позволяет создавать сложные рабочие процессы, такие как запросы к базе данных или интеграции API. Модель автоматически выбирает инструменты на основе промпта пользователя и доступных определений функций.

Эндпоинт списка моделей

Запросите GET /v1/models, чтобы получить список доступных моделей. Вы увидите модель uncensored с её идентификатором, датой создания и полем владельца. Этот эндпоинт помогает проверить подключение и доступность модели. Он возвращает стандартный JSON в формате OpenAI. Используйте его для отладки проблем аутентификации перед отправкой запросов чата. Эндпоинт легкий и возвращает результат мгновенно.

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmhostingapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);