Hostowanie LLM: Przewodnik szybkiego startu API LLM

Uwierzytelnianie i klucze

Aby korzystać z API hostowania LLM, potrzebujesz klucza API z panelu konta. Klucz uwierzytelnia wszystkie zapytania. Chroń go; każdy, kto go posiada, może wykorzystać Twój przedpłacony kredyt. Możesz wygenerować klucz ponownie w dowolnym momencie, co natychmiast unieważnia poprzedni. Każde konto obsługuje jeden aktywny klucz. Nie jest wymagany numer telefonu ani karta kredytowa do rozpoczęcia, ponieważ nowe konta otrzymują darmowy kredyt próbny.

Konfiguracja bazowego URL

Nasze API jest w pełni kompatybilne z OpenAI. Aby przełączyć się, zaktualizuj bazowy URL klienta na https://api.llmhostingapi.com/v1 i ustaw swój klucz API w nagłówku autoryzacji. Działa to z oficjalnymi SDK OpenAI oraz dowolną kompatybilną biblioteką kliencką. Nie musisz zmieniać logiki kodu, tylko endpoint i dane logowania. Identyfikatorem modelu do użycia jest uncensored.

Copycurl https://api.llmhostingapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Endpoint uzupełniania czatu

Wyślij tekst do modelu przez POST /v1/chat/completions. API akceptuje wiadomości i zwraca odpowiedzi tekstowe. Obsługujemy okno kontekstu 100 000 tokenów zarówno dla wejścia, jak i wyjścia. Wywoływanie funkcji jest obsługiwane do ekstrakcji danych strukturalnych. Model jest dostrojony do odpowiadania bez odrzucania treści dla prawnego użytku dorosłego, co czyni go idealnym do generowania treści kreatywnych, badawczych lub dla dorosłych bez dodatkowej konfiguracji.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmhostingapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Odpowiedzi strumieniowe (SSE)

Aby uzyskać niższe opóźnienia i doświadczenia w czasie rzeczywistym, włącz strumieniowanie, ustawiając stream: true. API zwraca fragmenty zdarzeń wysyłanych przez serwer (SSE). Pozwala to wyświetlać częściowe odpowiedzi w miarę ich generowania. Strumieniowanie nie wpływa na ceny ani liczbę tokenów. Jest zalecane dla interfejsów czatowych, gdzie użytkownicy oczekują natychmiastowej odpowiedzi. Upewnij się, że Twój klient poprawnie parsuje SSE.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Wsparcie dla wywoływania funkcji

Zdefiniuj funkcje w treści zapytania za pomocą parametru tools. Model odpowie wywołaniami funkcji zamiast zwykłym tekstem, gdy będzie to odpowiednie. Musisz wykonać funkcję po swojej stronie i wysłać wynik z powrotem w kolejnej turze rozmowy. Umożliwia to złożone przepływy pracy, takie jak zapytania do baz danych lub integracje API. Model automatycznie wybiera narzędzia na podstawie promptu użytkownika i dostępnych definicji funkcji.

Endpoint listowania modeli

Wyślij zapytanie GET /v1/models, aby wylistować dostępne modele. Zobaczysz model uncensored z jego ID, datą utworzenia i polem właściciela. Ten endpoint pomaga zweryfikować łączność i dostępność modelu. Zwraca standardowy JSON w formacie OpenAI. Użyj go do debugowania problemów z uwierzytelnianiem przed wysłaniem zapytań czatu. Endpoint jest lekki i zwraca wynik natychmiast.

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmhostingapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);