Hosting LLM: Guida rapida API LLM

Autenticazione e Chiavi

Per utilizzare l'API di hosting LLM, hai bisogno di una chiave API dal cruscotto del tuo account. La chiave autentica tutte le richieste. Tienila al sicuro; chiunque abbia la chiave può utilizzare il tuo credito prepagato. Puoi rigenerare la chiave in qualsiasi momento, invalidando immediatamente quella precedente. Ogni account supporta una chiave attiva. Non è necessario un numero di telefono o una carta di credito per iniziare, poiché i nuovi account ricevono credito di prova gratuito.

Configurazione URL di Base

La nostra API è completamente compatibile con OpenAI. Per cambiare, aggiorna l'URL di base del tuo client a https://api.llmhostingapi.com/v1 e imposta la tua chiave API nell'intestazione di autorizzazione. Funziona con gli SDK ufficiali OpenAI e qualsiasi libreria client compatibile. Non è necessario modificare la logica del codice, solo l'endpoint e le credenziali. L'identificatore del modello da usare è uncensored.

Copycurl https://api.llmhostingapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Endpoint Completamenti Chat

Invia testo al modello tramite POST /v1/chat/completions. L'API accetta messaggi e restituisce risposte testuali. Supportiamo una finestra di contesto di 100.000 token sia per input che per output. La chiamata di funzioni è supportata per l'estrazione di dati strutturati. Il modello è ottimizzato per rispondere senza rifiuti di contenuto per uso adulto lecito, rendendolo ideale per la generazione di contenuti creativi, di ricerca o per adulti senza configurazione aggiuntiva.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmhostingapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Risposte in Streaming (SSE)

Per una latenza inferiore e esperienze utente in tempo reale, abilita lo streaming impostando stream: true. L'API restituisce chunk di Server-Sent Events (SSE). Questo ti permette di visualizzare le risposte parziali mentre vengono generate. Lo streaming non influisce sui prezzi o sui conteggi dei token. È consigliato per le interfacce chat dove gli utenti si aspettano feedback immediato. Assicurati che il tuo client gestisca correttamente il parsing SSE.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Supporto Chiamata di Funzioni

Definisci le funzioni nel corpo della richiesta usando il parametro tools. Il modello risponderà con chiamate di funzioni invece che testo normale quando appropriato. Devi eseguire la funzione dal tuo lato e inviare il risultato nel turno di conversazione successivo. Questo abilita flussi di lavoro complessi come query al database o integrazioni API. Il modello gestisce automaticamente la selezione degli strumenti in base al prompt dell'utente e alle definizioni delle funzioni disponibili.

Endpoint Elenco Modelli

Interroga GET /v1/models per elencare i modelli disponibili. Vedrai il modello uncensored con il suo ID, data di creazione e campo proprietario. Questo endpoint aiuta a verificare la connettività e la disponibilità del modello. Restituisce JSON in formato OpenAI standard. Usalo per debuggare problemi di autenticazione prima di inviare richieste di chat. L'endpoint è leggero e restituisce immediatamente.

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmhostingapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);