Hosting LLM: Panduan Cepat API LLM

Autentikasi & Kunci

Untuk menggunakan API llm hosting, Anda memerlukan kunci API dari dasbor akun Anda. Kunci ini mengautentikasi semua permintaan. Jaga agar tetap aman; siapa pun yang memiliki kunci tersebut dapat menggunakan saldo prabayar Anda. Anda dapat membuat ulang kunci kapan saja, yang secara langsung membuat kunci sebelumnya tidak valid. Setiap akun mendukung satu kunci aktif. Tidak diperlukan nomor telepon atau kartu kredit untuk memulai, karena akun baru menerima kredit uji coba gratis.

Konfigurasi URL Dasar

API kami sepenuhnya kompatibel dengan OpenAI. Untuk beralih, perbarui URL dasar klien Anda menjadi https://api.llmhostingapi.com/v1 dan atur kunci API Anda di header otorisasi. Ini berfungsi dengan SDK OpenAI resmi dan pustaka klien kompatibel apa pun. Anda tidak perlu mengubah logika kode Anda, hanya endpoint dan kredensial. Pengidentifikasi model yang harus digunakan adalah uncensored.

Copycurl https://api.llmhostingapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Endpoint Penyelesaian Obrolan

Kirim teks ke model melalui POST /v1/chat/completions. API menerima pesan dan mengembalikan respons teks. Kami mendukung jendela konteks 100.000 token untuk input dan output. Pemanggilan fungsi didukung untuk ekstraksi data terstruktur. Model ini disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah, menjadikannya ideal untuk pembuatan konten kreatif, penelitian, atau konten dewasa tanpa konfigurasi tambahan.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmhostingapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Respons Streaming (SSE)

Untuk latensi lebih rendah dan pengalaman pengguna waktu nyata, aktifkan streaming dengan mengatur stream: true. API mengembalikan potongan Acara yang Dikirim Server (SSE). Ini memungkinkan Anda menampilkan respons parsial saat dihasilkan. Streaming tidak memengaruhi harga atau hitungan token. Disarankan untuk antarmuka obrolan di mana pengguna mengharapkan umpan balik segera. Pastikan klien Anda menangani parsing SSE dengan benar.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Dukungan Pemanggilan Fungsi

Tentukan fungsi dalam badan permintaan Anda menggunakan parameter tools. Model akan merespons dengan panggilan fungsi alih-alih teks biasa ketika sesuai. Anda harus menjalankan fungsi di sisi Anda dan mengirimkan hasilnya kembali dalam giliran percakapan berikutnya. Ini memungkinkan alur kerja kompleks seperti kueri basis data atau integrasi API. Model menangani pemilihan alat secara otomatis berdasarkan prompt pengguna dan definisi fungsi yang tersedia.

Endpoint Daftar Model

Kueri GET /v1/models untuk daftar model yang tersedia. Anda akan melihat model uncensored dengan ID, tanggal pembuatan, dan bidang yang dimiliki. Endpoint ini membantu memverifikasi konektivitas dan ketersediaan model. Ini mengembalikan JSON format OpenAI standar. Gunakan ini untuk mendebug masalah autentikasi sebelum mengirim permintaan obrolan. Endpoint ini ringan dan mengembalikan segera.

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmhostingapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);