LLM Barındırma: LLM API Hızlı Başlangıç Kılavuzu

Kimlik Doğrulama ve Anahtarlar

llm hosting API'sini kullanmak için hesap panelinizden bir API anahtarı almanız gerekir. Anahtarı tüm isteklerde doğrulama için kullanır. Güvenli tutun; anahtara sahip olan herkes ön ödemeli kredinizi kullanabilir. Anahtarı istediğiniz zaman yenileyebilirsiniz; bu işlem önceki anahtarı hemen geçersiz kılar. Her hesap için yalnızca bir aktif anahtar desteklenir. Başlamak için telefon numarası veya kredi kartı gerekmez; yeni hesaplara deneme kredisi verilir.

Temel URL Yapılandırması

API'miz tamamen OpenAI uyumludur. Geçiş yapmak için istemcinizin temel URL'sini https://api.llmhostingapi.com/v1 olarak güncelleyin ve API anahtarınızı yetkilendirme başlığında ayarlayın. Bu, resmi OpenAI SDK'ları ve uyumlu herhangi bir istemci kitaplığı ile çalışır. Kod mantığınızı değiştirmenize gerek yoktur; yalnızca uç noktayı ve kimlik bilgilerini değiştirmeniz yeterlidir. Kullanılacak model tanımlayıcısı uncensored'dir.

Copycurl https://api.llmhostingapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Sohbet Tamamlama Uç Noktası

Metni POST /v1/chat/completions uç noktası üzerinden modele gönderin. API mesajları kabul eder ve metin yanıtlar döndürür. Hem giriş hem de çıktı için 100.000 tokenlık bağlam penceresi desteklenir. Yapılandırılmış veri çıkarma için fonksiyon çağırma desteklenir. Model, yasal yetişkin kullanım için içerik reddi olmadan yanıtlar verecek şekilde ayarlanmıştır; bu da ekstra yapılandırma olmadan yaratıcı, araştırma veya yetişkin içerik üretimi için idealdir.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmhostingapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Akış Yanıtları (SSE)

Düşük gecikme süresi ve gerçek zamanlı kullanıcı deneyimleri için stream: true ayarlayarak akışı etkinleştirin. API, Sunucu Tarafından Gönderilen Olaylar (SSE) parçalarını döndürür. Bu, kısmi yanıtlar oluşturulurken bunların görüntülenmesine olanak tanır. Akış, fiyatlandırmayı veya token sayılarını etkilemez. Kullanıcıların anında geri bildirim beklediği sohbet arayüzleri için önerilir. İstemcinizin SSE ayrıştırmayı doğru şekilde işlediğinden emin olun.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Fonksiyon Çağırma Desteği

İstek gövdenizde tools parametresini kullanarak fonksiyonları tanımlayın. Model, uygun olduğunda düz metin yerine fonksiyon çağrılarıyla yanıt verecektir. Fonksiyonu kendi tarafınızda çalıştırmanız ve sonucu bir sonraki konuşma dönüşünde göndermeniz gerekir. Bu, veritabanı sorguları veya API entegrasyonları gibi karmaşık iş akışlarını mümkün kılar. Model, kullanıcının istemine ve mevcut fonksiyon tanımlarına dayanarak araç seçimini otomatik olarak yapar.

Model Listeleme Uç Noktası

Kullanılabilir modelleri listelemek için GET /v1/models uç noktasını sorgulayın. uncensored modelini, kimliğini, oluşturulma tarihini ve sahip olduğu alanı göreceksiniz. Bu uç nokta bağlantı ve model erişilebilirliğini doğrulamak için yardımcı olur. Standart OpenAI formatında JSON döndürür. Sohbet isteklerini göndermeden önce kimlik doğrulama sorunlarını halletmek için kullanın. Uç nokta hafiftir ve hemen yanıt verir.

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmhostingapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);