การโฮสต์ LLM: คู่มือเริ่มต้น API LLM

การตรวจสอบสิทธิ์และคีย์

เพื่อใช้ API LLM Hosting คุณต้องมีคีย์ API จากแดชบอร์ดบัญชีของคุณ คีย์นี้จะยืนยันตัวตนสำหรับคำขอทั้งหมด เก็บคีย์ให้ปลอดภัย ใครที่มีคีย์สามารถใช้เครดิตแบบเติมเงินล่วงหน้าของคุณได้ คุณสามารถสร้างคีย์ใหม่ได้ทุกเมื่อ ซึ่งจะทำให้คีย์ก่อนหน้าใช้ไม่ได้ทันที บัญชีแต่ละบัญชีรองรับคีย์ที่ใช้งานอยู่ได้เพียงหนึ่งคีย์ ไม่ต้องใช้หมายเลขโทรศัพท์หรือบัตรเครดิตเพื่อเริ่มต้น เนื่องจากบัญชีใหม่จะได้รับเครดิตทดลองใช้ฟรี

การกำหนดค่า URL พื้นฐาน

API ของเราเข้ากันได้กับ OpenAI อย่างสมบูรณ์ เพื่อเปลี่ยน ให้อัปเดต base URL ของไคลเอนต์ของคุณเป็น https://api.llmhostingapi.com/v1 และตั้งค่าคีย์ API ในส่วนหัวการตรวจสอบสิทธิ์ สิ่งนี้ใช้งานได้กับ SDK ทางการของ OpenAI และไลบรารีไคลเอนต์ที่เข้ากันได้ทุกชนิด คุณไม่จำเป็นต้องเปลี่ยนตรรกะของโค้ด เพียงแค่เปลี่ยนเอนด์พอยต์และข้อมูลรับรอง โมเดล identifier ที่ต้องใช้คือ uncensored

Copycurl https://api.llmhostingapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

เอนด์พอยต์การตอบแชท

ส่งข้อความไปยังโมเดลผ่าน POST /v1/chat/completions API รับข้อความและส่งกลับข้อความตอบกลับ เราสนับสนุนหน้าต่างบริบท 100,000 โทเคนสำหรับทั้งอินพุตและเอาต์พุต รองรับ function calling สำหรับการแยกข้อมูลที่มีโครงสร้าง โมเดลถูกปรับแต่งให้ตอบคำถามโดยไม่ปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย ทำให้เหมาะสำหรับการสร้างสรรค์งานวิจัย หรือการสร้างเนื้อหาสำหรับผู้ใหญ่โดยไม่ต้องกำหนดค่าเพิ่มเติม

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmhostingapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

การตอบแบบสตรีมมิง (SSE)

เพื่อลด latency และประสบการณ์ผู้ใช้แบบเรียลไทม์ ให้เปิดใช้งานสตรีมมิงโดยตั้งค่า stream: true API ส่งคืนข้อมูลแบบ Server-Sent Events (SSE) แบบ chunking สิ่งนี้ช่วยให้คุณแสดงการตอบสนองบางส่วนเมื่อถูกสร้างขึ้นได้ การสตรีมมิงไม่ส่งผลต่อราคาหรือจำนวนโทเคน แนะนำสำหรับอินเทอร์เฟซแชทที่ผู้ใช้คาดหวังการตอบสนองทันที ตรวจสอบให้แน่ใจว่าไคลเอนต์ของคุณจัดการการแยกวิเคราะห์ SSE ได้ถูกต้อง

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

การรองรับการเรียกใช้ฟังก์ชัน

กำหนดฟังก์ชันใน body ของคำขอของคุณโดยใช้พารามิเตอร์ tools โมเดลจะตอบกลับด้วยการเรียกใช้ฟังก์ชันแทนข้อความธรรมดาเมื่อเหมาะสม คุณต้องเรียกใช้ฟังก์ชันฝั่งของคุณและส่งผลลัพธ์กลับในการสนทนาครั้งถัดไป สิ่งนี้เปิดใช้งานเวิร์กโฟลว์ที่ซับซ้อนเช่นการสอบถามฐานข้อมูลหรือการผสานรวม API โมเดลจัดการการเลือกเครื่องมือโดยอัตโนมัติตามพรอมต์ของผู้ใช้และคำจำกัดความของฟังก์ชันที่มีอยู่

เอนด์พอยต์แสดงรายการโมเดล

เรียกใช้ GET /v1/models เพื่อแสดงรายการโมเดลที่มีอยู่ คุณจะเห็นโมเดล uncensored พร้อม ID วันที่สร้าง และฟิลด์เจ้าของ เอนด์พอยต์นี้ช่วยตรวจสอบการเชื่อมต่อและความพร้อมของโมเดล ส่งคืน JSON รูปแบบมาตรฐานของ OpenAI ใช้เพื่อแก้ปัญหาการตรวจสอบสิทธิ์ก่อนส่งคำขอแชท เอนด์พอยต์นี้มีน้ำหนักเบาและส่งกลับทันที

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmhostingapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);