Lưu trữ LLM: Hướng dẫn bắt đầu nhanh API LLM

Xác thực & Khóa

Để sử dụng API llm hosting, bạn cần một khóa API từ bảng điều khiển tài khoản của bạn. Khóa này xác thực tất cả các yêu cầu. Giữ nó an toàn; bất kỳ ai có khóa này đều có thể sử dụng tín dụng trả trước của bạn. Bạn có thể tạo lại khóa bất cứ lúc nào, điều này ngay lập tức vô hiệu hóa khóa trước đó. Mỗi tài khoản hỗ trợ một khóa hoạt động. Không cần số điện thoại hoặc thẻ tín dụng để bắt đầu, vì các tài khoản mới nhận được tín dụng dùng thử miễn phí.

Cấu hình URL cơ sở

API của chúng tôi hoàn toàn tương thích với OpenAI. Để chuyển đổi, hãy cập nhật URL cơ sở của client của bạn thành https://api.llmhostingapi.com/v1 và đặt khóa API của bạn trong tiêu đề ủy quyền. Điều này hoạt động với các SDK OpenAI chính thức và bất kỳ thư viện client tương thích nào. Bạn không cần thay đổi logic mã của mình, chỉ cần endpoint và thông tin xác thực. Định danh mô hình để sử dụng là uncensored.

Copycurl https://api.llmhostingapi.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Endpoint hoàn thành hội thoại

Gửi prompt đến mô hình qua POST /v1/chat/completions. API chấp nhận messages và trả về text responses. Chúng tôi hỗ trợ cửa sổ ngữ cảnh 100,000 token cho cả input và output. gọi hàm được hỗ trợ để trích xuất dữ liệu có cấu trúc. Mô hình được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người lớn hợp pháp, giúp bạn tạo nội dung sáng tạo, nghiên cứu hoặc nội dung người lớn mà không cần cấu hình thêm.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.llmhostingapi.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Phản hồi truyền phát (SSE)

Để giảm độ trễ và trải nghiệm người dùng thời gian thực, hãy bật truyền phát bằng cách đặt stream: true. API trả về các chunk Sự kiện được gửi bởi máy chủ (SSE). Điều này cho phép bạn hiển thị các phản hồi một phần khi chúng được tạo. Truyền phát không ảnh hưởng đến giá hoặc số lượng token. Nó được khuyến nghị cho các giao diện trò chuyện nơi người dùng mong đợi phản hồi ngay lập tức. Đảm bảo máy khách của bạn xử lý phân tích cú pháp SSE đúng cách.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Hỗ trợ gọi hàm

Xác định các hàm trong thân yêu cầu của bạn bằng tham số tools. Mô hình sẽ trả lời bằng các lệnh gọi hàm thay vì văn bản thuần túy khi thích hợp. Bạn phải thực hiện hàm ở phía của bạn và gửi kết quả lại trong lượt hội thoại tiếp theo. Điều này cho phép các quy trình làm việc phức tạp như truy vấn cơ sở dữ liệu hoặc tích hợp API. Mô hình xử lý việc chọn công cụ tự động dựa trên prompt của người dùng và các định nghĩa hàm có sẵn.

Endpoint liệt kê mô hình

Truy vấn GET /v1/models để liệt kê các mô hình có sẵn. Bạn sẽ thấy mô hình uncensored với ID, ngày tạo và trường chủ sở hữu của nó. Endpoint này giúp xác minh kết nối và khả dụng của mô hình. Nó trả về JSON định dạng OpenAI tiêu chuẩn. Sử dụng điều này để gỡ lỗi các vấn đề xác thực trước khi gửi các yêu cầu trò chuyện. Endpoint này nhẹ và trả về ngay lập tức.

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.llmhostingapi.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);