Hurtig start: Integrer med OpenAI-kompatible endpoint

Forudsætninger: Base URL og godkendelse

Start med at generere en nøgle på siden Hent API-nøgle. Log ind med Google eller din e-mail og adgangskode for at modtage dine oplysninger øjeblikkeligt. Intet telefonnummer er påkrævet.

Indstil din base URL til HTTPS://api.apicost.cc/v1. Brug den genererede nøgle som Bearer-token i Authorization-headeren. Dette fungerer med enhver standard OpenAI SDK-klient.

Du behøver kun én aktiv nøgle pr. konto. En ny nøgle erstatter den gamle. Dine prompts bruges ikke til træning.

At sende din første anmodning: simpel chat completion

Lav en POST-anmodning til /v1/chat/completions med modellen indstillet til uncensored. Send din brugermelding i messages-arrayet. API'et returnerer en tekstrespons.

Hver forespørgsel tæller med i dit token-forbrug. Input-tokens koster $0.15 per million. Output-tokens koster $0.50 per million. Fejl og afslag er gratis.

Sørg for, at din request body er under 8 MB. Det maksimale output er 16.000 tokens pr. anmodning.

Copycurl https://api.apicost.cc/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "What is the current price per million tokens?"}]
  }'

Streaming-respons til realtids-UI-opdateringer

Aktivér streaming ved at indstille stream-parameteren til true. API'et returnerer Server-Sent Events (SSE) i stedet for et enkelt JSON-objekt.

Parser hver chunk for at opdatere din UI i realtid. Den sidste chunk indeholder det samlede tokenforbrug for anmodningen. Dette hjælper dig med at spore omkostninger nøjagtigt.

Streaming fungerer med alle standardparametre. Du kan annullere anmodningen tidligt, hvis det er nødvendigt. Serveren stopper behandlingen øjeblikkeligt.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.apicost.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Styring af kreativitet: temperatur, top_p og seed

Juster temperatur for at kontrollere tilfældighed. Lavere værdier gør svarene mere deterministiske. Højere værdier øger kreativiteten.

Indstil top_p til at begrænse nucleus-sampling-området. Brug seed til at reproducere specifikke output til fejlfinding. Disse parametre fungerer præcis som OpenAI API.

Kombinér disse indstillinger for at indstille modellen til dit brugstilfælde. Opgaver inden for kodning drager ofte fordel af lavere temperatur. Kreativ skrivning kan have brug for højere værdier.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.apicost.cc/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Strukturerede output med JSON-tilstand og funktionkald

Brug response_format sat til json_object til streng JSON-output. Modellen returnerer gyldig JSON uden markdown-formatering. Dette er nyttigt til at parse data i din applikation.

Function calling giver dig mulighed for at definere værktøjer i din anmodning. Modellen kan kalde disse værktøjer baseret på brugerinput. Brug tool_choice til at kontrollere, hvornår modellen kalder et værktøj.

Både funktioner følger den standard OpenAI-skema. Du kan definere flere værktøjer i én anmodning. Modellen håndterer routing automatisk.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Forståelse af kontekstvinduer og tokenbegrænsninger

Kontekstvinduet er på 100.000 tokens. Dette inkluderer både input- og output-tokens kombineret. Du kan sende lange dokumenter uden at miste kontekst.

Ratebegrænsningen er 300 requests i minuttet per nøgle. Du kan have 8 samtidige requests ad gangen. At overskride disse grænser returnerer en 429-fejl.

Håndter fejl elegant i din kode. En 401-fejl betyder, at din nøgle er ugyldig. En 402-fejl betyder, at du har ingen kredit. Top op med krypto for at fortsætte.