Snabbstart: Integrera med OpenAI-compatible-endpunkten

Förutsättningar: Bas-URL och autentisering

Börja med att generera en nyckel på sidan Hämta API-nyckel. Logga in med Google eller din e-post och lösenord för att få dina uppgifter direkt. inget telefonnummer krävs.

Ställ in din bas-URL till HTTPS://api.apicost.cc/v1. Använd den genererade nyckeln som ditt Bearer-token i Authorization-huvudet. Detta fungerar med alla standard OpenAI SDK-klienter.

Du behöver bara en aktiv nyckel per konto. En ny nyckel ersätter den gamla. Dina prompts används inte för träning.

Skickar din första förfrågan: enkel chattslutförande

Skicka en POST-begäran till /v1/chat/completions med modellen inställd på uncensored. Skicka ditt användarmeddelande i messages-arrayen. API:et returnerar ett text svar.

Varje begäran räknas mot din tokenanvändning. Input-tokens kostar $0,15 per miljon. Output-tokens kostar $0,50 per miljon. Fel och avslag är kostnadsfria.

Se till att din request body håller sig under 8 MB. Maximal output är 16,000 tokens per request.

Copycurl https://api.apicost.cc/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "What is the current price per million tokens?"}]
  }'

Strömsvar för realtids-UI-uppdateringar

Aktivera strömning genom att ställa in stream-parametern till true. API:et returnerar Server-Sent Events (SSE) istället för ett enda JSON-objekt.

Analysera varje chunk för att uppdatera ditt gränssnitt i realtid. Den sista chunken innehåller total tokenanvändning för begäran. Detta hjälper dig att spåra kostnader noggrant.

Streaming fungerar med alla standardparametrar. Du kan avbryta förfrågan i förtid vid behov. Servern slutar bearbeta omedelbart.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.apicost.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Kontroll av kreativitet: temperatur, top_p och seed

Justera temperaturen för att styra slumpmässigheten. Lägre värden gör svaren mer deterministiska. Högre värden ökar kreativiteten.

Ställ in top_p för att begränsa kärnprovningsintervallet. Använd seed för att reproducera specifika resultat för felsökning. Dessa parametrar fungerar exakt som OpenAI API:et.

Kombinera dessa inställningar för att stämma av modellen för ditt användningsfall. Kodningsuppgifter gynnas ofta av lägre temperatur. Kreativt skrivande kan behöva högre värden.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.apicost.cc/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Strukturerade utdata med JSON-läge och funktionsanrop

Använd response_format inställt på json_object för strikt JSON-output. Modellen returnerar giltig JSON utan markdown-formatering. Detta är användbart för att analysera data i din applikation.

Function calling låter dig definiera verktyg i din begäran. Modellen kan anropa dessa verktyg baserat på användarens inmatning. Använd tool_choice för att styra när modellen anropar ett verktyg.

Båda funktionerna följer standard OpenAI-schema. Du kan definiera flera verktyg i en begäran. Modellen hanterar routningen automatiskt.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Förstå kontextfönster och tokengränser

Kontextfönstret är 100 000 tokens. Detta inkluderar både inmatnings- och utmatningstokens tillsammans. Du kan skicka långa dokument utan att förlora kontext.

Rate limits är 300 förfrågningar per minut per nyckel. Du kan ha 8 samtidiga förfrågningar samtidigt. Att överskrida dessa gränser returnerar ett 429-fel.

Hantera fel på ett elegant sätt i din kod. Ett 401-fel betyder att din nyckel är ogiltig. Ett 402-fel betyder att du har ingen kredit. Ladda upp med krypto för att fortsätta.