Rychlý start: Integrujte koncový bod kompatibilní s OpenAI

Požadavky: Základní URL a ověřování

Začněte vygenerováním klíče na stránce Získat API klíč. Přihlaste se pomocí Google nebo e-mailu a hesla a okamžitě obdržíte své přihlašovací údaje. Telefonní číslo není vyžadováno.

Nastavte svou základní URL na HTTPS://api.apicost.cc/v1. Použijte vygenerovaný klíč jako Bearer token v hlavičce Authorization. To funguje s libovolným standardním klientem SDK OpenAI.

Na jednom účtu stačí jeden aktivní klíč. Nový klíč nahrazuje ten předchozí. Vaše prompty se nepoužívají k trénování.

Odeslání vašeho prvního požadavku: jednoduché dokončení chatu

Odešlete POST požadavek na /v1/chat/completions s modelem nastaveným na uncensored. Do pole messages odešlete zprávu uživatele. API vrátí textovou odpověď.

Každý požadavek se započítává do vašeho využití tokenů. Vstupní tokeny stojí $0.15 za milion. Výstupní tokeny stojí $0.50 za milion. Chyby a odmítnutí jsou zdarma.

Ujistěte se, že tělo žádosti nepřesahuje 8 MB. Maximální výstup je 16,000 tokenů na žádost.

Copycurl https://api.apicost.cc/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "What is the current price per million tokens?"}]
  }'

Odpovědi v proudu pro aktualizace UI v reálném čase

Povolte streamování nastavením parametru stream na true. API vrací Server-Sent Events (SSE) místo jednoho objektu JSON.

Parsovejte každý kus pro aktualizaci uživatelského rozhraní v reálném čase. Poslední kus obsahuje celkové využití tokenů pro požadavek. To vám pomáhá přesně sledovat náklady.

Streamování funguje se všemi standardními parametry. Můžete požaděk předčasně zrušit, pokud je to potřeba. Server okamžitě přestane zpracovávat.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.apicost.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Řízení kreativity: teplota, top_p a seed

Upravte teplotu pro řízení náhodnosti. Nižší hodnoty činí odpovědi více deterministickými. Vyšší hodnoty zvyšují kreativitu.

Nastavte top_p pro omezení rozsahu nucleus sampling. Použijte seed pro reprodukci konkrétních výstupů pro ladění. Tyto parametry fungují přesně jako v API OpenAI.

Kombinujte tato nastavení pro ladění modelu pro váš případ použití. Úkoly kódování často profitují z nižší teploty. Tvorba kreativity může potřebovat vyšší hodnoty.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.apicost.cc/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Strukturované výstupy s režimem JSON a voláním funkcí

Nastavte response_format na json_object pro přísné výstupy JSON. Model vrátí platný JSON bez formátování Markdown. To je užitečné pro parsování dat ve vaší aplikaci.

Volání funkcí vám umožňuje definovat nástroje ve své žádosti. Model může tyto nástroje volat na základě vstupu uživatele. Pomocí tool_choice řiďte, kdy má model nástroj zavolat.

Obě funkce se řídí standardním schématem OpenAI. V jednom požadavku můžete definovat více nástrojů. Model automaticky zpracovává směrování.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Chápání kontextových oken a limitů tokenů

Okno kontextu má 100 000 tokenů. To zahrnuje kombinaci vstupních a výstupních tokenů. Můžete odeslat dlouhé dokumenty bez ztráty kontextu.

Limity rychlosti jsou 300 požadavků za minutu na klíč. Můžete mít 8 současných požadavků. Překročení těchto limitů vrátí chybu 429.

Chyby zpracovávejte elegantně ve svém kódu. Chyba 401 znamená, že je váš klíč neplatný. Chyba 402 znamená, že nemáte kredit. Pro pokračování doplňte kredit pomocí kryptoměn.