Pika-aloitus: Integroi OpenAI-yhteensopivaan päätepisteeseen

Edellytykset: Perus-URL ja todennus

Aloita luomalla avain Get API key -sivulta. Kirjaudu sisään Googlella tai sähköpostilla ja salasanalla saadaksesi kirjautumistietosi välittömästi. Puhelinnumeroa ei tarvita.

Aseta base URL muotoon HTTPS://api.apicost.cc/v1. Käytä luotua avainta Bearer-tokenina Authorization-otsakkeessa. Tämä toimii minkä tahansa standardin OpenAI SDK -asiakasohjelman kanssa.

Tarvitset vain yhden aktiivisen avaimen tilille. Uusi avain korvaa vanhan. Kysymyksiäsi ei käytetä koulutukseen.

Lähettämällä ensimmäinen pyyntö: yksinkertainen chat-completion

Tee POST-pyyntö osoitteeseen /v1/chat/completions asettamalla malliksi uncensored. Lähetä käyttäjäviestisi messages-taulukkoon. API palauttaa tekstimuotoisen vastauksen.

Jokainen pyyntö lasketaan tokenkäyttöön. Syöttötokenit maksavat $0.15 miljoonalta. Tuottotokenit maksavat $0.50 miljoonalta. Virheet ja hylkäykset ovat ilmaisia.

Varmista, että pyynnön runko pysyy alle 8 Mt:n rajan. Maksimilähtö on 16 000 tokenia pyyntöä kohden.

Copycurl https://api.apicost.cc/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "What is the current price per million tokens?"}]
  }'

Virtaavat vastaukset reaaliaikaisiin käyttöliittymäpäivityksiin

Ota käyttöön streamaus asettamalla stream-parametri arvoksi true. API palauttaa Server-Sent Events -tapahtumia (SSE) yhden JSON-objektin sijaan.

Jäsennä jokaista lohkoa päivittääksesi käyttöliittymääsi reaaliajassa. Viimeinen lohko sisältää pyynnön kokonaismäärän tokenit. Tämä auttaa sinua seuraamaan kustannuksia tarkasti.

Streamaus toimii kaikilla vakioparametreilla. Voit peruuttaa pyynnön tarvittaessa. Palvelin lopettaa käsittelyn välittömästi.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.apicost.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Luovuuden hallinta: lämpötila, top_p ja seed

Säädä temperature-arvoa hallitaksesi satunnaisuutta. Alhaisemmat arvot tekevät vastauksista deterministisempiä. Korkeammat arvot lisäävät luovuutta.

Aseta top_p rajoittamaan ydinotannan aluetta. Käytä seed-arvoa toistamaan tiettyjä tuloksia vianetsintää varten. Nämä parametrit toimivat täsmälleen kuten OpenAI API:ssa.

Yhdistä nämä asetukset säätääksesi mallia käyttötapaukseesi. Ohjelmointitehtävät hyötyvät usein alhaisemmasta temperaturesta. Luova kirjoittaminen voi tarvita korkeampia arvoja.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.apicost.cc/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Rakenteiset tulostulot JSON-tilassa ja funktiokutsuilla

Käytä muotoa response_format=json_object tiukkoihin JSON-lähtöihin. Malli palauttaa validin JSON:n ilman markdown-muotoilua. Tämä on hyödyllistä datan jäsentämisessä sovelluksessa.

Function calling mahdollistaa työkalujen määrittämisen pyynnössäsi. Malli voi kutsua näitä työkaluja käyttäjän syötteen perusteella. Käytä parametria tool_choice ohjataksesi sitä, milloin malli kutsuu työkalua.

Molemmat ominaisuudet noudattavat standardia OpenAI-skeemaa. Voit määrittää useita työkaluja yhdessä pyynnössä. Malli hoitaa reitityksen automaattisesti.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Ymmärrä kontekstiikkunat ja tokenirajat

Kontekstiluukku on 100 000 tokenia. Tämä sisältää sekä syöte- että tulostokenit yhdessä. Voit lähettää pitkiä dokumentteja menettämättä kontekstia.

Pyyntörajoitukset ovat 300 pyyntöä minuutissa avainta kohti. Voit tehdä 8 samanaikaista pyyntöä samaan aikaan. Näiden rajojen ylitys palauttaa virhekoodin 429.

Käsittele virheet joustavasti koodissasi. 401-virhe tarkoittaa, että avaimesi on virheellinen. 402-virhe tarkoittaa, että sinulla ei ole krediittejä. Lisää krediittejä kryptomaksuilla jatkaaksesi.