Γρήγορη Έναρξη: Ενσωματώστε το OpenAI-compatible endpoint

Προαπαιτούμενα: Base URL και πιστοποίηση

Ξεκινήστε δημιουργώντας ένα κλειδί στη σελίδα Λήψη κλειδιού API. Συνδεθείτε με Google ή το email και τον κωδικό πρόσβασής σας για να λάβετε τα διαπιστευτήριά σας άμεσα. Δεν απαιτείται αριθμός τηλεφώνου.

Ορίστε το base URL σε HTTPS://api.apicost.cc/v1. Χρησιμοποιήστε το δημιουργημένο key ως Bearer token στην κεφαλίδα Authorization. Αυτό λειτουργεί με οπονν τυπικό πελάτη SDK OpenAI.

Αρκεί ένα ενεργό key ανά λογαριασμό. Ένα νέο key αντικαθιστά το παλιό. Τα prompts σας δεν χρησιμοποιούνται για εκπαίδευση.

Αποστολή της πρώτης σας αίτησης: απλή ολοκλήρωση συνομιλίας

Κάντε μια POST αίτηση στο /v1/chat/completions με το μοντέλο ρυθμισμένο στο uncensored. Στείλτε το μήνυμά σας στο messages array. Το API επιστρέφει μια απάντηση κειμένου.

Κάθε αίτημα μετράται στη χρήση tokens σας. Τα tokens εισόδου κοστίζουν $0.15 ανά εκατομμύριο. Τα tokens εξόδου κοστίζουν $0.50 ανά εκατομμύριο. Τα σφάλματα και οι απορρίψεις είναι δωρεάν.

Βεβαιωθείτε ότι το request body παραμένει κάτω από 8 MB. Η μέγιστη έξοδος είναι 16,000 tokens ανά αίτημα.

Copycurl https://api.apicost.cc/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "What is the current price per million tokens?"}]
  }'

Ροές απαντήσεων για ενημερώσεις UI σε πραγματικό χρόνο

Ενεργοποιήστε τη ροή (streaming) ρυθμίζοντας την παράμετρο stream σε true. Το API επιστρέφει Server-Sent Events (SSE) αντί για ένα μοναδικό αντικείμενο JSON.

Ανάλυση κάθε τμήματος για να ενημερώσετε το UI σας σε πραγματικό χρόνο. Το τελευταίο τμήμα περιέχει τη συνολική χρήση tokens για την αίτηση. Αυτό σας βοηθά να παρακολουθείτε τα κόστη με ακρίβεια.

Το streaming λειτουργεί με όλες τις τυπικές παραμέτρους. Μπορείτε να ακυρώσετε το αίτημα νωρίτερα αν χρειαστεί. Ο διακομιστής σταματά την επεξεργασία αμέσως.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.apicost.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Έλεγχος δημιουργικότητας: temperature, top_p, και seed

Ρυθμίστε τη θερμοκρασία για τον έλεγχο της τυχαίας συμπεριφοράς. Οι χαμηλότερες τιμές κάνουν τις απαντήσεις πιο ντετερμινιστικές. Οι υψηλότερες τιμές αυξάνουν τη δημιουργικότητα.

Ορίστε top_p για να περιορίσετε το εύρος nucleus sampling. Χρησιμοποιήστε seed για να αναπαράγετε συγκεκριμένα αποτελέσματα για debugging. Αυτές οι παράμετροι λειτουργούν ακριβώς όπως το API OpenAI.

Συνδυάστε αυτές τις ρυθμίσεις για να ρυθμίσετε το μοντέλο για την περίπτωσή σας. Οι εργασίες κώδικα επωφελούνται συχνά από χαμηλότερη θερμοκρασία. Η δημιουργική γραφή μπορεί να χρειάζεται υψηλότερες τιμές.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.apicost.cc/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Δομημένα έξοδα με λειτουργία JSON και κλήση συναρτήσεων

Χρησιμοποιήστε response_format set to json_object για αυστηρά outputs JSON. Το μοντέλο θα επιστρέψει έγκυρο JSON χωρίς μορφοποίηση markdown. Αυτό είναι χρήσιμο για την ανάλυση δεδομένων στην εφαρμογή σας.

Η κλήση συναρτήσεων σας επιτρέπει να ορίσετε εργαλεία μέσα στο αίτημά σας. Το μοντέλο μπορεί να καλέσει αυτά τα εργαλεία με βάση την είσοδο του χρήστη. Χρησιμοποιήστε το tool_choice για να ελέγξετε πότε το μοντέλο καλεί ένα εργαλείο.

Και τα δύο χαρακτηριστικά ακολουθούν το τυπικό schema του OpenAI. Μπορείτε να ορίσετε πολλαπλά εργαλεία σε μία αίτηση. Το μοντέλο διαχειρίζεται αυτόματα την διαδρομή.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Κατανόηση παραθύρων συγκειμένου και ορίων tokens

Το παράθυρο συμφραζομένων είναι 100.000 tokens. Αυτό περιλαμβάνει συνδυαστικά tokens εισόδου και εξόδου. Μπορείτε να στείλετε μακροσκελή έγγραφα χωρίς απώλεια συμφραζομένων.

Τα όρια ρυθμού είναι 300 αιτήματα ανά λεπτό ανά κλειδί. Μπορείτε να έχετε 8 ταυτόχρονες αιτήσεις ταυτόχρονα. Η υπέρβαση αυτών των ορίων επιστρέφει σφάλμα 429.

Διαχειριστείτε τα σφάλματα με χάρη στον κώδικά σας. Ένα σφάλμα 401 σημαίνει ότι το κλειδί σας είναι μη έγκυρο. Ένα σφάλμα 402 σημαίνει ότι δεν έχετε υπόλοιπο. Προσθέστε κεφάλαιο με κρυπτονομίσματα για να συνεχίσετε.