Швидкий старт: Інтегруйте кінцеву точку, сумісну з OpenAI

Передумови: Базовий URL та автентифікація

Почніть із генерації ключа на сторінці Отримати API-ключ. Увійдіть через Google або за електронною поштою та паролем, щоб миттєво отримати свої облікові дані. Номер телефону не потрібен.

Встановіть вашу базову URL-адресу на HTTPS://api.apicost.cc/v1. Використовуйте згенерований ключ як токен Bearer у заголовку Authorization. Це працює з будь-яким стандартним SDK клієнта OpenAI.

На один акаунт потрібен лише один активний ключ. Новий ключ замінює старий. Ваші промпти не використовуються для навчання.

Надсилання вашого першого запиту: просте завершення чату

Надішліть POST-запит на /v1/chat/completions із встановленою моделлю uncensored. Надішліть своє повідомлення користувача в масив messages. API повертає текстову відповідь.

Кожен запит враховується у вашому використанні токенів. Вхідні токени коштують $0.15 за мільйон. Вивідні токени коштують $0.50 за мільйон. Помилки та відмови є безкоштовними.

Переконайтеся, що ваше тіло запиту не перевищує 8 МБ. Максимальний обсяг виведення становить 16,000 токенів за запит.

Copycurl https://api.apicost.cc/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "What is the current price per million tokens?"}]
  }'

Потокова передача відповідей для оновлень інтерфейсу в реальному часі

Увімкніть потокову передачу, встановивши параметр stream у true. API повертає події, надіслані сервером (SSE), замість одного об'єкта JSON.

Парсуйте кожен чанк, щоб оновлювати ваш інтерфейс у реальному часі. Останній чанк містить загальне використання токенів для запиту. Це допомагає точно відстежувати витрати.

Потокова передача працює з усіма стандартними параметрами. Ви можете скасувати запит достроково, якщо потрібно. Сервер миттєво припиняє обробку.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.apicost.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Контроль креативності: temperature, top_p та seed

Налаштуйте temperature для контролю випадковості. Нижчі значення роблять відповіді більш детермінованими. Вищі значення підвищують креативність.

Встановіть top_p для обмеження діапазону вибірки за ядром. Використовуйте seed для відтворення конкретних результатів для налагодження. Ці параметри працюють точно так само, як у API OpenAI.

Поєднайте ці налаштування для налаштування моделі під ваш випадок використання. Завданням програмування часто вигідно використовувати нижчу температуру. Творчому письму можуть знадобитися вищі значення.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.apicost.cc/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Структуровані виводи з режимом JSON та викликом функцій

Використовуйте response_format, встановлений на json_object, для суворих виводів JSON. Модель повертатиме дійсний JSON без форматування markdown. Це корисно для парсингу даних у вашій програмі.

Виклик функцій дозволяє визначати інструменти у вашому запиті. Модель може викликати ці інструменти на основі вводу користувача. Використовуйте tool_choice для керування тим, коли модель викликає інструмент.

Обидві функції відповідають стандартній схемі OpenAI. Ви можете визначити кілька інструментів в одному запиті. Модель автоматично обробляє маршрутизацію.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Розуміння вікон контексту та обмежень на токени

Розмір контекстного вікна становить 100 000 токенів. Це включає як вхідні, так і вихідні токени разом. Ви можете надсилати довгі документи без втрати контексту.

Ліміти швидкості становлять 300 запитів на хвилину на ключ. Ви можете виконувати 8 одночасних запитів одночасно. Перевищення цих лімітів повертає помилку 429.

Гарно обробляйте помилки у своєму коді. Помилка 401 означає, що ваш ключ недійсний. Помилка 402 означає, що у вас немає кредитів. Поповніть криптою, щоб продовжити.