Быстрый старт: Подключение к совместимому с OpenAI конечному пункту

Предварительные требования: Базовый URL и аутентификация

Начните с генерации ключа на странице получения API-ключа. Войдите через Google или по электронной почте и паролю, чтобы мгновенно получить учетные данные. Номер телефона не требуется.

Установите базовый URL в HTTPS://api.apicost.cc/v1. Используйте сгенерированный ключ в качестве токена Bearer в заголовке Authorization. Это работает с любым стандартным клиентом SDK OpenAI.

Для одного аккаунта нужен только один активный ключ. Новый ключ заменяет старый. Ваши промпты не используются для обучения.

Отправка вашего первого запроса: простое завершение чата

Отправьте POST-запрос на /v1/chat/completions, установив модель в uncensored. Отправьте сообщение пользователя в массиве messages. API возвращает текстовый ответ.

Каждый запрос учитывается в вашем использовании токенов. Входные токены стоят $0.15 за миллион. Выходные токены стоят $0.50 за миллион. Ошибки и отказы бесплатны.

Убедитесь, что тело вашего запроса не превышает 8 МБ. Максимальный объем вывода составляет 16,000 токенов на запрос.

Copycurl https://api.apicost.cc/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "What is the current price per million tokens?"}]
  }'

Потоковая передача ответов для обновления интерфейса в реальном времени

Включите потоковую передачу, установив параметр stream в true. API возвращает события, отправляемые сервером (SSE) вместо одного объекта JSON.

Анализируйте каждый чанк для обновления пользовательского интерфейса в реальном времени. Последний чанк содержит общее количество токенов для запроса. Это помогает точно отслеживать затраты.

Стриминг работает со всеми стандартными параметрами. Вы можете отменить запрос досрочно, если это необходимо. Сервер немедленно прекращает обработку.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.apicost.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Контроль креативности: temperature, top_p и seed

Настраивайте temperature для управления случайностью. Низкие значения делают ответы более детерминированными. Высокие значения повышают креативность.

Установите top_p для ограничения диапазона сэмплирования ядра. Используйте seed для воспроизведения конкретных результатов при отладке. Эти параметры работают точно так же, как в API OpenAI.

Сочетайте эти настройки для настройки модели под ваш случай использования. Задачи кодирования часто выигрывают от более низкой температуры. Творческое письмо может потребовать более высоких значений.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.apicost.cc/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Структурированные данные в режиме JSON и вызов функций

Используйте response_format, установленный в json_object, для строгого вывода JSON. Модель вернёт валидный JSON без разметки markdown. Это полезно для парсинга данных в вашем приложении.

Вызов функций позволяет определять инструменты в вашем запросе. Модель может вызывать эти инструменты на основе ввода пользователя. Используйте tool_choice для управления тем, когда модель вызывает инструмент.

Обе функции соответствуют стандартной схеме OpenAI. Вы можете определить несколько инструментов в одном запросе. Модель автоматически выполняет маршрутизацию.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Понимание контекстных окон и ограничений токенов

Окно контекста составляет 100 000 токенов. Это включает входные и выходные токены вместе. Вы можете отправлять длинные документы без потери контекста.

Лимиты составляют 300 запросов в минуту на ключ. Вы можете выполнять 8 одновременных запросов одновременно. Превышение этих лимитов возвращает ошибку 429.

Корректно обрабатывайте ошибки в коде. Ошибка 401 означает, что ваш ключ недействителен. Ошибка 402 означает, что у вас нет кредита. Пополните баланс криптой, чтобы продолжить.