Руководство по контекстному кэшу Gemini

export API_KEY="ваш API-ключ"

{
  "type": "text",
  "text": "Это последний фрагмент стабильного префикса",
  "cache_control": {
    "type": "ephemeral",
    "ttl": "5m"
  }
}

system
→ стабильный длинный текст или история сообщений
→ граница стабильного префикса с cache_control
→ текущий вопрос пользователя (не кэшируется)

curl "https://api.apimart.ai/v1/chat/completions" \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemini-3.6-flash",
    "stream": false,
    "messages": [
      {
        "role": "system",
        "content": "Отвечайте на вопросы строго на основе предоставленных справочных материалов."
      },
      {
        "role": "user",
        "content": "Здесь размещается длинный справочный материал для многократного использования……"
      },
      {
        "role": "assistant",
        "content": [
          {
            "type": "text",
            "text": "Я прочитал и понял приведённые выше справочные материалы.",
            "cache_control": {
              "type": "ephemeral",
              "ttl": "5m"
            }
          }
        ]
      },
      {
        "role": "user",
        "content": "Кратко изложите три ключевых положения справочных материалов."
      }
    ]
  }'

curl "https://api.apimart.ai/v1beta/models/gemini-3.6-flash:generateContent" \
  -H "x-goog-api-key: $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "systemInstruction": {
      "parts": [
        {
          "text": "Отвечайте на вопросы строго на основе предоставленных справочных материалов."
        }
      ]
    },
    "contents": [
      {
        "role": "user",
        "parts": [
          {
            "text": "Здесь размещается длинный справочный материал для многократного использования……"
          }
        ]
      },
      {
        "role": "model",
        "parts": [
          {
            "text": "Я прочитал и понял приведённые выше справочные материалы.",
            "cache_control": {
              "type": "ephemeral",
              "ttl": "5m"
            }
          }
        ]
      },
      {
        "role": "user",
        "parts": [
          {
            "text": "Кратко изложите три ключевых положения справочных материалов."
          }
        ]
      }
    ]
  }'

curl -N "https://api.apimart.ai/v1beta/models/gemini-3.6-flash:streamGenerateContent?alt=sse" \
  -H "x-goog-api-key: $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "contents": [
      {
        "role": "user",
        "parts": [
          {
            "text": "Здесь размещается длинный справочный материал для многократного использования……",
            "cache_control": {
              "type": "ephemeral",
              "ttl": "5m"
            }
          }
        ]
      },
      {
        "role": "user",
        "parts": [
          {
            "text": "Кратко изложите три ключевых положения справочных материалов."
          }
        ]
      }
    ]
  }'

Распознавание стабильного префикса
→ Создание Context Cache
→ Ссылка на новый кэш в текущем запросе
→ Возврат результата модели

Распознавание того же стабильного префикса
→ Повторное использование действующего Context Cache
→ Отправка только текущего актуального контента
→ Возврат результата модели

{
  "role": "user",
  "content": "Какие риски упоминаются в справочных материалах?"
}

from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="https://api.apimart.ai/v1",
)

stable_messages = [
    {
        "role": "system",
        "content": "Отвечайте на вопросы строго на основе предоставленных справочных материалов.",
    },
    {
        "role": "user",
        "content": "Здесь размещается длинный справочный материал для многократного использования……",
    },
    {
        "role": "assistant",
        "content": [
            {
                "type": "text",
                "text": "Я прочитал и понял приведённые выше справочные материалы.",
                "cache_control": {
                    "type": "ephemeral",
                    "ttl": "5m",
                },
            }
        ],
    },
]

response = client.chat.completions.create(
    model="gemini-3.6-flash",
    messages=[
        *stable_messages,
        {
            "role": "user",
            "content": "Кратко изложите три ключевых положения справочных материалов.",
        },
    ],
)

print(response.choices[0].message.content)
print(response.usage)

{
  "usage": {
    "prompt_tokens": 14430,
    "prompt_tokens_details": {
      "cached_tokens": 14420,
      "cache_write_tokens": 0
    }
  }
}

{
  "usageMetadata": {
    "promptTokenCount": 13926,
    "cachedContentTokenCount": 13916,
    "totalTokenCount": 13954
  }
}