Leitfaden zum Gemini-Kontext-Caching

export API_KEY="IHR_API_SCHLUESSEL"

{
  "type": "text",
  "text": "Dies ist der letzte Abschnitt des stabilen Präfixes",
  "cache_control": {
    "type": "ephemeral",
    "ttl": "5m"
  }
}

system
→ Stabiler Langtext oder Nachrichtenverlauf
→ Grenze des stabilen Präfixes mit cache_control
→ Aktuelle Benutzerfrage (nicht zwischengespeichert)

curl "https://api.apimart.ai/v1/chat/completions" \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemini-3.6-flash",
    "stream": false,
    "messages": [
      {
        "role": "system",
        "content": "Beantworten Sie Fragen ausschließlich anhand des bereitgestellten Referenzmaterials."
      },
      {
        "role": "user",
        "content": "Fügen Sie hier das umfangreiche Referenzmaterial ein, das wiederverwendet werden soll..."
      },
      {
        "role": "assistant",
        "content": [
          {
            "type": "text",
            "text": "Ich habe das obige Referenzmaterial gelesen und verstanden.",
            "cache_control": {
              "type": "ephemeral",
              "ttl": "5m"
            }
          }
        ]
      },
      {
        "role": "user",
        "content": "Fassen Sie die drei wichtigsten Punkte des Referenzmaterials zusammen."
      }
    ]
  }'

curl "https://api.apimart.ai/v1beta/models/gemini-3.6-flash:generateContent" \
  -H "x-goog-api-key: $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "systemInstruction": {
      "parts": [
        {
          "text": "Beantworten Sie Fragen ausschließlich anhand des bereitgestellten Referenzmaterials."
        }
      ]
    },
    "contents": [
      {
        "role": "user",
        "parts": [
          {
            "text": "Fügen Sie hier das umfangreiche Referenzmaterial ein, das wiederverwendet werden soll..."
          }
        ]
      },
      {
        "role": "model",
        "parts": [
          {
            "text": "Ich habe das obige Referenzmaterial gelesen und verstanden.",
            "cache_control": {
              "type": "ephemeral",
              "ttl": "5m"
            }
          }
        ]
      },
      {
        "role": "user",
        "parts": [
          {
            "text": "Fassen Sie die drei wichtigsten Punkte des Referenzmaterials zusammen."
          }
        ]
      }
    ]
  }'

curl -N "https://api.apimart.ai/v1beta/models/gemini-3.6-flash:streamGenerateContent?alt=sse" \
  -H "x-goog-api-key: $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "contents": [
      {
        "role": "user",
        "parts": [
          {
            "text": "Fügen Sie hier das umfangreiche Referenzmaterial ein, das wiederverwendet werden soll...",
            "cache_control": {
              "type": "ephemeral",
              "ttl": "5m"
            }
          }
        ]
      },
      {
        "role": "user",
        "parts": [
          {
            "text": "Fassen Sie die drei wichtigsten Punkte des Referenzmaterials zusammen."
          }
        ]
      }
    ]
  }'

Stabilen Präfix erkennen
→ Context Cache erstellen
→ Neuen Cache in der aktuellen Anfrage referenzieren
→ Modellergebnis zurückgeben

Identischen stabilen Präfix erkennen
→ Nicht abgelaufenen Context Cache wiederverwenden
→ Nur die aktuellen Inhalte senden
→ Modellergebnis zurückgeben

{
  "role": "user",
  "content": "Welche Risiken werden im Referenzmaterial erwähnt?"
}

from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="https://api.apimart.ai/v1",
)

stable_messages = [
    {
        "role": "system",
        "content": "Beantworten Sie Fragen ausschließlich anhand des bereitgestellten Referenzmaterials.",
    },
    {
        "role": "user",
        "content": "Fügen Sie hier das umfangreiche Referenzmaterial ein, das wiederverwendet werden soll...",
    },
    {
        "role": "assistant",
        "content": [
            {
                "type": "text",
                "text": "Ich habe das obige Referenzmaterial gelesen und verstanden.",
                "cache_control": {
                    "type": "ephemeral",
                    "ttl": "5m",
                },
            }
        ],
    },
]

response = client.chat.completions.create(
    model="gemini-3.6-flash",
    messages=[
        *stable_messages,
        {
            "role": "user",
            "content": "Fassen Sie die drei wichtigsten Punkte des Referenzmaterials zusammen.",
        },
    ],
)

print(response.choices[0].message.content)
print(response.usage)

{
  "usage": {
    "prompt_tokens": 14430,
    "prompt_tokens_details": {
      "cached_tokens": 14420,
      "cache_write_tokens": 0
    }
  }
}

{
  "usageMetadata": {
    "promptTokenCount": 13926,
    "cachedContentTokenCount": 13916,
    "totalTokenCount": 13954
  }
}