Gemini 컨텍스트 캐시 사용 가이드

export API_KEY="API 키를 입력하세요"

{
  "type": "text",
  "text": "안정적인 접두부의 마지막 콘텐츠입니다",
  "cache_control": {
    "type": "ephemeral",
    "ttl": "5m"
  }
}

system
→ 안정적인 긴 텍스트 또는 이전 메시지
→ cache_control이 설정된 안정적인 접두부 경계
→ 현재 사용자 질문(캐시하지 않음)

curl "https://api.apimart.ai/v1/chat/completions" \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemini-3.6-flash",
    "stream": false,
    "messages": [
      {
        "role": "system",
        "content": "제공된 참고 자료에 근거하여 질문에 엄격하게 답변하세요."
      },
      {
        "role": "user",
        "content": "여기에 반복해서 사용할 긴 참고 자료를 입력합니다……"
      },
      {
        "role": "assistant",
        "content": [
          {
            "type": "text",
            "text": "위 참고 자료를 읽고 이해했습니다.",
            "cache_control": {
              "type": "ephemeral",
              "ttl": "5m"
            }
          }
        ]
      },
      {
        "role": "user",
        "content": "참고 자료의 핵심 내용을 세 가지로 요약해 주세요."
      }
    ]
  }'

curl "https://api.apimart.ai/v1beta/models/gemini-3.6-flash:generateContent" \
  -H "x-goog-api-key: $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "systemInstruction": {
      "parts": [
        {
          "text": "제공된 참고 자료에 근거하여 질문에 엄격하게 답변하세요."
        }
      ]
    },
    "contents": [
      {
        "role": "user",
        "parts": [
          {
            "text": "여기에 반복해서 사용할 긴 참고 자료를 입력합니다……"
          }
        ]
      },
      {
        "role": "model",
        "parts": [
          {
            "text": "위 참고 자료를 읽고 이해했습니다.",
            "cache_control": {
              "type": "ephemeral",
              "ttl": "5m"
            }
          }
        ]
      },
      {
        "role": "user",
        "parts": [
          {
            "text": "참고 자료의 핵심 내용을 세 가지로 요약해 주세요."
          }
        ]
      }
    ]
  }'

curl -N "https://api.apimart.ai/v1beta/models/gemini-3.6-flash:streamGenerateContent?alt=sse" \
  -H "x-goog-api-key: $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "contents": [
      {
        "role": "user",
        "parts": [
          {
            "text": "여기에 반복해서 사용할 긴 참고 자료를 입력합니다……",
            "cache_control": {
              "type": "ephemeral",
              "ttl": "5m"
            }
          }
        ]
      },
      {
        "role": "user",
        "parts": [
          {
            "text": "참고 자료의 핵심 내용을 세 가지로 요약해 주세요."
          }
        ]
      }
    ]
  }'

안정적인 접두부 식별
→ Context Cache 생성
→ 현재 요청에서 새 캐시 참조
→ 모델 결과 반환

동일한 안정적인 접두부 식별
→ 만료되지 않은 Context Cache 재사용
→ 현재 실시간 콘텐츠만 전송
→ 모델 결과 반환

{
  "role": "user",
  "content": "참고 자료에는 어떤 위험이 언급되어 있나요?"
}

from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="https://api.apimart.ai/v1",
)

stable_messages = [
    {
        "role": "system",
        "content": "제공된 참고 자료에 근거하여 질문에 엄격하게 답변하세요.",
    },
    {
        "role": "user",
        "content": "여기에 반복해서 사용할 긴 참고 자료를 입력합니다……",
    },
    {
        "role": "assistant",
        "content": [
            {
                "type": "text",
                "text": "위 참고 자료를 읽고 이해했습니다.",
                "cache_control": {
                    "type": "ephemeral",
                    "ttl": "5m",
                },
            }
        ],
    },
]

response = client.chat.completions.create(
    model="gemini-3.6-flash",
    messages=[
        *stable_messages,
        {
            "role": "user",
            "content": "참고 자료의 핵심 내용을 세 가지로 요약해 주세요.",
        },
    ],
)

print(response.choices[0].message.content)
print(response.usage)

{
  "usage": {
    "prompt_tokens": 14430,
    "prompt_tokens_details": {
      "cached_tokens": 14420,
      "cache_write_tokens": 0
    }
  }
}

{
  "usageMetadata": {
    "promptTokenCount": 13926,
    "cachedContentTokenCount": 13916,
    "totalTokenCount": 13954
  }
}