OpenAI Multimodal Responses API

curl https://api.apimart.ai/v1/responses \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer <token>" \
  -d '{
    "model": "gpt-5",
    "input": [
      {
        "role": "user",
        "content": [
          {
            "type": "input_text",
            "text": "What is in this image?"
          },
          {
            "type": "input_image",
            "image_url": "https://openai-documentation.vercel.app/images/cat_and_otter.png"
          }
        ]
      }
    ]
  }'

{
  "code": 200,
  "data": {
    "id": "resp-9876543210",
    "object": "response",
    "created": 1677652288,
    "model": "gpt-5",
    "choices": [
      {
        "index": 0,
        "message": {
          "role": "assistant",
          "content": "This image shows a cat and an otter. They appear to be interacting with each other in a very cute and heartwarming scene. The cat and otter seem to be getting along well."
        },
        "finish_reason": "stop"
      }
    ],
    "usage": {
      "prompt_tokens": 156,
      "completion_tokens": 45,
      "total_tokens": 201
    }
  }
}

POST

responses

curl https://api.apimart.ai/v1/responses \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer <token>" \
  -d '{
    "model": "gpt-5",
    "input": [
      {
        "role": "user",
        "content": [
          {
            "type": "input_text",
            "text": "What is in this image?"
          },
          {
            "type": "input_image",
            "image_url": "https://openai-documentation.vercel.app/images/cat_and_otter.png"
          }
        ]
      }
    ]
  }'

{
  "code": 200,
  "data": {
    "id": "resp-9876543210",
    "object": "response",
    "created": 1677652288,
    "model": "gpt-5",
    "choices": [
      {
        "index": 0,
        "message": {
          "role": "assistant",
          "content": "This image shows a cat and an otter. They appear to be interacting with each other in a very cute and heartwarming scene. The cat and otter seem to be getting along well."
        },
        "finish_reason": "stop"
      }
    ],
    "usage": {
      "prompt_tokens": 156,
      "completion_tokens": 45,
      "total_tokens": 201
    }
  }
}

curl https://api.apimart.ai/v1/responses \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer <token>" \
  -d '{
    "model": "gpt-5",
    "input": [
      {
        "role": "user",
        "content": [
          {
            "type": "input_text",
            "text": "What is in this image?"
          },
          {
            "type": "input_image",
            "image_url": "https://openai-documentation.vercel.app/images/cat_and_otter.png"
          }
        ]
      }
    ]
  }'

{
  "code": 200,
  "data": {
    "id": "resp-9876543210",
    "object": "response",
    "created": 1677652288,
    "model": "gpt-5",
    "choices": [
      {
        "index": 0,
        "message": {
          "role": "assistant",
          "content": "This image shows a cat and an otter. They appear to be interacting with each other in a very cute and heartwarming scene. The cat and otter seem to be getting along well."
        },
        "finish_reason": "stop"
      }
    ],
    "usage": {
      "prompt_tokens": 156,
      "completion_tokens": 45,
      "total_tokens": 201
    }
  }
}

Autorisierung

Authorization

string

erforderlich

##Alle APIs erfordern eine Bearer-Token-Authentifizierung##API-Key erhalten:Besuchen Sie die Seite zur API-Key-Verwaltung, um Ihren API-Key zu erhaltenIm Anfrage-Header hinzufügen:

Authorization: Bearer YOUR_API_KEY

Body

model

string

Standard:"gpt-5"

erforderlich

ModellnameUnterstützte Modelle umfassen:

gpt-5 – neuestes multimodales Modell von OpenAI
GPT-4o-image – optimiertes multimodales GPT-4-Modell
gpt-4-vision – GPT-4-Modell mit Bildverständnis
Weitere Modelle folgen in Kürze …

input

array

erforderlich

Liste der EingabeinhalteEingabe-Array, jedes Element enthält die Felder role und content.💡 Schnellausfüllen (Try-it-Bereich):

Klicken Sie auf „+ Add an item”, um ein Eingabeelement hinzuzufügen
Eingabe role: user (Benutzernachricht), assistant (KI-Antwort) oder system (Systemanweisung)
content Content-Blöcke hinzufügen (kann Text und Bilder enthalten)

Anzeigen Felddetails

role

string

Standard:"user"

erforderlich

RollentypOptionen: user (Benutzernachricht), assistant (KI-Antwort, für Mehrfach-Dialoge), system (Systemanweisung zur Festlegung des KI-Verhaltens)

content

array

erforderlich

Content-ArrayUnterstützt mehrere Arten von Content-Blöcken, kann Text und Bilder enthalten.

Anzeigen Content-Block-Typen

type

string

erforderlich

Content-TypOptionen:

input_text: Texteingabe
input_image: Bildeingabe

text

string

TextinhaltWird verwendet, wenn type input_text ist; geben Sie hier den Textinhalt ein

image_url

string

Bild-URLWird verwendet, wenn type input_image ist; geben Sie die Bild-URL oder Base64-Codierung anUnterstützt zwei Formate:1. Vollständige Bild-URL

Öffentlich zugängliche Bild-URL (http:// oder https://)
Beispiel: https://example.com/image.jpg

2. Base64-codiertes Format

Es muss das vollständige Data-URI-Format verwendet werden
Format: data:image/{format};base64,{base64_data}
Unterstützte Bildformate: jpeg, png, gif, webp

temperature

number

Steuert die Zufälligkeit der Ausgabe, Bereich 0–2

Niedrigere Werte (z. B. 0.2) führen zu deterministischerer Ausgabe
Höhere Werte (z. B. 1.8) führen zu zufälligerer Ausgabe

Standard: 1.0

max_tokens

integer

Maximale Anzahl der zu generierenden TokensVerschiedene Modelle haben unterschiedliche maximale Grenzwerte, bitte beachten Sie die jeweilige Modelldokumentation

stream

boolean

Ob Streaming-Ausgabe verwendet werden soll

true: Streaming-Antwort (SSE-Format)
false: vollständige Antwort auf einmal zurückgeben

Standard: false

top_p

number

Nucleus-Sampling-Parameter, Bereich 0–1Steuert die Vielfalt des generierten Texts, empfohlen als Alternative zu temperatureStandard: 1.0

tools

array

Tool-Liste zur Erweiterung der ModellfähigkeitenUnterstützte Tool-Typen:

Websuche (web_search): Echtzeit-Suche nach Internet-Informationen
Dateisuche (file_search): Suche im Inhalt hochgeladener Dateien
Function Calling (function): Aufruf benutzerdefinierter Funktionen
Remote MCP (remote_mcp): Verbindung zu Remote-Diensten des Model Context Protocol

Beispiel: [{"type": "web_search"}]

Response

string

Eindeutiger Identifikator der Antwort

object

string

Objekttyp, fest response

created

integer

Zeitstempel der Erstellung

model

string

Der tatsächlich verwendete Modellname

choices

array

Liste der generierten Antworten

Anzeigen Eigenschaften

index

integer

Index der Auswahl

message

object

Nachrichteninhalt

Anzeigen Eigenschaften

role

string

Rollentyp (assistant)

content

string

Generierter Textinhalt

finish_reason

string

Grund für den AbschlussMögliche Werte:

stop – natürlicher Abschluss
length – maximale Länge erreicht
content_filter – Inhaltsfilterung

usage

object

Statistik zur Token-Nutzung

Anzeigen Eigenschaften

prompt_tokens

integer

Anzahl der Tokens in der Eingabe

completion_tokens

integer

Anzahl der Tokens in der Ausgabe

total_tokens

integer

Gesamtzahl der Tokens

Anwendungsbeispiele

Nur-Text-Eingabe

{
  "model": "gpt-5",
  "input": [
    {
      "role": "user",
      "content": [
        {
          "type": "input_text",
          "text": "Hello, introduce artificial intelligence"
        }
      ]
    }
  ]
}

Verwendung des Websuche-Tools

{
  "model": "gpt-5",
  "tools": [{"type": "web_search"}],
  "input": "What positive news is there today?"
}

cURL Example

curl "https://api.apimart.ai/v1/responses" \
    -H "Content-Type: application/json" \
    -H "Authorization: Bearer <token>" \
    -d '{
        "model": "gpt-5",
        "tools": [{"type": "web_search"}],
        "input": "What positive news is there today?"
    }'

Bildverständnis

{
  "model": "gpt-5",
  "input": [
    {
      "role": "user",
      "content": [
        {
          "type": "input_text",
          "text": "Describe this image"
        },
        {
          "type": "input_image",
          "image_url": "https://example.com/image.jpg"
        }
      ]
    }
  ]
}

Analyse mehrerer Bilder

{
  "model": "gpt-5",
  "input": [
    {
      "role": "user",
      "content": [
        {
          "type": "input_text",
          "text": "Compare the similarities and differences of these two images"
        },
        {
          "type": "input_image",
          "image_url": "https://example.com/image1.jpg"
        },
        {
          "type": "input_image",
          "image_url": "https://example.com/image2.jpg"
        }
      ]
    }
  ]
}

Base64-codiertes Bild

{
  "model": "gpt-5",
  "input": [
    {
      "role": "user",
      "content": [
        {
          "type": "input_text",
          "text": "Analyze this image"
        },
        {
          "type": "input_image",
          "image_url": "data:image/jpeg;base64,/9j/4AAQSkZJRg..."
        }
      ]
    }
  ]
}

Verwendung des Dateisuche-Tools

{
  "model": "gpt-5",
  "tools": [{"type": "file_search"}],
  "input": "Based on uploaded documents, summarize the company's quarterly performance"
}

Verwendung von Function Calling

{
  "model": "gpt-5",
  "tools": [
    {
      "type": "function",
      "function": {
        "name": "get_weather",
        "description": "Get weather information for a specified city",
        "parameters": {
          "type": "object",
          "properties": {
            "city": {
              "type": "string",
              "description": "City name, e.g.: Beijing"
            },
            "unit": {
              "type": "string",
              "enum": ["celsius", "fahrenheit"],
              "description": "Temperature unit"
            }
          },
          "required": ["city"]
        }
      }
    }
  ],
  "input": "What's the weather like in Beijing today?"
}

Verwendung von Remote MCP

{
  "model": "gpt-5",
  "tools": [
    {
      "type": "remote_mcp",
      "remote_mcp": {
        "url": "https://mcp.example.com/api",
        "auth_token": "your_mcp_token"
      }
    }
  ],
  "input": "Query user information in the database"
}

Kombination mehrerer Tools

{
  "model": "gpt-5",
  "tools": [
    {"type": "web_search"},
    {"type": "file_search"},
    {
      "type": "function",
      "function": {
        "name": "calculate",
        "description": "Perform mathematical calculations",
        "parameters": {
          "type": "object",
          "properties": {
            "expression": {
              "type": "string",
              "description": "Mathematical expression"
            }
          },
          "required": ["expression"]
        }
      }
    }
  ],
  "input": "Search for the latest Bitcoin price and calculate the total value of 100 Bitcoins"
}

Spezifikationen der Content-Typen

input_text

Texteingabe-Typ Eigenschaften:

type: fest "input_text"
text: Textinhalt (String)

input_image

Bildeingabe-Typ Eigenschaften:

type: fest "input_image"
image_url: Bild-URL oder Base64-codiertes Data-URI

Unterstützte Bildformate:

JPEG
PNG
GIF
WebP

Größenbeschränkungen für Bilder:

Maximale Dateigröße: 20 MB
Empfohlenes Seitenverhältnis: nicht mehr als 2048x2048 Pixel

Details zur Tool-Nutzung

Websuche

Das Websuche-Tool ermöglicht es dem Modell, in Echtzeit auf Internet-Informationen zuzugreifen. Konfigurationsbeispiel:

{
  "tools": [{"type": "web_search"}]
}

Anwendungsfälle:

Abruf der neuesten Nachrichten und aktuellen Ereignisse
Echtzeit-Daten erhalten (Aktien, Wetter, Wechselkurse usw.)
Suche nach aktueller technischer Dokumentation
Überprüfung von Faktinformationen

Dateisuche

Das Dateisuche-Tool ermöglicht es dem Modell, relevante Informationen in hochgeladenen Dokumenten zu suchen. Konfigurationsbeispiel:

{
  "tools": [{"type": "file_search"}]
}

Anwendungsfälle:

Analyse interner Unternehmensdokumente
Suche in technischen Spezifikationen und Handbüchern
Abfragen zu Verträgen und Rechtsdokumenten
Q&A-Systeme auf Wissensbasis

Function Calling

Definieren Sie benutzerdefinierte Funktionen, damit das Modell externe APIs aufrufen oder bestimmte Operationen ausführen kann. Vollständiges Konfigurationsbeispiel:

{
  "tools": [
    {
      "type": "function",
      "function": {
        "name": "get_stock_price",
        "description": "Get real-time stock price",
        "parameters": {
          "type": "object",
          "properties": {
            "symbol": {
              "type": "string",
              "description": "Stock symbol, e.g.: AAPL"
            },
            "currency": {
              "type": "string",
              "enum": ["USD", "CNY"],
              "description": "Currency unit",
              "default": "USD"
            }
          },
          "required": ["symbol"]
        }
      }
    }
  ]
}

Parameterbeschreibungen:

name: Funktionsname (erforderlich)
description: Funktionsbeschreibung (erforderlich)
parameters: Parameterdefinition im JSON-Schema-Format
- type: Parametertyp
- properties: Definitionen der Parametereigenschaften
- required: Liste der erforderlichen Parameter

Anwendungsfälle:

Aufruf von Drittanbieter-APIs
Ausführen von Datenbankabfragen
Auslösen von Geschäftsprozessen
Integration mit internen Systemen

Remote MCP

Verbindung zu Remote-Diensten des Model Context Protocol (MCP) zur Erweiterung der Modellfähigkeiten. Konfigurationsbeispiel:

{
  "tools": [
    {
      "type": "remote_mcp",
      "remote_mcp": {
        "url": "https://your-mcp-server.com/api",
        "auth_token": "your_auth_token",
        "timeout": 30
      }
    }
  ]
}

Parameterbeschreibungen:

url: MCP-Serveradresse (erforderlich)
auth_token: Authentifizierungs-Token (optional)
timeout: Timeout in Sekunden, Standard 30 Sekunden

Anwendungsfälle:

Verbindung zu KI-Diensten auf Enterprise-Ebene
Verwendung domänenspezifischer Modelle
Zugriff auf geschützte Datenquellen
Integration verteilter KI-Systeme

Antwortformat bei Tool-Nutzung

Wenn das Modell Tools verwendet, enthält das Antwortformat Informationen zum Tool-Aufruf:

{
  "id": "resp-123456",
  "object": "response",
  "created": 1677652288,
  "model": "gpt-5",
  "choices": [
    {
      "index": 0,
      "message": {
        "role": "assistant",
        "content": null,
        "tool_calls": [
          {
            "id": "call_abc123",
            "type": "function",
            "function": {
              "name": "get_weather",
              "arguments": "{\"city\": \"Beijing\"}"
            }
          }
        ]
      },
      "finish_reason": "tool_calls"
    }
  ]
}

Ablauf eines Tool-Aufrufs:

Modell erhält Benutzereingabe
Analysiert, ob Tools benötigt werden
Falls ja, gibt eine Tool-Aufrufanforderung zurück
Client führt den Tool-Aufruf aus
Gibt die Tool-Ergebnisse an das Modell zurück
Modell generiert die endgültige Antwort

Wichtige Hinweise

Anforderungen an Bild-URLs:
- Muss eine öffentlich zugängliche URL sein
- Oder im Base64-codierten Data-URI-Format
Token-Abrechnung:
- Bilder verbrauchen Tokens entsprechend ihrer Auflösung
- Bilder mit hoher Auflösung werden automatisch verkleinert, um Kosten zu optimieren
- Tool-Aufrufe verbrauchen ebenfalls zusätzliche Tokens
Reihenfolge des Inhalts:
- Die Reihenfolge der Elemente im content-Array beeinflusst das Verständnis des Modells
- Empfohlen, Textanweisungen zuerst zu platzieren, dann Bilder
Multimodale Kombinationen:
- In einer Anfrage können mehrere Texte und Bilder gemischt werden
- Mehrfach-Dialoge mit Kontext-Kohärenz werden unterstützt
Einschränkungen der Tool-Nutzung:
- Bei gleichzeitiger Verwendung mehrerer Tools wählt das Modell intelligent das am besten geeignete Tool aus
- Function Calling erfordert klare Funktionsdefinitionen und Parameterbeschreibungen
- Ergebnisse der Websuche können regional und zeitlich begrenzt sein
API-Kompatibilität:
- Vollständig kompatibel mit dem Format der OpenAI Responses API
- Nahtlose Migration bestehenden OpenAI-Codes
- Unterstützt alle Tool-Erweiterungsfunktionen von OpenAI

Natives Gemini-Format Gemini-3.1-Flash-Image-preview (Nano banana2) Bildgenerierung

Documentation Index

​Autorisierung

​Body

​Response

​Anwendungsbeispiele

​Nur-Text-Eingabe

​Verwendung des Websuche-Tools

​Bildverständnis

​Analyse mehrerer Bilder

​Base64-codiertes Bild

​Verwendung des Dateisuche-Tools

​Verwendung von Function Calling

​Verwendung von Remote MCP

​Kombination mehrerer Tools

​Spezifikationen der Content-Typen

​input_text

​input_image

​Details zur Tool-Nutzung

​Websuche

​Dateisuche

​Function Calling

​Remote MCP

​Antwortformat bei Tool-Nutzung

​Wichtige Hinweise

Autorisierung

Body

Response

Anwendungsbeispiele

Nur-Text-Eingabe

Verwendung des Websuche-Tools

Bildverständnis

Analyse mehrerer Bilder

Base64-codiertes Bild

Verwendung des Dateisuche-Tools

Verwendung von Function Calling

Verwendung von Remote MCP

Kombination mehrerer Tools

Spezifikationen der Content-Typen

input_text

input_image

Details zur Tool-Nutzung

Websuche

Dateisuche

Function Calling

Remote MCP

Antwortformat bei Tool-Nutzung

Wichtige Hinweise