跳转到内容

粘性对话

粘性对话指在请求体中通过固定字段标识会话,使同一会话的请求始终命中同一 Token/账号,从而提升缓存命中率、保证对话上下文连贯。

例如:账号池中有 A、B、C 三个号,若请求中 session_id 固定为 1,则该会话的请求会持续由同一账号处理,避免中途切换导致缓存失效。

目前支持粘性对话的平台为 Claude CodeCodex,各平台所用字段不同:

平台粘性字段说明
公共session_id任意端点均支持
Claude Codemetadata.user_idV1Messages 端点支持
Codexprompt_cache_keyV1Responses 端点支持

请求示例:

js
{
    "session_id": "1234567890",
    "messages": [
        {
            "role": "user",
            "content": "hi"
        }
    ],
    "model": "<平台模型>"
}
js
{
    "metadata": {
        "user_id": "1234567890"
    },
    "messages": [
        {
            "role": "user",
            "content": "hi"
        }
    ],
    "model": "<平台模型>"
}
js
{
    "prompt_cache_key": "1234567890",
    "input": "hello",
    "model": "<平台模型>"
}