diff --git a/zh-CN/config.json b/zh-CN/config.json index 48a45d2f..6684c8ac 100644 --- a/zh-CN/config.json +++ b/zh-CN/config.json @@ -106,6 +106,8 @@ "llm.prediction.tools/serverPageDescriptionAddon": "通过服务端 API 调用时,请将其作为 `tools` 字段传入请求体", "llm.prediction.promptTemplate/title": "提示模板", "llm.prediction.promptTemplate/subTitle": "聊天中消息发送给模型的格式。更改此设置可能会引入意外行为 - 确保您知道自己在做什么!", + "llm.load.promptTemplate/title": "聊天模板", + "llm.load.promptTemplate/subTitle": "引擎协议用于聊天、工具、推理和多模态格式化的模板。更改此项需要重新加载模型。", "llm.prediction.speculativeDecoding.numDraftTokensExact/title": "草稿生成token数", "llm.prediction.speculativeDecoding.numDraftTokensExact/subTitle": "每生成一个主模型token,草稿模型生成的token数量。平衡计算量与收益,选择合适的数值", "llm.prediction.speculativeDecoding.minContinueDraftingProbability/title": "草稿概率阈值", @@ -126,6 +128,10 @@ "llm.load.splitStrategy/placeholder": "选择拆分策略...", "llm.load.offloadKVCacheToGpu/title": "将 KV 缓存卸载到 GPU 内存", "llm.load.offloadKVCacheToGpu/subTitle": "将 KV 缓存卸载到 GPU 内存。这可以提高性能但需要更多 GPU 内存", + "llm.load.numParallelSessions/title": "最大并发预测数", + "llm.load.numParallelSessions/subTitle": "模型在某一时刻可同时运行的最大预测数。并发数越高,单个预测的速度可能下降,但每个预测启动更快,整体吞吐量也更高。", + "llm.load.useUnifiedKvCache/title": "统一 KV 缓存", + "llm.load.useUnifiedKvCache/subTitle": "控制并发预测是否共享同一 KV 缓存,以节省内存。关闭后,每个预测都能使用完整的上下文长度,但会消耗更多内存。", "load.gpuStrictVramCap/title": "限制模型卸载至专用 GPU 内存", "load.gpuStrictVramCap.customSubTitleOff": "关闭:若专用 GPU 内存已满,允许将模型权重卸载至共享内存", "load.gpuStrictVramCap.customSubTitleOn": "开启:系统将限制模型权重的卸载仅限于专用 GPU 内存及 RAM 。上下文仍可能使用共享内存", @@ -139,10 +145,14 @@ "llm.load.seed/title": "种子", "llm.load.seed/subTitle": "用于文本生成的随机数生成器的种子。-1 表示随机", "llm.load.seed/info": "随机种子:设置随机数生成的种子以确保可重复的结果", + "llm.load.numCpuExpertLayersRatio/title": "强制将 MoE 权重加载到 CPU 的层数", + "llm.load.numCpuExpertLayersRatio/subTitle": "强制将专家层加载到 CPU 的层数。可节省显存,速度也可能比部分卸载到 GPU 更快。如果模型能完全放入显存,则不建议启用。", + "llm.load.numCpuExpertLayersRatio/info": "指定强制将专家层加载到 CPU 的层数。注意力层保留在 GPU 上,可在节省显存的同时保持较快的推理速度。", "llm.load.llama.evalBatchSize/title": "评估批处理大小", "llm.load.llama.evalBatchSize/subTitle": "每次处理的输入token数量。增加此值会提高性能,但会增加内存使用量", "llm.load.llama.evalBatchSize/info": "设置评估期间一起处理的示例数量,影响速度和内存使用", + "llm.load.llama.physicalBatchSize/subTitle": "单次处理的提示 token 最大数量。更大的值可能提升性能,但会消耗更多内存。", "llm.load.llama.ropeFrequencyBase/title": "RoPE 频率基", "llm.load.llama.ropeFrequencyBase/subTitle": "旋转位置嵌入(RoPE)的自定义基频。增加此值可能在高上下文长度下提高性能", "llm.load.llama.ropeFrequencyBase/info": "[高级] 调整旋转位置编码的基频,影响位置信息的嵌入方式",