Skip to content
Open
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
10 changes: 10 additions & 0 deletions zh-CN/config.json
Original file line number Diff line number Diff line change
Expand Up @@ -106,6 +106,8 @@
"llm.prediction.tools/serverPageDescriptionAddon": "通过服务端 API 调用时,请将其作为 `tools` 字段传入请求体",
"llm.prediction.promptTemplate/title": "提示模板",
"llm.prediction.promptTemplate/subTitle": "聊天中消息发送给模型的格式。更改此设置可能会引入意外行为 - 确保您知道自己在做什么!",
"llm.load.promptTemplate/title": "聊天模板",
"llm.load.promptTemplate/subTitle": "引擎协议用于聊天、工具、推理和多模态格式化的模板。更改此项需要重新加载模型。",
"llm.prediction.speculativeDecoding.numDraftTokensExact/title": "草稿生成token数",
"llm.prediction.speculativeDecoding.numDraftTokensExact/subTitle": "每生成一个主模型token,草稿模型生成的token数量。平衡计算量与收益,选择合适的数值",
"llm.prediction.speculativeDecoding.minContinueDraftingProbability/title": "草稿概率阈值",
Expand All @@ -126,6 +128,10 @@
"llm.load.splitStrategy/placeholder": "选择拆分策略...",
"llm.load.offloadKVCacheToGpu/title": "将 KV 缓存卸载到 GPU 内存",
"llm.load.offloadKVCacheToGpu/subTitle": "将 KV 缓存卸载到 GPU 内存。这可以提高性能但需要更多 GPU 内存",
"llm.load.numParallelSessions/title": "最大并发预测数",
"llm.load.numParallelSessions/subTitle": "模型在某一时刻可同时运行的最大预测数。并发数越高,单个预测的速度可能下降,但每个预测启动更快,整体吞吐量也更高。",
"llm.load.useUnifiedKvCache/title": "统一 KV 缓存",
"llm.load.useUnifiedKvCache/subTitle": "控制并发预测是否共享同一 KV 缓存,以节省内存。关闭后,每个预测都能使用完整的上下文长度,但会消耗更多内存。",
"load.gpuStrictVramCap/title": "限制模型卸载至专用 GPU 内存",
"load.gpuStrictVramCap.customSubTitleOff": "关闭:若专用 GPU 内存已满,允许将模型权重卸载至共享内存",
"load.gpuStrictVramCap.customSubTitleOn": "开启:系统将限制模型权重的卸载仅限于专用 GPU 内存及 RAM 。上下文仍可能使用共享内存",
Expand All @@ -139,10 +145,14 @@
"llm.load.seed/title": "种子",
"llm.load.seed/subTitle": "用于文本生成的随机数生成器的种子。-1 表示随机",
"llm.load.seed/info": "随机种子:设置随机数生成的种子以确保可重复的结果",
"llm.load.numCpuExpertLayersRatio/title": "强制将 MoE 权重加载到 CPU 的层数",
"llm.load.numCpuExpertLayersRatio/subTitle": "强制将专家层加载到 CPU 的层数。可节省显存,速度也可能比部分卸载到 GPU 更快。如果模型能完全放入显存,则不建议启用。",
"llm.load.numCpuExpertLayersRatio/info": "指定强制将专家层加载到 CPU 的层数。注意力层保留在 GPU 上,可在节省显存的同时保持较快的推理速度。",

"llm.load.llama.evalBatchSize/title": "评估批处理大小",
"llm.load.llama.evalBatchSize/subTitle": "每次处理的输入token数量。增加此值会提高性能,但会增加内存使用量",
"llm.load.llama.evalBatchSize/info": "设置评估期间一起处理的示例数量,影响速度和内存使用",
"llm.load.llama.physicalBatchSize/subTitle": "单次处理的提示 token 最大数量。更大的值可能提升性能,但会消耗更多内存。",
"llm.load.llama.ropeFrequencyBase/title": "RoPE 频率基",
"llm.load.llama.ropeFrequencyBase/subTitle": "旋转位置嵌入(RoPE)的自定义基频。增加此值可能在高上下文长度下提高性能",
"llm.load.llama.ropeFrequencyBase/info": "[高级] 调整旋转位置编码的基频,影响位置信息的嵌入方式",
Expand Down
Loading