llm-echo 0.5:完善模拟 Token 用量统计

发布于

更新内容

llm-echo 是 LLM 工具的调试插件。它提供一个不调用实际大语言模型的“模型”,用于回显传入的提示词。

在为 LLM 新版本测试 PR 的过程中,开发者重新检查了该插件,并发布了 0.5 版。此次更新完善了模拟 Token 用量统计,将以下内容纳入计算:

  • 工具调用
  • 系统提示词
  • 推理 Token

使用示例

运行以下命令,启用模拟思考输出并显示 Token 用量:

uvx --with llm-echo llm -m echo 'hi there' -o thinking 1 --usage

示例输出如下,保留程序输出格式:

First I consider the prompt, then I decide what to say.
{
  "prompt": "hi there",
  "system": "",
  "attachments": [],
  "stream": true,
  "previous": []
}
Token usage: 2 input, 24 output

其中,英文首句意为“首先考虑提示词,然后决定说什么”;末行表示模拟统计为 2 个输入 Token、24 个输出 Token。这些是调试插件生成的模拟结果,并非实际模型的推理过程或用量。

浏览(1)
评论

请登录后发表观点

暂无数据