datasette-llm 0.1a11:支持 OpenAI 兼容接口与本地模型
更新了什么?
datasette-llm 是 Datasette 的模型配置中间层插件,为其他 Datasette 插件提供大语言模型配置支持。
0.1a11 新增了对 OpenAI 兼容接口的支持。只要模型服务提供兼容的 API,Datasette 就可以连接它,不再局限于特定的模型托管方式。
这也意味着,通过 LM Studio、Ollama 或 llama.cpp 运行的本地模型,可以接入 Datasette Agent。
如何配置本地模型?
以 LM Studio 为例,示例将 plugins.datasette-llm.default_model 设置为以下 JSON:
{
"model": "lmstudio-qwen",
"model_name": "qwen/qwen3.8-27b",
"api_base": "http://localhost:1234/v1"
}
其中:
model:在 Datasette 中使用的模型标识。model_name:模型服务端对应的模型名称。api_base:OpenAI 兼容接口的基础地址。
实际使用时,需要根据本地服务调整模型名称和接口地址。通过 uvx 启动 Datasette、加载 datasette-agent 并传入上述配置后,即可运行由本地模型驱动的 Datasette Agent 实例。
能完成怎样的查询?
演示中,用户询问数据库里有多少个代码仓库和发布版本。Agent 先调用 list_databases_and_tables 查看数据库与表,再调用 sql_query 执行:
SELECT
(SELECT COUNT(*) FROM repos) AS repo_count,
(SELECT COUNT(*) FROM releases) AS release_count;
演示数据库返回了 200 个仓库、1,889 个发布版本。这些数字仅代表该演示数据库的查询结果。
此次更新的重点是扩展模型接入方式:Datasette Agent 的数据库对话流程可以使用本地模型作为后端。
浏览(4)
