← 工具台首页

🧪 ToolRAG 测试工具

模拟 IRAOS 向 aics-toolrag-service 的检索流程

🔎 索引完整性审计(P2)

不信任 indexer 自报的计数,从数据库独立核对:对账 index_metadata 自报值与 retrieval_document 实际计数、业务接口视图与索引快照的 双向覆盖差集、关键字段空值率、record_type 分布。

📈 召回率/准确率批量评估(P3)

对 ground_truth/ 目录下的用例文件批量发起检索,计算 Recall@K / Precision@K / MRR / Top1 命中率。K 固定等于本次的 topK。 expected 为空的用例不计入平均值,单独统计误召回率。

1️⃣ 构造检索请求

正在从 ToolRAG 读取有效区域列表

过滤条件(filters,可选)

注意:capabilityDomains / providerCodes / conversationId 三个字段服务端当前不生效 (已在 API评审中确认,仅透传不影响检索结果),此处暂不提供输入,避免产生误导。

请求与响应详情

请求处理中...

浏览器请求包


                    

ToolRAG 转发请求包


                    

monitor-iraos 响应包


                    

ToolRAG 服务响应包


                    

7️⃣ API边界探测(P4)

逐条断言坏 token / 缺 header / 错误 region / DTO 边界值等场景的 实际响应是否与当前服务端代码的真实行为一致。已修复的历史发现: 此前 V2 的 tasks 字段有 DTO 级别 @Size(max=20) 硬约束,topK 有 @Max(50) 硬约束,均早于并严于 Nacos 里对应的配置值 (max-tasks=30、max-top-k=100),导致后者对 21-30/51-100 区间 从未真正生效;已于 2026-09-20 同步放宽 DTO 约束到 30/100 (含 OpenAPI schema 与测试环境配置)。用例 9a-9f 现在验证的是 修复后的边界行为(21/30/51/100 应放行,31/101 应仍被正确拒绝)。