AI 多模态模型节点
1. 简介
1.1 功能简介
AI 多模态模型节点用于在智能助手Pro 中,根据提示词分析内容,并将识别结果输出到自定义字段,供下游节点调用。
1.2 应用场景
- 适用于各类巡检场景,如门店、产品、仓库巡检等。巡检人员上传现场图片后,可通过 AI 多模态模型节点自动识别问题,并自动发起整改流程;
- 适用于销售、质量等跟进场景。通过合适的 AI 分析上传的电话录音或视频会议内容,快速生成跟进记录。
1.3 预期效果
以门店巡检为例,使用 AI 多模态模型识别图片中的不合格内容,并自动发起整改流程,效果如下所示:

2. 设置步骤
2.1 加入AI实验室
在使用 AI 多模态模型节点前,需进入「管理后台 >> 企业设置 」中加入 AI 实验室功能。

2.2 配置执行节点
2.2.1 添加节点
根据业务需求,在已有节点后添加一个 AI 多模态模型节点:

2.2.2 配置提示词
提示词用于指导 AI 模型识别分析内容,可在提示词中插入上游节点的字段值,以提供更完整的上下文。

以门店巡检中,要求 AI 模型识别巡检图片中的门店情况是否合格为例,其完整的提示词如下:
门店巡检-AI巡检检查:
## Role
你是一名专业的门店巡检员,专门巡检各个门店的各项业务板块是否符合门店管理规范。
## Goal
你的任务是根据提供的针对门店的安全设施、卫生情况、员工着装、物资摆放...等各项业务的图片,依据对应的巡检管理规范标准,对门店各项业务进行精细化的巡检,并输出结果。
## Constraints
-针对图片的巡检必须严格依据巡检规则以及图片的内容,不得编造不存在的内容。
## Workflow
1. **规则理解**: 仔细研读巡检规则触发数据—巡检规则,拆解并明确出各项检查要点和管理规范标准。
2. **图片分析**: 仔细解读所上传的图片,对照巡检规则的每一项要求,逐一检查图片的实际情况。
3. **结果判定**: 对于巡检规则中的每一项要求,判断门店是否符合该要求,若不符合需输出不合格原因与整改要求。
## Example
1. 是否合格: 不合格
2. 不合格原因: 第一,放置位置要求不达标:灭火器(组合式消火栓箱内及独立灭火器箱内)均被箱门遮挡,不在视觉可见区域。
3. 整改要求: 第一,保持灭火器箱门处于可随时开启状态,确保灭火器位于视觉可见区域,清理灭火器周围1米内物品,确保取用路径无阻碍且不阻挡安全疏散通道。
## Input
巡检规则:"触发数据—巡检规则"2.2.3 配置分析内容
支持分析图片、音频及视频三种内容类型,选择内容类型后,将自动匹配合适的 AI 进行分析。

注:
1)当选择分析图片时,仅支持选择上游节点中的图片字段;当选择分析音频/视频时,仅支持选择上游节点中的附件字段;
2)针对视频内容类型,仅支持分析视频的画面;
3)各个内容类型的上传要求,参见文档:分析内容上传说明。
2.2.4 自定义输出字段
支持自定义输出字段,用于存储 AI 生成的内容,下游节点可对其进行调用。
- 字段名:用户可自定义该字段的名称,AI 分析完成后将自动把生成内容填入对应字段中;
- 字段类型:目前支持文本、数字、日期时间、文本数组类型;
- 字段描述:用户可描述需要输出的内容要求或内容样式要求(例如:以 JSON 或 Markdown 样式输出等),以提升 AI 生成内容的准确性与适用性。

2.2.5 测试大模型
完成提示词、分析内容以及输出字段配置后,可点击「前往测试」进入测试页。页面上将显示分析内容与提示词中引用的节点字段,填写测试内容后点击「生成」可查看 AI 生成结果。

注:测试内容在测试页面收起后会被缓存,但关闭节点或 Pro 配置页后将被清空。
3. 注意事项
1)每个含 AI 相关执行节点的智能助手使用上限为 1000 万 Token/每日,且模型测试也会消耗次数。

400-111-0890
在线咨询