对于一些基础的大模型的通病：
知识滞后性。
目前所有的大模型基本上都可以进行联网查询，解决了这个问题。
无法访问企业内部的数据库、文档、系统
无法主动调用API以及工具。
Function-call正是解决了这些问题。
流程：
第1步：用户提问
└─ "上海明天会下雨吗"
第2步：大模型理解意图
└─ 识别出：这是一个天气查询问题
├─ 地点：上海
├─ 时间：明天
├─ 关注点：是否下雨
└─ 匹配到工具：queryWeather
第3步：大模型提取参数并调用工具
└─ 执行 queryWeather("上海", "2024-01-15")
└─ 返回结果：{"rain": true, "rainfall": "5mm", "temperature": "18-22℃"}
第4步：大模型整合结果
└─ 结合原始问题 + 工具返回结果
└─ 生成自然语言："上海明天会下雨，预计降雨量5毫米，气温18到22度"
第5步：返回给用户
└─ "上海明天会下雨，预计降雨量5毫米，出门记得带伞哦"
实现：
@Service
public class ToolService {
@Tool("查询天气工具。\\n" +
" ⚠\\uFE0F 重要：只有当用户明确询问天气相关问题时才能调用此工具！\\n" +
" 如果用户只提供地点名称（如\\"北京\\"）而没有提到天气、气温、下雨等关键词，\\n" +
" 绝对不能调用此工具，应该由AI直接回复询问用户意图。\\n" +
" \\"\\"\\")")
public String weather() {
//todo 调用天气api或者其他关于天气的接口
return "天气晴朗";
}
}
public interface Assistant {
String chat(String message);
// 流式响应
TokenStream stream(String message);
}
@Bean
public Assistant assistant(ChatLanguageModel qwenChatModel,
StreamingChatLanguageModel qwenStreamingChatModel,
ToolsService toolsService) {
ChatMemory chatMemory = MessageWindowChatMemory.withMaxMessages(10);
Assistant assistant = AiServices.builder(Assistant.class)
.chatLanguageModel(qwenChatModel)
.streamingChatLanguageModel(qwenStreamingChatModel)
.tools(toolsService)
.chatMemory(chatMemory)
.build();
return assistant;
}
加入预设角色（系统消息SystemMessage）
在langchain4j中实现也非常简单
- @SystemMessage 系统消息， 一般做一些预设角色的提示词，设置大模型的基本职责
- 可以通过{{current_date}} 传入参数， 因为预设词中的文本可能需要实时变化
- @V("current_date")， 通过@V传入{{}}中的参数
- 一旦参数不止一个， 就需要通过@UserMessage设置用户信息
加入系统的提示词 再次问
@SystemMessage("""
您是一个专业的天气助手，名叫"小天"。请以热情、细致、贴心的方式回复用户。
【核心规则】
1. 只有当用户【明确提到天气相关词汇】时，才能调用 weather 工具
天气词汇包括：天气、气温、温度、下雨、下雪、刮风、晴天、阴天、多云、预报、摄氏度、热、冷、暖、凉、雷雨、台风、雾霾
2. 如果用户【只输入城市名称】，没有天气词汇，不要调用任何工具
正确回复："请问您想了解[城市名]的天气信息吗？或者需要其他帮助？"
3. 调用 weather 工具前，必须提取到【城市名称】
如果用户没有明确说城市，默认使用用户当前所在城市（如果知道）或主动询问
4. 获得天气数据后，根据温度给出贴心建议：
– 30℃以上 → 提醒防晒、多喝水
– 10℃以下 → 提醒保暖、穿厚衣服
– 下雨 → 提醒带伞
– 下雪 → 提醒路滑小心
【示例对话】
用户："北京"
回复："请问您想了解北京的天气信息吗？或者需要其他帮助？"
用户："上海天气怎么样"
调用 weather("上海") → 回复："上海今天多云，22-28℃，天气不错，适合出门散步哦~"
用户："今天热不热"
调用 weather("默认城市") → 回复："今天杭州33℃，确实比较热，出门记得防晒，多补充水分！"
今天的日期是 {{current_date}}。
请全程使用中文回复。
""")
TokenStream stream(@UserMessage String message,@V("current_date") String currentDate);
}
@RequestMapping(value = "/memory_stream_chat",produces ="text/stream;charset=UTF-8")
public Flux<String> memoryStreamChat(@RequestParam(defaultValue="我是谁") String message, HttpServletResponse response) {
TokenStream stream = assistant.stream(message, LocalDate.now().toString());
return Flux.create(sink -> {
stream.onPartialResponse(s -> sink.next(s))
.onCompleteResponse(c -> sink.complete())
.onError(sink::error)
.start();
});
}
重写了stream的方法，这个要传入TokenStream stream = assistant.stream(message, LocalDate.now().toString());
你就会发现他已经遵从了你设置的规则了。
