import pydantic from pydantic import BaseModel from typing import Optional class…
- User
import pydantic from pydantic import BaseModel from typing import Optional
class ChatMessageItemReq(BaseModel): role: str = pydantic.Field(..., description="角色") content: str = pydantic.Field(..., description="内容") images: Optional[str] = pydantic.Field(default=None, description="图片列表,Base64编码")
class ChatMessageReq(BaseModel): messages: list[ChatMessageItemReq] = pydantic.Field(..., description="消息列表") UPLOAD_DIR = "./uploaded_images"
def save_base64_image(base64_str: str, upload_dir: str = UPLOAD_DIR) -> str: try: # 生成唯一文件名 filename = f"{uuid.uuid4().hex}.png" file_path = os.path.join(upload_dir, filename)
# 解码 Base64 并保存为文件 with open(file_path, "wb") as f: f.write(base64.b64decode(base64_str)) return file_path except Exception as e: raise RuntimeError(f"保存图片失败: {str(e)}")@router.post("/chat_sse") async def chat_sse( req: ChatMessageReq = Body(), user_id: int = require_perm(PermTypeEnum.PERM_SPAC_CREATE_SPAC.value.code) # 接口权限定义 ) -> StreamingResponse: messages = req if messages is None: return StreamingResponse("messages is None", status_code=400)
# input为最后一个message内容 input = messages.messages[-1].content logger_helper.get_server_logger().info(f"user_id={user_id} chat,input: {input} .") images_base64 = input.images if images_base64: image_path = save_base64_image(images_base64) logger_helper.get_server_logger().info(f"用户上传图片已保存: {image_path}") # 移除最后一个message messages = messages.messages[:-1] # 查询RAG rag_list = rag_service.search_similar_docs(input) rag_content = "" # 提取rag list的内容 for item in rag_list: rag_content += item.page_content + "\n" logger_helper.get_server_logger().info(f"user_id={user_id} chat,rag content: {rag_content} .") input = "请根据以下内容生成回复:\n" + rag_content + "\n\n" + input # 调用chat_service.chat historyMessage = ChatMessageReq(messages=messages) return chat_service.chat(input, history=historyMessage)这是我的后端支持每轮对话附带一张图片。
帮我修改一下前端代码支持每轮对话选择上传一张使用base64编码的图片。
Assistant
好的,针对你的需求,我将提供修改后的前端代码,使其支持每轮对话选择上传一张使用 Base64 编码的图片。 以下是修改后的代码,并附有详细的解释:
<template> <div class="app-container"> <div class="chat"> <div class="chat-messages" ref="messagesContainer"> <div v-for="(message, index) in messages" :key="index" :class="['message', message.role === 'user' ? 'user-message' : 'assistant-message']" > <el-text :type="message.role === 'user' ? 'primary' : 'info'">{{ message.content }}</el-text> <img v-if="message.image" :src="message.image" alt="Uploaded Image" class="message-image" /> </div> <div v-if="isLoading && !hasBotResponseStarted" class="message assistant-message"> <el-text type="info"> <el-skeleton :rows="1" animated /> </el-text> </div> </div> <div class="chat-input"> <el-upload class="upload-demo" :show-file-list="false" :on-change="handleFileUpload" accept="image/*" > <el-button type="primary">选择图片</el-button> </el-upload> <el-input v-model="userInput" type="textarea" :rows="3" placeholder="输入消息..." @keydown.enter.prevent="sendMessage" /> <el-button type="primary" @click="sendMessage" :loading="isLoading" :disabled="!userInput.trim() && !selectedImageBase64" > 发送 </el-button> </div> </div> </div> </template> <script setup> import { ref, onMounted, nextTick, watch } from 'vue'; import { ElMessage } from 'element-plus'; import { streamChatMessage } from '@/api/sse.js'; const userInput = ref(''); const messages = ref([]); const isLoading = ref(false); const messagesContainer = ref(null); const hasBotResponseStarted = ref(false); const selectedImageBase64 = ref(null); // 用于存储选择的图片 Base64 编码 // 滚动到最新消息 const scrollToBottom = async () => { await nextTick(); if (messagesContainer.value) { messagesContainer.value.scrollTop = messagesContainer.value.scrollHeight; } }; // 监听消息变化,自动滚动到底部 watch(messages, () => { scrollToBottom(); }); // 文件上传处理 const handleFileUpload = (file) => { const reader = new FileReader(); reader.onload = (e) => { selectedImageBase64.value = e.target.result; // 将 Base64 编码存储到变量中 }; reader.readAsDataURL(file.raw); // 读取文件为 Base64 }; // 发送消息到后端 const assistantMessage = ref(null); const sendMessage = async () => { const input = userInput.value.trim(); // if (!input && !selectedImageBase64.value) return; // 确保文本或图片至少有一个 // 确保文本或图片至少有一个 if (!input && !selectedImageBase64.value) { ElMessage.warning('请输入消息或选择图片'); return; } // 添加用户消息(包含图片 Base64) messages.value.push({ role: 'user', content: input, image: selectedImageBase64.value, // 添加图片信息 }); isLoading.value = true; userInput.value = ''; selectedImageBase64.value = null; // 清空图片 hasBotResponseStarted.value = false; assistantMessage.value = null; try { await streamChatMessage({ message: messages.value, onMessage: (chunk) => { if (!assistantMessage.value) { // 创建响应式 assistant 消息对象 assistantMessage.value = { role: 'assistant', content: chunk }; messages.value.push(assistantMessage.value); hasBotResponseStarted.value = true; } else { assistantMessage.value.content += chunk; } }, }); } catch (error) { ElMessage.error('请求失败'); } finally { isLoading.value = false; setTimeout(() => { hasBotResponseStarted.value = false; }, 100); } }; onMounted(() => { scrollToBottom(); }); </script> <style scoped> .message-image { max-width: 200px; /* 控制图片显示的最大宽度 */ max-height: 200px; margin-top: 5px; } </style>主要修改点:
- 图片选择与 Base64 编码:
- 添加了
el-upload组件,用于选择图片。 handleFileUpload方法将选择的图片转换为 Base64 编码,并存储在selectedImageBase64变量中。
- 添加了
- 消息结构修改:
- 消息对象现在包含一个
image属性,用于存储 Base64 编码的图片数据。
- 消息对象现在包含一个
- 消息发送:
sendMessage方法将selectedImageBase64.value添加到消息对象中。- 发送后,清空
selectedImageBase64.value,以便下次发送。
- 界面显示:
- 在消息显示区域添加了
<img>标签,用于显示图片。 - 使用
v-if控制图片是否显示。 - 添加了CSS样式控制图片显示的大小。
- 在消息显示区域添加了
- 发送按钮的disabled状态
- 修改发送按钮的disabled状态,当输入框没有值,并且没有选择图片的时候,才禁用。
务必同步修改
streamChatMessage方法:// sse.js import request from '@/utils/request' export function streamChatMessage(data) { return new Promise((resolve, reject) => { request({ url: '/api/chat_sse', method: 'post', responseType: 'stream', data: { messages: data.message.map(item => ({ role: item.role, content: item.content, images: item.image || null // 如果有图片,则传递,否则传递 null })) }, onDownloadProgress: (progressEvent) => { const reader = new window.TextDecoder('utf-8'); const chunk = reader.decode(progressEvent.target.response, { stream: true }); data.onMessage(chunk); } }).then(() => { resolve() }).catch(error => { reject(error) }) }) }需要注意的:
- 后端代码: 务必确保后端代码能够接收并处理包含
image属性的消息。 在你的后端代码中,你已经做了相关处理,只需要确保input.images能正确获取到图片即可。 - Base64 编码大小: Base64 编码会增加数据的大小。 如果图片过大,可能会导致性能问题。 建议限制上传图片的大小,或者在后端进行压缩。
额外建议:
- 图片预览: 可以在选择图片后,在界面上显示图片的预览。
- 错误处理: 添加更多的错误处理逻辑,例如处理图片上传失败的情况。
- 优化: 可以考虑使用更高效的图片上传和处理方式,例如直接上传二进制数据。
- 样式美化: 补充了css样式,可以根据实际情况对样式进行调整。
请根据你的实际情况进行调整和修改。
- 图片选择与 Base64 编码:
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.