我想使用python(fastapi)和nodejs创建一个学习辅助项目,该项目存在如下功能:手机端可以使用拍照/相册上传一个图片,云端自动使用一个ai模型(gemini2.5p…
- User
我想使用python(fastapi)和nodejs创建一个学习辅助项目,该项目存在如下功能:手机端可以使用拍照/相册上传一个图片,云端自动使用一个ai模型(gemini2.5pro)进行解答,然后程序会将ai的功能与搜索得到的题目(或另一个ai(gpto4minihigh)给出的答案对比),给出详细解答,并将题目收录到数据库中以当错题本。同时,如果用户给与ai一个学习上的问题,ai会使用mcp搜索,并写出一篇论文级别文章,系统会自动收录文章。
Assistant
以下是为您设计的学习辅助项目架构和实现方案,采用模块化设计以确保可扩展性和高效性:
一、技术栈选择
- 后端服务:
- FastAPI(Python):处理AI模型调用、图像处理、核心业务逻辑
- Node.js:实时通信服务(WebSocket)、文件存储管理
- 数据库:
- PostgreSQL:关系型数据存储(用户、错题本、文章元数据)
- Redis:缓存搜索结果和会话状态
- MinIO:图片和PDF文件存储
- AI服务:
- Gemini 2.5 Pro:图像解析和题目解答
- GPT-4 Mini High:答案验证与对比
- MCP协议实现:学术搜索与论文生成
- 其他:
- Celery + Redis:异步任务队列
- Docker:服务容器化
- Traefik:反向代理与服务发现
二、系统架构图
+---------------------+ +----------------------+ +-------------------+ | Mobile Client |<--->| API Gateway(Nginx) |<--->| FastAPI(Service) | +---------------------+ +----------------------+ +-------------------+ ↑ ↓ +---------------------+ | Node.js(File Sync) | +---------------------+ ↑ ↓ +----------------------------+ | AI Services(Gemini/GPT) | +----------------------------+ ↑ ↓ +----------------------------+ | Database(PostgreSQL) | +----------------------------+三、核心模块实现
- 图像处理服务(FastAPI)
from fastapi import FastAPI, File, UploadFile from PIL import Image import io import google.generativeai as gemini app = FastAPI() @app.post("/upload") async def process_image(file: UploadFile = File(...)): # 图像预处理 image = Image.open(io.BytesIO(await file.read())) optimized_image = optimize_image(image) # 自定义优化函数 # 异步调用Gemini response = await gemini.generate_content( model="gemini-2.5-pro", content=[optimized_image, "请解析这道题目并给出解题步骤"] ) # 存储到任务队列进行对比分析 task_id = celery.send_task("compare_answers", args=[response.text]) return {"task_id": task_id, "status": "processing"}- 答案对比引擎
def compare_answers(gemini_answer: str): # 调用GPT-4进行验证 gpt4_answer = openai.Completion.create( model="gpt-4-mini-high", prompt=f"请验证以下答案的正确性:{gemini_answer}" ) # 使用语义相似度算法对比 similarity = calculate_similarity(gemini_answer, gpt4_answer) # 生成对比报告 report = generate_comparison_report({ "gemini": gemini_answer, "gpt4": gpt4_answer, "similarity": similarity }) # 存储到数据库 save_to_database(report) return report- 论文生成服务
// Node.js MCP服务示例 class AcademicSearch { constructor() { this.mcpClient = new MCPClient(); } async generateResearchPaper(topic) { // 使用MCP协议搜索学术资源 const sources = await this.mcpClient.search({ query: topic, type: "academic" }); // 整理文献综述 const literatureReview = this.processSources(sources); // 调用Gemini生成论文框架 const framework = await generateFramework(literatureReview); // 分章节生成 const paperContent = await this.generateSections(framework); // 生成最终PDF const pdfBuffer = await generatePDF(paperContent); return { pdfBuffer, sources }; } }四、数据库设计
-- 题目记录表 CREATE TABLE problems ( id UUID PRIMARY KEY, image_path TEXT NOT NULL, content TEXT, gemini_answer TEXT, gpt4_answer TEXT, similarity_score FLOAT, created_at TIMESTAMP ); -- 用户错题本关联表 CREATE TABLE user_problems ( user_id UUID REFERENCES users(id), problem_id UUID REFERENCES problems(id), attempt_count INT, mastery_level FLOAT ); -- 学术论文表 CREATE TABLE research_papers ( id UUID PRIMARY KEY, title TEXT, content JSONB, sources JSONB, pdf_path TEXT, created_at TIMESTAMP );五、部署方案
# docker-compose.yml version: '3.8' services: fastapi: build: ./fastapi ports: - "8000:8000" depends_on: - redis - db nodejs: build: ./nodejs ports: - "3000:3000" volumes: - ./uploads:/app/uploads celery-worker: build: ./fastapi command: celery -A worker.app worker --loglevel=info depends_on: - redis redis: image: redis:latest ports: - "6379:6379" db: image: postgres:15 environment: POSTGRES_USER: admin POSTGRES_PASSWORD: secret六、安全方案
- 认证体系:
- JWT令牌认证(有效期15分钟 + 刷新令牌)
- OAuth2.0第三方登录(Google/微信)
- 数据加密:
- TLS 1.3全链路加密
- 敏感数据AES-256加密存储
- API密钥动态轮换(AWS Secrets Manager)
七、性能优化措施
- 图像处理优化:
- WebP格式转换(减少30%体积)
- 图像尺寸自适应调整
- GPU加速的OCR预处理
- AI服务管理:
- 模型输出缓存(Redis,TTL=24h)
- 请求合并处理(批处理相似查询)
- 自动模型选择(根据题目类型切换模型)
八、开发路线图
- 第一阶段(2周):
- 搭建基础服务框架
- 实现图片上传和存储
- 集成Gemini基础功能
- 第二阶段(3周):
- 完成答案对比系统
- 开发论文生成核心模块
- 实现数据库持久化
- 第三阶段(2周):
- 添加用户认证系统
- 开发移动端基础UI
- 实现WebSocket实时通知
- 第四阶段(1周):
- 性能调优和压力测试
- 安全审计
- 部署文档编写
建议采用敏捷开发模式,每两周进行一次迭代评审。重点需要关注AI服务的调用成本控制和响应延迟优化,建议初期使用模型输出缓存和请求合并策略来降低费用。