Skip to content
TheChatArchiveThe Chat Archive
Qwenqwen3-235b-a22b-instruct-2507· Alibaba (Qwen)Hugging Face LMArena Human Preference 140K

我想使用python(fastapi)和nodejs创建一个学习辅助项目,该项目存在如下功能:手机端可以使用拍照/相册上传一个图片,云端自动使用一个ai模型(gemini2.5p…

  1. User

    我想使用python(fastapi)和nodejs创建一个学习辅助项目,该项目存在如下功能:手机端可以使用拍照/相册上传一个图片,云端自动使用一个ai模型(gemini2.5pro)进行解答,然后程序会将ai的功能与搜索得到的题目(或另一个ai(gpto4minihigh)给出的答案对比),给出详细解答,并将题目收录到数据库中以当错题本。同时,如果用户给与ai一个学习上的问题,ai会使用mcp搜索,并写出一篇论文级别文章,系统会自动收录文章。

  2. Qwen Assistant

    以下是为您设计的学习辅助项目架构和实现方案,采用模块化设计以确保可扩展性和高效性:

    一、技术栈选择

    1. 后端服务:
    • FastAPI(Python):处理AI模型调用、图像处理、核心业务逻辑
    • Node.js:实时通信服务(WebSocket)、文件存储管理
    1. 数据库:
    • PostgreSQL:关系型数据存储(用户、错题本、文章元数据)
    • Redis:缓存搜索结果和会话状态
    • MinIO:图片和PDF文件存储
    1. AI服务:
    • Gemini 2.5 Pro:图像解析和题目解答
    • GPT-4 Mini High:答案验证与对比
    • MCP协议实现:学术搜索与论文生成
    1. 其他:
    • Celery + Redis:异步任务队列
    • Docker:服务容器化
    • Traefik:反向代理与服务发现

    二、系统架构图

    +---------------------+     +----------------------+     +-------------------+
    |   Mobile Client     |<--->|  API Gateway(Nginx)  |<--->|  FastAPI(Service) |
    +---------------------+     +----------------------+     +-------------------+
                                                               ↑
                                                               ↓
                                                      +---------------------+
                                                      |  Node.js(File Sync) |
                                                      +---------------------+
                                                               ↑
                                                               ↓
                                               +----------------------------+
                                               | AI Services(Gemini/GPT)  |
                                               +----------------------------+
                                                               ↑
                                                               ↓
                                               +----------------------------+
                                               |  Database(PostgreSQL)    |
                                               +----------------------------+
    

    三、核心模块实现

    1. 图像处理服务(FastAPI)
    from fastapi import FastAPI, File, UploadFile
    from PIL import Image
    import io
    import google.generativeai as gemini
    
    app = FastAPI()
    
    @app.post("/upload")
    async def process_image(file: UploadFile = File(...)):
        # 图像预处理
        image = Image.open(io.BytesIO(await file.read()))
        optimized_image = optimize_image(image)  # 自定义优化函数
        
        # 异步调用Gemini
        response = await gemini.generate_content(
            model="gemini-2.5-pro",
            content=[optimized_image, "请解析这道题目并给出解题步骤"]
        )
        
        # 存储到任务队列进行对比分析
        task_id = celery.send_task("compare_answers", args=[response.text])
        
        return {"task_id": task_id, "status": "processing"}
    
    1. 答案对比引擎
    def compare_answers(gemini_answer: str):
        # 调用GPT-4进行验证
        gpt4_answer = openai.Completion.create(
            model="gpt-4-mini-high",
            prompt=f"请验证以下答案的正确性:{gemini_answer}"
        )
        
        # 使用语义相似度算法对比
        similarity = calculate_similarity(gemini_answer, gpt4_answer)
        
        # 生成对比报告
        report = generate_comparison_report({
            "gemini": gemini_answer,
            "gpt4": gpt4_answer,
            "similarity": similarity
        })
        
        # 存储到数据库
        save_to_database(report)
        return report
    
    1. 论文生成服务
    // Node.js MCP服务示例
    class AcademicSearch {
        constructor() {
            this.mcpClient = new MCPClient();
        }
    
        async generateResearchPaper(topic) {
            // 使用MCP协议搜索学术资源
            const sources = await this.mcpClient.search({
                query: topic,
                type: "academic"
            });
    
            // 整理文献综述
            const literatureReview = this.processSources(sources);
            
            // 调用Gemini生成论文框架
            const framework = await generateFramework(literatureReview);
            
            // 分章节生成
            const paperContent = await this.generateSections(framework);
            
            // 生成最终PDF
            const pdfBuffer = await generatePDF(paperContent);
            
            return { pdfBuffer, sources };
        }
    }
    

    四、数据库设计

    -- 题目记录表
    CREATE TABLE problems (
        id UUID PRIMARY KEY,
        image_path TEXT NOT NULL,
        content TEXT,
        gemini_answer TEXT,
        gpt4_answer TEXT,
        similarity_score FLOAT,
        created_at TIMESTAMP
    );
    
    -- 用户错题本关联表
    CREATE TABLE user_problems (
        user_id UUID REFERENCES users(id),
        problem_id UUID REFERENCES problems(id),
        attempt_count INT,
        mastery_level FLOAT
    );
    
    -- 学术论文表
    CREATE TABLE research_papers (
        id UUID PRIMARY KEY,
        title TEXT,
        content JSONB,
        sources JSONB,
        pdf_path TEXT,
        created_at TIMESTAMP
    );
    

    五、部署方案

    # docker-compose.yml
    version: '3.8'
    
    services:
      fastapi:
        build: ./fastapi
        ports:
          - "8000:8000"
        depends_on:
          - redis
          - db
    
      nodejs:
        build: ./nodejs
        ports:
          - "3000:3000"
        volumes:
          - ./uploads:/app/uploads
    
      celery-worker:
        build: ./fastapi
        command: celery -A worker.app worker --loglevel=info
        depends_on:
          - redis
    
      redis:
        image: redis:latest
        ports:
          - "6379:6379"
    
      db:
        image: postgres:15
        environment:
          POSTGRES_USER: admin
          POSTGRES_PASSWORD: secret
    

    六、安全方案

    1. 认证体系:
    • JWT令牌认证(有效期15分钟 + 刷新令牌)
    • OAuth2.0第三方登录(Google/微信)
    1. 数据加密:
    • TLS 1.3全链路加密
    • 敏感数据AES-256加密存储
    • API密钥动态轮换(AWS Secrets Manager)

    七、性能优化措施

    1. 图像处理优化:
    • WebP格式转换(减少30%体积)
    • 图像尺寸自适应调整
    • GPU加速的OCR预处理
    1. AI服务管理:
    • 模型输出缓存(Redis,TTL=24h)
    • 请求合并处理(批处理相似查询)
    • 自动模型选择(根据题目类型切换模型)

    八、开发路线图

    1. 第一阶段(2周):
    • 搭建基础服务框架
    • 实现图片上传和存储
    • 集成Gemini基础功能
    1. 第二阶段(3周):
    • 完成答案对比系统
    • 开发论文生成核心模块
    • 实现数据库持久化
    1. 第三阶段(2周):
    • 添加用户认证系统
    • 开发移动端基础UI
    • 实现WebSocket实时通知
    1. 第四阶段(1周):
    • 性能调优和压力测试
    • 安全审计
    • 部署文档编写

    建议采用敏捷开发模式,每两周进行一次迭代评审。重点需要关注AI服务的调用成本控制和响应延迟优化,建议初期使用模型输出缓存和请求合并策略来降低费用。