Skip to content
TheChatArchiveThe Chat Archive
gpt-4o-mini-2024-07-18· OpenAIAi2 WildChat-4.8M (AI2)

Giải thích đoạn code sau: [code]

  1. User

    User: Giải thích đoạn code sau:

    export async function POST(request: Request) {
      const json = await request.json()
      const { chatSettings, messages } = json as {
        chatSettings: ChatSettings
        messages: any[]
      }
    
      try {
        const url = "https://nexra.aryahcr.cc/api/chat/complements"
        const body = {
          messages: messages,
          stream: true,
          markdown: false,
          model: chatSettings.model
        }
    
        const response = await fetch(url, {
          method: "POST",
          headers: {
            "Content-Type": "application/json"
          },
          body: JSON.stringify(body)
        })
    
        if (!response.ok) {
          return new Response(JSON.stringify({ message: response.statusText }), {
            status: response.status
          })
        }
    
        const reader = response.body?.getReader()
        if (!reader) {
          return new Response(JSON.stringify({ message: "No response body" }), {
            status: 500
          })
        }
    
        let previousMessage = ""
        const encoder = new TextEncoder()
    
        const readableStream = new ReadableStream({
          async start(controller) {
            try {
              while (true) {
                const { done, value } = await reader.read()
                if (done) break
    
                const text = new TextDecoder().decode(value)
                console.log("Text:", text)
                // Split on Record Separator and handle multiple chunks
                const chunks = text.split("\u001e")
                console.log("Chunks:", chunks)
    
                for (let chunk of chunks) {
                  // Skip empty chunks
                  chunk = chunk.trim()
                  if (!chunk) continue
    
                  try {
                    const parsed = JSON.parse(chunk)
    
                    if (parsed.error) {
                      console.log("Error:", parsed.error)
                      return new Response(
                        JSON.stringify({ message: parsed.error }),
                        {
                          status: 500
                        }
                      )
                    }
    
                    // Only send the difference between current and previous message
                    if (parsed.message && parsed.message !== previousMessage) {
                      const newContent = parsed.message.slice(
                        previousMessage.length
                      )
                      controller.enqueue(encoder.encode(newContent))
                      previousMessage = parsed.message
                    }
    
                    if (parsed.finish) {
                      console.log("Finish:", parsed.finish)
                      controller.close()
                      return
                    }
                  } catch (e) {
                    console.log("Error parsing JSON:", e.message)
                    // Continue if JSON parse fails
                    continue
                  }
                }
              }
            } catch (error) {
              console.log("Error:", error)
              controller.error(error)
            }
          }
        })
    
        return new Response(readableStream, {
          headers: { "Content-Type": "text/plain" }
        })
      } catch (error: any) {
        const errorMessage = error.message || "An unexpected error occurred"
        const errorCode = error.status || 500
    
        return new Response(JSON.stringify({ message: errorMessage }), {
          status: errorCode
        })
      }
    }
    

    Assistant: Đoạn mã bạn cung cấp là một hàm xử lý yêu cầu POST trong một ứng dụng Node.js, rất có thể là ứng dụng serverless hoặc sử dụng framework như Next.js. Dưới đây là phần giải thích cho từng phần của đoạn mã:

    1. Khai báo hàm POST

    export async function POST(request: Request) {
    

    Đây là một hàm async có tên POST, nó nhận một đối tượng request kiểu Request như tham số. Hàm này sẽ xử lý yêu cầu POST từ client.

    2. Chuyển đổi yêu cầu JSON

    const json = await request.json()
    const { chatSettings, messages } = json as {
      chatSettings: ChatSettings
      messages: any[]
    }
    

    Hàm này đọc nội dung JSON từ yêu cầu và trích xuất chatSettings và messages từ đó. chatSettings có kiểu ChatSettings, và messages là một mảng các đối tượng không xác định (được đánh dấu là any[]).

    3. Khởi tạo URL và body cho yêu cầu tiếp theo

    const url = "https://nexra.aryahcr.cc/api/chat/complements"
    const body = {
      messages: messages,
      stream: true,
      markdown: false,
      model: chatSettings.model
    }
    

    Hàm định nghĩa một URL mà sẽ gửi yêu cầu tiếp theo đến và xây dựng body cho yêu cầu POST, bao gồm danh sách tin nhắn, tùy chọn stream, không sử dụng markdown, và chỉ định mô hình từ chatSettings.

    4. Gửi yêu cầu tới API

    const response = await fetch(url, {
      method: "POST",
      headers: {
        "Content-Type": "application/json"
      },
      body: JSON.stringify(body)
    })
    

    Hàm gửi một yêu cầu POST sử dụng fetch đến URL định nghĩa trước đó với headers thông báo rằng nội dung là JSON và đưa body đã xây dựng vào trong thân yêu cầu.

    5. Kiểm tra phản hồi

    if (!response.ok) {
      return new Response(JSON.stringify({ message: response.statusText }), {
        status: response.status
      })
    }
    

    Nếu phản hồi không thành công (thông qua thuộc tính ok), hàm sẽ trả về một phản hồi mới với mã trạng thái và thông điệp phản hồi từ API.

    6. Đọc và xử lý dữ liệu phản hồi

    const reader = response.body?.getReader()
    if (!reader) {
      return new Response(JSON.stringify({ message: "No response body" }), {
        status: 500
      })
    }
    
    //...
    const readableStream = new ReadableStream({
      async start(controller) {
        try {
          //...
        } catch (error) {
          controller.error(error)
        }
      }
    })
    

    Nếu phản hồi thành công, hàm lấy reader từ response.body để đọc dữ liệu từ phản hồi (có thể được gửi dưới dạng stream). Nếu không có body, nó trả về một thông báo lỗi.

    7. Xử lý đọc dữ liệu từng chunk

    Hàm tạo ra một ReadableStream với một hàm start, nơi sẽ đọc dữ liệu liên tục từ reader. Dữ liệu sẽ được đọc từng chunk, và mỗi User: Tiếp tục bước số 7 Assistant:

  2. Assistant

    7. Xử lý đọc dữ liệu từng chunk (tiếp tục)

    Bên trong hàm start(controller), dữ liệu từ reader sẽ được đọc từng phần (chunk). Đây là phần tiếp theo để xử lý và phân tích dữ liệu:

    let previousMessage = ""
    const encoder = new TextEncoder()
    
    const readableStream = new ReadableStream({
      async start(controller) {
        try {
          while (true) {
            const { done, value } = await reader.read()
            if (done) break
    
            const text = new TextDecoder().decode(value)
            console.log("Text:", text)
            // Split on Record Separator and handle multiple chunks
            const chunks = text.split("\u001e")
            console.log("Chunks:", chunks)
    
            for (let chunk of chunks) {
              // Skip empty chunks
              chunk = chunk.trim()
              if (!chunk) continue
    
              try {
                const parsed = JSON.parse(chunk)
    
                if (parsed.error) {
                  console.log("Error:", parsed.error)
                  return new Response(
                    JSON.stringify({ message: parsed.error }),
                    {
                      status: 500
                    }
                  )
                }
    
                // Only send the difference between current and previous message
                if (parsed.message && parsed.message !== previousMessage) {
                  const newContent = parsed.message.slice(
                    previousMessage.length
                  )
                  controller.enqueue(encoder.encode(newContent))
                  previousMessage = parsed.message
                }
    
                if (parsed.finish) {
                  console.log("Finish:", parsed.finish)
                  controller.close()
                  return
                }
              } catch (e) {
                console.log("Error parsing JSON:", e.message)
                // Continue if JSON parse fails
                continue
              }
            }
          }
        } catch (error) {
          console.log("Error:", error)
          controller.error(error)
        }
      }
    })
    

    Giải thích chi tiết:

    1. Đọc từng chunk:

      • Trong vòng lặp while (true), hàm đọc từng chunk dữ liệu từ reader bằng reader.read(). Phương thức này trả về một đối tượng có hai thuộc tính: done (biết liệu đã đọc xong chưa) và value (dữ liệu vừa đọc được).
      • Nếu done là true, vòng lặp dừng lại, không còn gì để đọc.
    2. Giải mã và xử lý dữ liệu:

      • Dữ liệu được giải mã từ dạng nhị phân sang dạng văn bản bằng TextDecoder.
      • Sau đó, văn bản được chia thành nhiều chunks bằng cách sử dụng kí tự phân tách (\u001e), và mỗi chunk được xử lý riêng lẻ.
    3. Bỏ qua các chunk rỗng:

      • Chỉ những chunk không trống mới được xử lý.
    4. Phân tích nội dung chunk:

      • Mỗi chunk sẽ được phân tích JSON. Nếu có lỗi trong quá trình phân tích hoặc nếu chunk có thuộc tính error, thì hàm sẽ trả về một thông báo lỗi.
      • Nếu chunk có thuộc tính message và khác với previousMessage, thì hàm sẽ tính toán nội dung mới bằng cách lấy phần nội dung mới từ parsed.message. Sau đó, nội dung đó được gửi vào controller thông qua controller.enqueue(encoder.encode(newContent)). previousMessage được cập nhật để lưu trữ nội dung mới nhất.
    5. Kiểm tra hoàn thành:

      • Nếu chunk ở trạng thái hoàn thành (parsed.finish), hàm sẽ đóng controller bằng cách gọi controller.close(), kết thúc quá trình đọc.
    6. Xử lý lỗi:

      • Trong trường hợp có lỗi trong khi đọc hoặc phân tích dữ liệu, thông tin lỗi sẽ được ghi log, và controller sẽ được đánh dấu là gặp lỗi với controller.error(error).

    8. Trả về phản hồi cuối cùng

    return new Response(readableStream, {
      headers: { "Content-Type": "text/plain" }
    })
    

    Cuối cùng, hàm trả về một Response mới với readableStream đã xử lý, điều này có nghĩa là client có thể nhận dữ liệu theo dạng streaming, còn headers được thiết lập để chỉ rõ loại nội dung là text/plain.

    9. Xử lý lỗi chung

    Trong block catch của hàm POST, nếu có bất kỳ lỗi nào trong toàn bộ quá trình, hàm sẽ trả về một Response với thông báo lỗi phù hợp và mã trạng thái mà có thể là 500 (Internal Server Error) nếu không có mã trạng thái xác định từ lỗi.

    Kết luận

    Toàn bộ đoạn code cung cấp một phương pháp để xử lý yêu cầu POST từ client, gửi yêu cầu tới một API bên ngoài, nhận phản hồi từ API đó dưới dạng stream, và gửi lại dữ liệu đã xử lý cho client, trong khi đảm bảo rằng các lỗi được xử lý một cách an toàn.

Giải thích đoạn code sau: [code] · The Chat Archive