Skip to content
TheChatArchiveThe Chat Archive
Qwenqwen3-235b-a22b· Alibaba (Qwen)Hugging Face Arena Expert 5K

初始只会有main 一个M, 其他M的创建时机呢,何时创建新的M去绑定空闲的P并去窃取G

  1. User

    初始只会有main 一个M, 其他M的创建时机呢,何时创建新的M去绑定空闲的P并去窃取G

  2. Qwen Assistant

    在Go运行时中,M(Machine)代表操作系统线程,它必须绑定P(Processor)才能执行G(goroutine)。关于新M的创建时机和调度机制,以下是详细解析:


    1. 初始状态:main M绑定main P

    • 初始阶段:程序启动时,只有1个M(即main线程)绑定1个P(main P)。
    • P的数量:由GOMAXPROCS决定(默认等于CPU核心数)。
    • M的数量:初始只有1个M,其他M按需动态创建。

    2. M的创建时机

    Go调度器会根据以下条件按需创建新M,以绑定空闲的P并执行G:

    (1) 当P空闲,但全局/本地队列中有待执行的G

    • 触发条件:
      • 有空闲的P(未绑定M)。
      • 全局队列、其他P的本地队列中仍有待执行的G。
    • 调度器逻辑:
      • 在调度循环(schedule()函数)中,如果发现当前没有足够的M绑定所有P,会调用newm()创建新M。
    • 示例:
      func main() {
          runtime.GOMAXPROCS(4) // 设置4个P
          var wg sync.WaitGroup
          wg.Add(100)
          for i := 0; i < 100; i++ {
              go func() {
                  // 模拟长时间运行的G
                  time.Sleep(time.Millisecond)
                  wg.Done()
              }()
          }
          wg.Wait()
      }
      
      • 初始只有1个M绑定P0,其他3个P空闲。
      • 调度器检测到P1-P3空闲且队列中有G,会创建3个新M绑定这些P。

    (2) 当M因系统调用阻塞时

    • 触发条件:
      • 某个M执行系统调用(如read()、sleep())导致P被释放。
    • 调度器逻辑:
      • 释放P后,调度器会为该P创建/唤醒一个新M,确保P不空闲。
    • 示例:
      func main() {
          runtime.GOMAXPROCS(2)
          go func() {
              // M1阻塞于系统调用
              time.Sleep(time.Hour)
          }()
          // M2会继续运行
          select {}
      }
      
      • 初始M0绑定P0,M1绑定P1。
      • M1阻塞后,P1被释放,调度器会创建M2绑定P1继续执行其他G。

    (3) 网络轮询(netpoll)需要M

    • 触发条件:
      • 网络轮询器(如net/http服务器)需要M处理就绪的I/O事件。
    • 调度器逻辑:
      • 如果所有M都在忙碌,而netpoll有就绪事件,调度器会创建新M。

    3. M的复用机制

    Go调度器会复用空闲的M,而非频繁创建/销毁:

    • M的生命周期:
      • M在完成任务后进入休眠(futexwait或sleep)。
      • 当需要新M时,优先唤醒空闲M,而非创建新线程。
    • 复用条件:
      • 空闲M会保留在allm链表中,等待下次被唤醒使用。
      • 空闲M的栈会被保留,避免频繁分配/释放内存。

    4. M与P的数量关系

    • 理想状态:M的数量 ≈ P的数量(确保每个P都有M绑定)。
    • 实际运行:
      • M的数量可能略大于P的数量(处理系统调用阻塞)。
      • Go调度器会动态调整M的数量,维持负载均衡。

    5. 验证M的创建行为

    可以通过以下代码观察M的创建:

    package main
    
    import (
        "fmt"
        "runtime"
        "sync"
        "time"
    )
    
    func main() {
        runtime.GOMAXPROCS(4)
        var wg sync.WaitGroup
        wg.Add(100)
    
        // 打印初始M数量
        fmt.Printf("Initial M count: %d\n", runtime.NumGoroutine())
    
        for i := 0; i < 100; i++ {
            go func() {
                // 模拟长时间运行的G
                time.Sleep(10 * time.Millisecond)
                wg.Done()
            }()
        }
    
        // 等待所有G完成
        wg.Wait()
    
        // 打印最终M数量
        fmt.Printf("Final M count: %d\n", runtime.NumGoroutine())
    }
    

    输出示例:

    Initial M count: 1
    Final M count: 4
    
    • 解释:初始只有1个M,调度器根据P数量创建了3个新M,最终有4个M运行。

    6. 总结

    场景M的创建时机调度器行为
    P空闲当P空闲且队列中有G创建新M绑定空闲P
    系统调用阻塞当M因系统调用释放P创建新M接替原P
    网络I/O事件当netpoll有就绪事件唤醒空闲M或创建新M
    M复用当有空闲M时优先复用而非创建新M

    关键结论:

    • M的创建是按需动态进行的,而非一次性创建所有M。
    • Go调度器通过复用机制减少线程开销,同时确保所有P都能被充分利用。
    • 系统调用和I/O事件是触发M创建的重要场景。

    通过理解M的创建逻辑,可以更好地优化并发程序的性能,避免因线程不足导致P空闲。

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.