Skip to content
The Chat Archive
mistral-small-2506· Mistral AI LMArena Human Preference 140K

一位新手想利用Unitree Go2作為硬體,搭配語音轉文字模型(例如parakeet-tdt-0.6b-v2…

  1. User

    一位新手想利用Unitree Go2作為硬體,搭配語音轉文字模型(例如parakeet-tdt-0.6b-v2 ,https://huggingface.co/nvidia/parakeet-tdt-0.6b-v2)在地端即時進行語音指令分析,之後利用雲端高性能模型(例如microsoft/Phi-4-multimodal-instruct)產出指令對Go2進行控制,請問該如何進行?再為新手詳細介紹Unitree Go2 Hardware與其API的使用方法,列出教學資源與網頁網址。需詳細的用繁體中文說明(例如API的詳細使用範例為何?) 以上目標有沒有沒有更適當的做法?更詳細的說明?(例如更好的系統架構?更加聰明的語言模型候選? 更詳盡的操作教學?) 請詳細為新手構建一套完整的中文教學。提供每一步操作指令與程式碼、註解,幫助新手完成任務。 https://support.unitree.com/home/zh/developer/about_Go2 https://github.com/unitreerobotics/unitree_sdk2/tree/main/example/go2 https://docs.api.nvidia.com/nim/reference/microsoft-phi-4-multimodal-instruct https://huggingface.co/blog/pi0 https://huggingface.co/microsoft/Phi-4-multimodal-instruct https://huggingface.co/google/gemma-3n-E4B-it-litert-preview https://llava-vl.github.io/.",

  2. Assistant

    Unitree Go2 智能語音控制系統完整教學

    系統架構概述

    本教學將引導您建立一個完整的系統,讓 Unitree Go2 可以透過語音指令進行控制。系統架構如下:

    1. 地端語音處理:使用 Parakeet 模型將語音轉為文字
    2. 雲端指令解析:使用 Phi-4 多模態模型解析指令並生成控制指令
    3. 機器人控制:透過 Unitree SDK 將指令轉換為機器人動作

    第一步:準備硬體與軟體環境

    1.1 Unitree Go2 硬體準備

    Unitree Go2 是一款四足機器人,具備以下特點:

    • 12 個關節電機
    • 內建 IMU 感測器
    • 1080p 相機
    • 內建 Linux 系統
    • WiFi/藍牙連接

    1.2 軟體環境準備

    1.2.1 開發電腦環境

    • 操作系統:Ubuntu 20.04/22.04 或 Windows 10/11
    • Python 3.8+
    • pip
    • CMake
    • Git

    1.2.2 安裝必要套件

    # 安裝 Python 依賴
    pip install numpy opencv-python pyaudio websockets
    

    第二步:設定 Unitree Go2 開發環境

    2.1 安裝 Unitree SDK

    1. 從 GitHub 下載 SDK:
    git clone https://github.com/unitreerobotics/unitree_sdk2.git
    cd unitree_sdk2
    
    1. 編譯 SDK:
    mkdir build && cd build
    cmake ..
    make
    

    2.2 連接 Go2 並測試通訊

    1. 確保 Go2 和開發電腦在同一網路
    2. 使用以下程式碼測試連接:
    import unitree_sdk2 as sdk2
    
    # 初始化 SDK
    sdk2.init()
    sdk2.setMode(sdk2.MODE_LOWER)
    
    # 建立連接
    robot = sdk2.Robot()
    robot.connect("192.168.123.161", 8007)  # 替換為 Go2 的 IP
    
    # 讀取狀態
    state = robot.getState()
    print("機器人狀態:", state)
    
    # 關閉連接
    robot.disconnect()
    sdk2.uninit()
    

    第三步:地端語音轉文字系統

    3.1 安裝 Parakeet 模型

    pip install transformers torch torchaudio
    

    3.2 建立語音轉文字程式

    import torch
    import torchaudio
    from transformers import pipeline
    
    # 加載 Parakeet 模型
    asr = pipeline(
        "automatic-speech-recognition",
        model="nvidia/parakeet-tdt-0.6b-v2",
        device="cuda" if torch.cuda.is_available() else "cpu"
    )
    
    def transcribe_audio(audio_file):
        # 讀取音頻文件
        waveform, sample_rate = torchaudio.load(audio_file)
    
        # 轉換為模型需要的格式
        inputs = {
            "array": waveform.numpy(),
            "sampling_rate": sample_rate
        }
    
        # 執行語音轉文字
        result = asr(inputs)
        return result["text"]
    
    # 測試
    text = transcribe_audio("test.wav")
    print("轉換結果:", text)
    

    3.3 即時語音捕獲與轉換

    import pyaudio
    import wave
    
    def record_audio(filename="temp.wav", record_seconds=5, sample_rate=16000):
        # 設定音頻參數
        p = pyaudio.PyAudio()
        stream = p.open(format=pyaudio.paInt16,
                        channels=1,
                        rate=sample_rate,
                        input=True,
                        frames_per_buffer=1024)
    
        print("開始錄音...")
        frames = []
    
        for i in range(0, int(sample_rate / 1024 * record_seconds)):
            data = stream.read(1024)
            frames.append(data)
    
        print("錄音完成")
    
        # 停止錄音
        stream.stop_stream()
        stream.close()
        p.terminate()
    
        # 保存音頻文件
        wf = wave.open(filename, 'wb')
        wf.setnchannels(1)
        wf.setsampwidth(p.get_sample_size(pyaudio.paInt16))
        wf.setframerate(sample_rate)
        wf.writeframes(b''.join(frames))
        wf.close()
    
        return filename
    
    # 使用範例
    audio_file = record_audio()
    text = transcribe_audio(audio_file)
    print("轉換結果:", text)
    

    第四步:雲端指令解析系統

    4.1 設定 Phi-4 多模態模型

    from transformers import AutoModelForCausalLM, AutoTokenizer
    import torch
    
    # 加載模型和分詞器
    model_name = "microsoft/phi-4-multimodal-instruct"
    tokenizer = AutoTokenizer.from_pretrained(model_name)
    model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto")
    
    def process_command(text):
        # 建立提示
        prompt = f"用戶指令: {text}\n請解析這個指令並生成適合控制四足機器人的指令。"
    
        # 生成回應
        inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
        outputs = model.generate(**inputs, max_new_tokens=100)
    
        # 解碼回應
        response = tokenizer.decode(outputs[0], skip_special_tokens=True)
        return response
    

    4.2 建立雲端 API 服務

    from fastapi import FastAPI, HTTPException
    import uvicorn
    
    app = FastAPI()
    
    @app.post("/process_command")
    async def process_command_endpoint(text: str):
        try:
            response = process_command(text)
            return {"response": response}
        except Exception as e:
            raise HTTPException(status_code=500, detail=str(e))
    
    if __name__ == "__main__":
        uvicorn.run(app, host="0.0.0.0", port=8000)
    

    第五步:整合系統

    5.1 建立完整控制流程

    import requests
    import time
    
    class Go2Controller:
        def __init__(self):
            self.robot = None
            self.connect_robot()
    
        def connect_robot(self):
            sdk2.init()
            sdk2.setMode(sdk2.MODE_LOWER)
            self.robot = sdk2.Robot()
            self.robot.connect("192.168.123.161", 8007)
    
        def disconnect_robot(self):
            if self.robot:
                self.robot.disconnect()
            sdk2.uninit()
    
        def send_command(self, command):
            # 發送到雲端 API
            response = requests.post(
                "http://your-cloud-api:8000/process_command",
                json={"text": command}
            )
    
            if response.status_code == 200:
                processed_command = response.json()["response"]
                self.execute_command(processed_command)
            else:
                print("雲端 API 錯誤:", response.text)
    
        def execute_command(self, command):
            # 解析並執行指令
            if "向前走" in command:
                self.move_forward()
            elif "向後走" in command:
                self.move_backward()
            elif "向左轉" in command:
                self.turn_left()
            elif "向右轉" in command:
                self.turn_right()
            elif "停止" in command:
                self.stop()
            else:
                print("未知指令:", command)
    
        def move_forward(self):
            # 設定機器人向前走
            cmd = sdk2.LowCmd()
            cmd.mode = sdk2.MODE_LOWER
            cmd.gaitType = sdk2.GAIT_TROT
            cmd.speedLevel = 0.5
            cmd.footRaiseHeight = 0.1
            self.robot.sendCommand(cmd)
    
        def move_backward(self):
            # 設定機器人向後走
            cmd = sdk2.LowCmd()
            cmd.mode = sdk2.MODE_LOWER
            cmd.gaitType = sdk2.GAIT_TROT
            cmd.speedLevel = -0.5
            cmd.footRaiseHeight = 0.1
            self.robot.sendCommand(cmd)
    
        def turn_left(self):
            # 設定機器人向左轉
            cmd = sdk2.LowCmd()
            cmd.mode = sdk2.MODE_LOWER
            cmd.gaitType = sdk2.GAIT_TROT
            cmd.yawSpeed = 0.5
            cmd.footRaiseHeight = 0.1
            self.robot.sendCommand(cmd)
    
        def turn_right(self):
            # 設定機器人向右轉
            cmd = sdk2.LowCmd()
            cmd.mode = sdk2.MODE_LOWER
            cmd.gaitType = sdk2.GAIT_TROT
            cmd.yawSpeed = -0.5
            cmd.footRaiseHeight = 0.1
            self.robot.sendCommand(cmd)
    
        def stop(self):
            # 停止機器人
            cmd = sdk2.LowCmd()
            cmd.mode = sdk2.MODE_LOWER
            cmd.gaitType = sdk2.GAIT_STAND
            self.robot.sendCommand(cmd)
    
    # 使用範例
    controller = Go2Controller()
    
    # 模擬語音指令
    audio_file = record_audio()
    text = transcribe_audio(audio_file)
    print("轉換結果:", text)
    
    # 發送指令
    controller.send_command(text)
    
    # 等待幾秒鐘
    time.sleep(5)
    
    # 停止機器人
    controller.stop()
    controller.disconnect_robot()
    

    第六步:優化與改進建議

    6.1 更好的系統架構

    1. 分散式架構:

      • 使用 Docker 容器化各個服務
      • 使用 Kubernetes 管理雲端服務
      • 使用 Redis 作為消息隊列
    2. 邊緣計算:

      • 將語音轉文字模型部署到 Go2 本地
      • 使用 Jetson Nano 或其他邊緣設備
    3. 模型優化:

      • 考慮使用更輕量的模型如 Gemma-3n
      • 使用量化技術減少模型大小

    6.2 更聰明的語言模型候選

    1. LLava:適合多模態任務
    2. Gemma-3n:輕量且高效
    3. Phi-3:更小的 Phi 系列模型

    6.3 更詳盡的操作教學

    1. Unitree 官方教學資源:

    2. 語音處理教學:

    3. 多模態模型教學:

    第七步:完整系統部署

    7.1 部署步驟

    1. 本地環境:

      • 在開發電腦上安裝所有必要套件
      • 測試語音轉文字和指令解析功能
    2. 雲端環境:

      • 部署 FastAPI 服務到雲端
      • 設定安全防護和負載均衡
    3. 機器人環境:

      • 確保 Go2 網路連接正常
      • 測試 SDK 連接功能

    7.2 系統監控

    1. 日誌記錄:

      • 記錄所有語音指令和執行結果
      • 監控系統性能
    2. 錯誤處理:

      • 實現重試機制
      • 設定錯誤通知

    結語

    這個教學提供了從零開始建立 Unitree Go2 智能語音控制系統的完整指南。您可以根據實際需求調整系統架構和模型選擇,以達到最佳效果。記得在實際操作中要特別注意安全,避免機器人在不受控的情況下移動。

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.