#!/usr/bin/env python '''…
- User
#!/usr/bin/env python ''' 相机标定是为了求相机的内参,如果有内参数据可以跳过这步。没有的话标定的时候一定要和手眼标定区别开,相机标定是相机不动,标定板移动。 ''' import cv2 import numpy as np import os import glob
定义棋盘格的尺寸
CHECKERBOARD = (6, 8)
细化角点的迭代终止条件
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)
创建向量以存储每个棋盘图像的 3D 点向量
objpoints = []
创建向量以存储每个棋盘图像的 2D 点向量
imgpoints = []
定义 3D 点的世界坐标
objp = np.zeros((1, CHECKERBOARD[0] * CHECKERBOARD[1], 3), np.float32) objp[0, :, :2] = np.mgrid[0:CHECKERBOARD[0], 0:CHECKERBOARD[1]].T.reshape(-1, 2) prev_img_shape = None
提取存储在给定目录中的单个图像的路径
images = glob.glob(r'D:\Camera_Positioning\pymycobot-main\pymycobot-main\img_cam_cali*.png') for fname in images: img = cv2.imread(fname) gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 找到棋盘角 # 如果在图像中找到所需数量的角,则 ret = true ret, corners = cv2.findChessboardCorners(gray, CHECKERBOARD,cv2.CALIB_CB_ADAPTIVE_THRESH + cv2.CALIB_CB_FAST_CHECK + cv2.CALIB_CB_NORMALIZE_IMAGE)
""" 如果检测到所需数量的角, 我们细化像素坐标并可视化 """ if ret == True: objpoints.append(objp) # 细化给定二维点的像素坐标。 corners2 = cv2.cornerSubPix(gray, corners, (11, 11), (-1, -1), criteria) imgpoints.append(corners2) # 绘制并显示角 img = cv2.drawChessboardCorners(img, CHECKERBOARD, corners2, ret) cv2.imshow('img', img) cv2.waitKey(0)cv2.destroyAllWindows()
h, w = img.shape[:2]
""" 通过传递已知 3D 点 (objpoints) 的值 和检测到的角点(imgpoints)对应的像素坐标 实现相机标定 """ ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(objpoints, imgpoints, gray.shape[::-1], None, None)
rotation_matrices = []
将旋转向量转换为旋转矩阵
for rvec in rvecs: R, _ = cv2.Rodrigues(rvec) rotation_matrices.append(R)
构建外参矩阵
for R, tvec in zip(rotation_matrices, tvecs): extrinsic_matrix = np.hstack((R, tvec))
print("内参矩阵 : \n") print(mtx) print("外参矩阵 : \n") print(extrinsic_matrix) print("镜头畸变系数 : \n") print(dist)
这个代码需要我们使用多大的标定板还是说没有要求
Assistant
这个代码本身没有要求你使用的标定板的具体物理尺寸(例如,每个格子的边长是多少毫米或英寸)。
然而,这是一个非常重要的细节,你需要理解并根据你的实际情况来修改代码!
让我来详细解释:
-
CHECKERBOARD = (6, 8): 这一行定义了棋盘格内部角点的数量。你的标定板需要有 6 行和 8 列的内部角点(这意味着它有 7x9 个黑白格子)。这是OpenCV用来寻找角点模式的关键。 -
objp[0, :, :2] = np.mgrid[0:CHECKERBOARD[0], 0:CHECKERBOARD[1]].T.reshape(-1, 2): 这一行是定义棋盘格在三维空间中的实际坐标。np.mgrid[0:CHECKERBOARD[0], 0:CHECKERBOARD[1]]会生成一个从 (0,0) 到 (5,7) 的坐标网格(因为角点数量是6x8)。- 这意味着代码当前默认将每个棋盘格子的边长视为1个单位。
关键点:
- 内参矩阵 (mtx) 和畸变系数 (dist):这些参数是与图像像素相关的,它们不受你标定板物理尺寸单位的影响(例如,无论你用毫米、厘米还是英寸作为单位,内参矩阵和畸变系数都会是相同的)。
- 外参矩阵 (extrinsic_matrix):这个矩阵包含了相机的旋转和平移信息 (tvecs)。平移信息是会受到你标定板物理尺寸单位影响的! 如果你将格子的边长设为1,那么
tvecs中的平移量也是以这个“1单位”来衡量的。
你需要做什么?
你需要根据你实际使用的标定板上每个正方形的实际边长来修改
objp的定义。修改示例:
假设你的棋盘格上,每个黑白正方形的边长是 25 毫米。那么你需要这样修改
objp的定义:# 定义 3D 点的世界坐标 objp = np.zeros((1, CHECKERBOARD[0] * CHECKERBOARD[1], 3), np.float32) # 假设每个棋盘格的边长是 25 毫米 square_size = 25.0 # 单位可以是你实际使用的,例如毫米、厘米等 # 将每个棋盘格的坐标乘以实际边长 objp[0, :, :2] = np.mgrid[0:CHECKERBOARD[0], 0:CHECKERBOARD[1]].T.reshape(-1, 2) * square_size总结:
- 棋盘格内部角点数量 (
CHECKERBOARD = (6, 8)) 必须与你实际使用的标定板相符。 - 物理尺寸(每个正方形的边长)需要在
objp的定义中体现。 如果你不修改,代码会默认使用“1单位”作为格子边长,但这会导致计算出的外参(尤其是平移向量tvecs)的单位不明确,或者不符合你的实际测量需求。 - 强烈建议你准确测量你使用的标定板上每个正方形的边长,并将其赋值给
square_size变量。 这样,计算出来的平移向量tvecs就会是精确的物理距离(例如,如果你用毫米作为square_size的单位,那么tvecs也是毫米)。
-
- User
- 相机内参标定(Camera Calibration):
- 获取图像坐标到相机坐标的变换关系;
- 得到内参矩阵 K(焦距fx, fy,主点cx, cy,畸变系数等)。
- 深度信息获取:
- 若是 RGB-D 相机(如 RealSense),直接获得目标像素点的深度;
- 若是单目相机,需要估算或借助结构光、双目等手段获取。
- 像素坐标 → 相机坐标变换:
- 利用相机内参,将目标像素坐标 + 深度转换为相机坐标系下的三维坐标。
- 手眼标定(Hand-Eye Calibration):
- 求出相机坐标系 → 机械臂基坐标系的变换关系;
- 最终实现目标的机械臂坐标系位置推导。 我要通过手眼标定完成机械臂对炮弹中心部分的抓取 现在第一步我通过标定板完成了得到了内参矩阵 :
[[638.98746258 0. 643.59109755] [ 0. 637.28304125 341.29027134] [ 0. 0. 1. ]] 外参矩阵 :
[[ 9.99270402e-01 -1.00577380e-02 3.68443380e-02 -2.91474641e+00] [-5.33164848e-03 9.18519956e-01 3.95338671e-01 -3.06862301e+00] [-3.78184725e-02 -3.95246674e-01 9.17796181e-01 1.13859277e+01]] 镜头畸变系数 :
[[-0.02458654 0.07885557 -0.00268297 0.00143387 -0.13070246]] 这样的参数 请问第二步深度信息获取 我是不是就需要用一个近似炮弹的物体作为目标了
- 相机内参标定(Camera Calibration):
Assistant
是的,你的理解方向正确,但需要更具体地阐述。
对于单目相机(你的情况就是单目相机,因为你没有提到双目或深度相机),第二步获取深度信息是一个挑战,也是整个流程的关键。你不能“直接”从单目图像中获得深度,而是需要通过某种方法来“估计”或“推算”深度。
你提到的“用一个近似炮弹的物体作为目标”本身并不能直接获取深度,但是如果你知道这个“近似炮弹”物体的真实物理尺寸(例如,它的直径),那么这确实是一种常用的单目相机深度估算方法。
让我们详细分解一下,针对你的单目相机和抓取炮弹的任务:
单目相机获取深度信息的常用方法:
-
基于已知物体尺寸(最常用且适合你的情况)
- 原理: 如果你知道你想要抓取的炮弹的实际物理尺寸(比如它的直径
D_real),并且你可以通过图像处理识别出它在像素平面上的尺寸(比如它的像素直径D_pixel),那么结合相机的焦距f(通常是fx或fy的平均值,或者直接用其中一个,取决于你的坐标系选择),你可以估算出炮弹到相机的距离Z(即深度)。 - 公式:
Z = (D_real * f) / D_pixel - 你需要做的是:
- 精确测量炮弹的实际直径。 这是核心数据。
- 在图像中准确检测到炮弹。 这可能涉及到颜色识别、形状识别(圆形)等图像处理技术。
- 测量检测到的炮弹在图像中的像素直径。
- 使用你标定得到的内参
mtx中的焦距fx或fy(或它们的平均值) 来计算深度。
- 原理: 如果你知道你想要抓取的炮弹的实际物理尺寸(比如它的直径
-
基于平面假设(如果炮弹总是放在已知平面上)
- 原理: 如果你知道炮弹总是放在一个固定高度的桌面上,并且你已经通过某种方式(比如用标定板或尺子)测量出这个桌面相对于相机或机器人基座的精确高度(Z坐标),那么你可以直接假设炮弹的Z坐标就是这个桌面的Z坐标。
- 你需要做的是:
- 测量桌面相对于相机或机器人基座的垂直距离。
- 在图像中检测炮弹的中心像素坐标
(u, v)。 - 结合相机内参和已知Z坐标,反推其在相机坐标系下的X和Y坐标。
- 优点: 简单,不需要复杂计算。
- 缺点: 鲁棒性差,如果桌面高度变化,或者炮弹不在桌面上,就失效了。对于抓取精确的中心,可能还是需要方法1来微调。
-
其他更复杂的方法(通常不适用于简单的单目抓取)
- 立体视觉/双目相机: 如果你有两台相机,可以利用视差原理计算深度。
- 结构光: 使用投影仪投射特定光斑,然后用相机捕获变形的光斑来计算深度(类似于工业扫描仪)。
- 深度学习: 训练一个神经网络来从单目图像中预测深度图。这需要大量数据和计算资源,精度可能不如物理方法。
针对你的“炮弹抓取”任务,建议的第二步:
强烈建议你使用“基于已知物体尺寸”的方法。
-
准备“炮弹”: 你需要一个你打算抓取的“炮弹”物体。
- 最重要的是:你要准确测量它的物理直径。 假设它的直径是
D_real。 - 最好选择颜色鲜明,与背景对比度高的炮弹,以便于图像识别。
- 如果炮弹是球形的,那么测量直径很简单。如果是非标准形状,你可能需要确定一个“抓取点”,并测量该点到相机(或机器人)基准点的深度,这会更复杂。
- 最重要的是:你要准确测量它的物理直径。 假设它的直径是
-
图像处理:
- 目标检测: 编写代码来识别图像中的炮弹。这可能涉及到:
- 将图像转换为HSV颜色空间,进行颜色阈值分割(如果炮弹颜色固定)。
- 进行形态学操作(开闭运算)去除噪声。
- 使用
cv2.findContours找到轮廓。 - 使用
cv2.minEnclosingCircle找到最外接圆,从而确定炮弹的中心(cx_pixel, cy_pixel)和像素直径D_pixel。
- 去畸变: 在进行任何测量之前,先用你的
dist系数对图像进行去畸变处理:undistorted_img = cv2.undistort(img, mtx, dist, None, mtx)。虽然findChessboardCorners和cornerSubPix内部处理了畸变,但当你处理任意图像中的炮弹时,你需要手动去畸变,确保像素坐标是“直线”的。
- 目标检测: 编写代码来识别图像中的炮弹。这可能涉及到:
-
计算深度:
- 获取
fx或fy(例如f = mtx[0,0])。 - 根据公式
Z = (D_real * f) / D_pixel计算炮弹的深度Z。 - 得到炮弹的相机坐标系下的三维坐标
(X_cam, Y_cam, Z_cam):Z_cam = Z(就是你计算出的深度)X_cam = (cx_pixel - mtx[0, 2]) * Z_cam / mtx[0, 0]Y_cam = (cy_pixel - mtx[1, 2]) * Z_cam / mtx[1, 1]
- 获取
总结:
是的,第二步你确实需要一个目标物体(“炮弹”),但关键不是它“近似”炮弹,而是你需要知道它的精确物理尺寸,以便能够利用单目相机结合相机内参来估算其深度。然后结合手眼标定,你才能计算出它在机械臂坐标系下的位置,实现抓取。
-
- User
我的相机是奥比中光Gemini 335L双目深度相机基于此再次回答我的问题
Assistant
好的,这是一个非常重要的澄清!你拥有奥比中光Gemini 335L这样的双目深度相机,这彻底改变了第二步——深度信息获取的方式。
答案是:不,你不再需要通过估算炮弹的物理尺寸来获取深度了。你的奥比中光相机可以直接提供深度信息。
双目深度相机(如Gemini 335L)的工作原理是通过两个摄像头之间的视差来直接计算场景中每个点的深度。它会输出一个“深度图”(或称深度图像),其中每个像素值代表了该点到相机的距离。
针对你的奥比中光Gemini 335L相机,重新梳理一下整个流程:
1. 相机内参标定(Camera Calibration)
- 目的: 获取彩色图像(或红外图像)到相机坐标的变换关系,得到内参矩阵
K和畸变系数dist。 - 你的现状: 你已经通过标定板得到了这些参数,例如:
内参矩阵 : [[638.98746258 0. 643.59109755] [ 0. 637.28304125 341.29027134] [ 0. 0. 1. ]] 镜头畸变系数 : [[-0.02458654 0.07885557 -0.00268297 0.00143387 -0.13070246]] - 作用: 这些参数用于:
- 对彩色图像进行去畸变,确保图像中的直线在去畸变后依然是直线。
- 将二维像素坐标转换为相机坐标系下的三维坐标时使用(特别是
fx, fy, cx, cy)。
- 注意: 深度相机通常会自带深度流的内参(可能与彩色流略有不同),或者SDK会提供彩色流与深度流之间的对齐和坐标转换功能。你需要关注SDK如何提供深度数据和对应的坐标系。
2. 深度信息获取(Direct Depth Acquisition)
- 这是关键变化!
- 方法: 你不再需要复杂的单目深度估算,直接利用奥比中光Gemini 335L提供的深度流。
- 你需要做的是:
- 安装并使用奥比中光提供的SDK(通常有Python接口或可以通过OpenNI等通用库访问)。
- 同时获取彩色图像帧 (RGB Frame) 和深度图像帧 (Depth Frame)。 深度相机通常会将深度图与彩色图进行对齐 (alignment),使得彩色图上的一个像素
(u, v)能够直接对应到深度图上的相同(u, v)位置,并读取其深度值Z。 - 在彩色图像上进行目标检测。 运用图像处理算法(如颜色识别、形状匹配、或深度学习模型)来识别“炮弹”在彩色图像中的像素坐标,例如其中心点
(u, v)。 - 从深度图上获取深度值。 一旦你确定了炮弹在彩色图像上的中心像素
(u, v),你就可以直接在对齐后的深度图的相同(u, v)位置读取其深度值Z。这个Z值就是炮弹中心到相机的距离(通常以毫米或米为单位,具体取决于SDK配置)。 - 处理深度值: 深度图可能包含噪声或无效值(例如,物体太远、太近、反光等)。你可能需要对读取到的
Z值进行简单的滤波或平均,以提高鲁棒性。例如,可以读取炮弹中心周围一个小区域的深度值,然后取平均。
3. 像素坐标 → 相机坐标变换
- 目的: 将检测到的炮弹的二维像素坐标
(u, v)及其获取到的深度Z转换为相机坐标系下的三维坐标(X_cam, Y_cam, Z_cam)。 - 方法: 利用你相机内参
K矩阵中的fx, fy, cx, cy:Z_cam = Z(这就是你从深度图直接获取的深度值)X_cam = (u - cx) * Z_cam / fxY_cam = (v - cy) * Z_cam / fy
- 注意: 这里的
u, v应该是经过去畸变后的像素坐标,或者直接从彩色图上检测,然后确保深度图是已对齐且去畸变的。你的mtx和dist就是用于去畸变的。
4. 手眼标定(Hand-Eye Calibration)
- 目的: 求出相机坐标系 → 机械臂基坐标系的变换关系
T_robot_camera。 - 你的现状: 这一步是你接下来的主要任务。
- 方法:
- Eye-in-Hand (相机在机械臂末端): 移动机械臂,相机随之移动。在不同机械臂姿态下,拍摄一个固定在机器人工作空间中的标定板(或已知形状的物体)。
- Eye-to-Hand (相机固定在外部): 机械臂末端安装一个标定板。移动机械臂,相机从固定位置观察标定板。
- 输出: 一个
4x4的变换矩阵,将相机坐标系中的点转换到机械臂基坐标系中。P_robot = T_robot_camera * P_camera
总结:
拥有奥比中光Gemini 335L这样的深度相机,使得你的项目在深度获取方面变得非常直接和可靠。你不再需要依赖目标物体的物理尺寸来估算深度。
下一步的重点将是:
- 熟练使用奥比中光Gemini 335L的SDK,获取和处理彩色图像和对齐的深度图像。
- 开发一个鲁棒的图像处理算法,用于在彩色图像中准确识别“炮弹”的中心像素坐标。
- 进行手眼标定,将相机坐标系与机械臂坐标系关联起来。
这样,当你检测到炮弹的像素坐标
(u,v)并获取到其深度Z后,你就可以通过相机内参将其转换为相机坐标系下的(X_cam, Y_cam, Z_cam),最后再通过手眼标定将其转换为机械臂坐标系下的(X_robot, Y_robot, Z_robot),从而指导机械臂进行抓取。- 目的: 获取彩色图像(或红外图像)到相机坐标的变换关系,得到内参矩阵
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.