视觉伺服控制是指使用计算机视觉数据来控制机器人的运动。比如一个简单的任务，让机器手臂跟随目标移动。

　　控制律基于图像平面上当前特征与所需特征之间的误差，并且不涉及目标姿态的任何估计。 特征可以是视觉特征，区域的线或矩的坐标。 IBVS在旋转非常大的运动时遇到困难，这被称为摄影机后退。

　　视觉伺服方案的主要区别在于\boldsymbol{s}的设计方式。 基于图像的视觉伺服控制（IBVS），其中s包含一组可立即在图像数据中得到的特征。 而基于位置的视觉伺服控制（PBVS），其中s包含一组3-D参数，必须从图像测量中估计这些参数。

　　一旦确定\boldsymbol{s}后，控制方案的设计可能会非常简单。 也许最直接的方法是设计速度控制器。为此，我们需要\boldsymbol{s}的时间变化与相机速度之间的关系。 设相机的空间速度用\textbf{v}_c = (v_c, \boldsymbol{\omega}_c)表示，其中v_c是相机坐标系原点的瞬时线速度，而\boldsymbol{\omega}_c是相机坐标系的瞬时角速度。

　　在实际的视觉伺服系统中，实际上不可能得到完美的J_I或J_I^+。 因此，必须实现这两个矩阵之一的近似或估计。实际应用中的控制律：

　　图中小孔在XYZ坐标轴原点，绿色的成像是在虚拟的镜像(关于原点对称，成像应该在原点的左侧)，有：

　　立体视觉基于视差原理并利用成像设备从不同的位置获取被测物体的左右两幅图像，然后根据三角测量原理计算空间点在二维图像的位置偏差，最后再利用位置偏差进行三维重建来获取被测物体的三维几何信息。