许多车辆包括摄像头,摄像头包括用于检测车辆附近物体的交叉车流摄像头,然而,可能存在校准误差,例如当摄像头用于将二维摄像图像投影到三维空间上时,在某些情况下,可能需要改进车辆摄像头的校准。
因此,希望提供改进的校准车辆摄像头的方法和系统。
许多车辆包括摄像头,摄像头包括用于检测车辆附近物体的交叉车流摄像头。然而,可能存在校准误差,例如当摄像头用于将二维摄像图像投影到三维空间上时。在某些情况下,可能需要改进车辆摄像头的校准,来例如用于将二维摄像图像投影到三维空间上。
因此,希望提供改进的校准车辆摄像头的方法和系统。此外,通过结合附图和本发明的背景技术,从随后的本发明和所附权利要求的详细描述中,本发明的其他期望的特征和特性将变得显而易见。
技术实现要素:
在一个示例性实施例中,提供了一种方法。该方法包括:从车辆上的摄像头获取摄像图像;根据摄像图像检测车辆附近的物体;获取与检测到的物体相关的地图数据;使用地图数据和摄像头的校准参数的初始值,经由处理器进行初始投影;以及利用初始投影与摄像图像的比较,经由处理器更新校准参数的值。
同样在一个实施例中,检测物体的步骤包括检测车辆附近的道路的特征;并且获取地图数据的步骤包括获取与道路的特征相关的地图数据。
同样在一个实施例中,进行初始投影的步骤包括:使用根据地图数据已知的车道以及摄像头的校准参数的初始值,经由处理器进行初始车道投影;并且更新校准参数的步骤包括:利用初始车道投影与根据摄像图像的相应车道的比较,经由处理器更新校准参数。
同样在一个实施例中,进行初始投影的步骤包括:沿着根据地图数据已知的车道随机选择多个点;以及使用点的集合和校准参数的初始值,利用以下方程式生成初始投影车道:qi=rpi+t,其中,“pi”表示从根据地图数据已知的车道中随机选择的多个点中的一个,“qi”表示初始投影车道上的对应投影点,“r”表示摄像头的旋转矩阵的初始值,以及“t”表示摄像头的平移向量的初始值。
同样在一个实施例中,更新校准参数的步骤包括:识别根据地图数据已知的车道与初始投影车道的对应投影点之间的对应的最近邻近点;计算投影点中的每一个与其对应的最近邻近点之间的相应距离;以及基于该距离确定校准参数。
同样在一个实施例中,校准参数包括摄像头的旋转矩阵“r”和摄像头的平移向量“t”,并且确定校准参数的步骤根据以下方程式进行:其中,“di”表示针对从已知车道和初始投影车道中选择的多对点中的每一对,投影点中的每一个与其对应的最近邻近点之间的相应距离;以及“k”表示选择的多对点的数量。
同样在一个实施例中,该方法还包括:基于校准参数的初始值和校准参数的值的更新来计算校准参数的误差;以及使用后续投影,以迭代方式提供校准参数的进一步更新,直到校准参数的误差小于预定阈值,从而将初始投影和摄像图像对准,其中后续投影使用地图数据和校准参数的更新值。
同样在一个实施例中,该方法还包括:使用校准参数的更新值,提供摄像图像在三维空间上的更新投影;以及基于更新的投影,根据经由处理器提供的指令采取车辆动作。
在另一个示例性实施例中,提供了一种系统。该系统包括图像模块和处理模块。图像模块被配置成:从车辆上的摄像头获取摄像图像;根据摄像图像检测车辆附近的物体;以及获取与检测到的物体相关的地图数据。处理模块被配置成:使用地图数据和摄像头的校准参数的初始值,经由处理器进行初始投影;以及利用初始投影与摄像图像的比较,经由处理器更新校准参数的值。
同样在一个实施例中,图像模块被配置成:检测车辆附近道路的特征;以及获取与道路特征相关的地图数据;并且处理模块被配置成:使用根据地图数据已知的车道和摄像头的校准参数的初始值来进行初始车道投影;以及利用初始投影与摄像图像的比较来更新校准参数。
同样在一个实施例中,处理模块被配置成:沿着根据地图数据已知的车道随机选择多个点;以及使用点的集合和校准参数的初始值,利用以下方程式生成初始投影车道:qi=rpi+t,其中,“pi”表示从根据地图数据已知的车道中随机选择的多个点中的一个,“qi”表示初始投影车道上的对应投影点,“r”表示摄像头的旋转矩阵的初始值,以及“t”表示摄像头的平移向量的初始值。
同样在一个实施例中,校准参数包括摄像头的旋转矩阵“r”和摄像头的平移向量“t”,并且处理模块被配置成:识别介于根据地图数据已知的车道与初始投影车道的对应投影点之间的对应的最近邻近点;计算投影点中的每一个与其对应的最近邻近点之间的相应距离;以及根据以下方程式,基于这些距离来确定校准参数:其中,“di”表示针对从已知车道和初始投影车道中选择的多对点中的每一对,投影点中的每一个与其对应的最近邻近点之间的相应距离;以及“k”表示选择的多对点的数量。
同样在一个实施例中,处理模块被配置成:基于校准参数的初始值和校准参数值的更新来计算校准参数的误差;以及使用后续投影,以迭代方式提供校准参数的进一步更新,直到校准参数的误差小于预定阈值,从而将初始投影和摄像图像对准,其中后续投影使用地图数据和校准参数的更新值。
同样在一个实施例中,处理模块被配置成:使用校准参数的更新值,提供摄像图像在三维空间上更新投影;以及基于更新的投影提供采取车辆动作的指令。
在另一个示例性实施例中,提供了一种车辆。车辆包括车身、推进系统、摄像头、存储器和处理器。推进系统,被配置成产生车身的运动。摄像头设置在车辆上,并且被配置成生成摄像图像,在摄像图像中,在车辆上检测到物体。存储器被配置成存储与检测到的物体相关的地图数据。处理器设置在车辆上,并且被配置成使用地图数据和摄像头的校准参数的初始值来进行初始投影;以及利用初始投影与摄像图像的比较来更新校准参数的值。值。
同样在一个实施例中,检测到的物体包括车辆附近道路的特征;地图数据涉及道路的特征;并且处理器被配置成:使用根据地图数据已知的车道和摄像头的校准参数的初始值来进行初始车道投影;以及利用初始投影与摄像图像的比较来更新校准参数。
同样在一个实施例中,处理器被配置成:沿着根据地图数据已知的车道随机选择多个点;以及使用点的集合和校准参数的初始值,利用以下方程式生成初始投影车道:qi=rpi+t,其中,“pi”表示从根据地图数据已知的车道中随机选择的多个点中的一个,“qi”表示初始投影车道上的对应投影点,“r”表示摄像头的旋转矩阵的初始值,以及“t”表示摄像头的平移向量的初始值。
同样在一个实施例中,校准参数包括摄像头的旋转矩阵“r”和摄像头的平移向量“t”,并且处理器被配置成:识别介于根据地图数据已知的车道与初始投影车道的对应投影点之间的对应的最近邻近点;计算投影点中的每一个与其对应的最近邻近点之间的相应距离;以及根据以下方程式,基于这些距离来确定校准参数:其中,“di”表示针对从已知车道和初始投影车道中选择的多对点中的每一对,投影点中的每一个与其对应的最近邻近点之间的相应距离;以及“k”表示选择的多对点的数量。
包括:在摄像头的取像区域设置主校正模板和辅助校正模板;通过摄像头获取主校正图像和辅助校正图像;根据所述主校正图像获取摄像头的第一校正参数