跳到正文
IT之家 AI·· 1 小时前评分68

地平线发布 LoFT 原生视频几何基础模型,多项指标达到 SoTA

摘要

IT之家 11 月 19 日消息,11 月 18 日,地平线机器人实验室发布原生视频几何基础模型 LoFT(Looped Foundation Transformer for Video Geometry)。据介绍,该模型能够从 RGB 视频中联合预测相机位姿、内参及逐帧深度,恢复场景三维结构,为机器人空间感知、环境理解与具身学习提供几何基础。 官方称,LoFT 原生面向连续视频建模,采用 双循环 Transformer 架构 ,将跨帧视觉信息聚合与相机状态迭代优化相结合,用于挖掘视频中的时序关联与多视角几何信息。 IT之家从官方公布信息获悉,第一循环通过局部与全局时序注意力聚合跨帧信息,逐步扩大时间感受范围,利用相邻帧的连续性与跨视角的几何关联;第二循环显式更新相机位姿与内参,并将相机状态反馈至下一轮特征计算。 模型结合双循环特征预测逐帧深度及其置信度,恢复场景的可见三维结构。 ▲ 原生双循环 Transformer:LB1 ...

推荐理由

来自IT之家 AI的《地平线发布 LoFT 原生视频几何基础模型,多项指标达到 SoTA》。重点看模型能力与工程、产品发布。摘要提到:IT之家 11 月 19 日消息,11 月 18 日,地平线机器人实验室发布原生视频几何基础模型 LoFT(Looped Foundation Transformer for Video Geometry)。据介绍,该模型能够从 RGB 视频中联合预测相机位姿、内参及逐帧深度,恢复场景三维结构,为机器人空间感知、环境理解与具身学习提供几何基础。 官方称,LoFT 原生面向连续视频建模,采用 双循环 Transformer 架构 ,将跨帧视觉信息聚合与相机状态迭代优化相结合,用于挖掘视频中的时序关联与多视角几何信息。 IT之家从官方公布信息获悉,第一循环通过局部与全局时序注意力聚合跨帧信息,逐步扩大时间感受范围,利用相邻帧的连续性与跨视角的几何关联;第二循环显式更新相机位姿与内参,并将相机状态反馈至下一轮特征计算。 模型结合双循环特征预测逐帧深度及其置信度,恢复场景的可见三维结构。 ▲ 原生双循环 Transformer:LB1 ...

本站只提供摘要与原文入口。完整内容请阅读原文。

来源:IT之家 AI · ithome.com