SpatialLM:令人震撼的 3D 模型,空间推理的重大突破
发布者:admin发表于:38天前阅读数:95评论:0
关键词:SpatialLMai

SpatialLM可以标记空间中的物体,与yolo最大的不同是,它能识别多种物体,而且是在三维空间中标记。这对空间推理是个很大的进步。

spatiallm

更重要的是,SpatialLM这个模型只有1B大小!

SpatialLM官方有两个版本,基于llama的SpatialLM-Llama-1B和基于Qwen的SpatialLM-Qwen-0.5B。

SpatialLM官方介绍:SpatialLM 可以处理来自多种来源的点云,如单目视频序列、RGBD 图像和激光雷达传感器。这种多模态架构有效地弥合了非结构化 3D 几何数据与结构化 3D 表示之间的差距,提供了高级语义理解。它增强了空间推理能力,适用于具身机器人、自主导航和其他复杂的 3D 场景分析任务。

SpatialLM模型官方地址:https://huggingface.co/manycore-research/SpatialLM-Llama-1B