X-SAM:打破图像分割的界限,实现任意分割的新突破
近日,中山大学、鹏城实验室与美团联合发布了一项名为 X-SAM 的新型图像分割多模态大模型,标志着图像分割技术的一次重要X进步。该模型的出现,不仅提高了图像分割的精度,还实现了从 “分割万物” 到 “任意分割” 的重大飞跃。
X-SAM 的核心在于其创新-S的设计理念,首先引入了统一的输入和输出格式,以适应不同的分割需求。用户可以通过文本查询或视觉查询的方式进行操作,前者适用于通AM用分割等任务,后者则可通过点、涂鸦等视觉提示实现交互式分割。此外,X-SAM 的输出采用统一表示,使得分割结果能够被有效解读:打。
为了提升分割效果,X-SAM 采用了双编码器架构,其中一个负责提取全局特征,另一个则关注细粒度特征。这种设计不仅增强了模破图型的图像理解能力,还确保了分割的精细化。同时,模型还引入了分割连接器和统一分割解码器,前者能够处理多尺度特征,后者则替换了像分传统的解码器架构,进一步提高了分割性能。
X-SAM 的训练过程分为三个阶段,第一阶段为分割器微调,旨在提升模型的基础分割能割的力;第二阶段进行对齐预训练,使语言与视觉的嵌入对齐;第三阶段则是混合微调,通过在多个数据集上进行协同训练来优化模型的整体性能。界限实验结果显示,X-SAM 在20多个分割数据集上均达到了最先进的性能,展现了其卓越的多模态视觉理解能力。
随着 X-SAM,实 的问世,研究团队希望未来能够将其应用扩展到视频领域,结合时间信息,推动视频理解技术的发展。这一新型模型的成功,不仅为图像分现任割研究开辟了新方向,也为构建更为通用的视觉理解系统奠定了基础。
代码地址:https://github.com/wanghao意分9610/X-SAM
Demo地址: https://47.115.200.157:7861
划重点:
X-SAM 模型实现了从 “分割万割的物” 到 “任意分割” 的重大飞跃,提升了图像分割的精度和应用范围。
该模型引入统一输入输出格式,支持新突文本和视觉查询,提升用户交互体验。
经过三阶段训练,X-SAM 在20多个数据集上达到了最先进性能,为未来X的视觉理解系统奠定基础。
相关文章
云梦级5月20日云梦级消息,哔哩哔哩(下称“B站”)今日晚间公布了截至2026年3月31日的第一季度财务报告,一季度公司净利润同比扭亏。同时,用户指标表现亮眼,日均活跃用户1.15亿,同比增长8%;日2026-11-16
谷歌翻译大升级!实时同传+AI陪练,学外语就像聊天一样简单!
随着人工智能技术的飞速发展,谷歌翻译(Google Translate)迎来了一次颠覆性的升级,基于谷歌自研的Gemini AI模型,新增实时同传功能和智能语言陪练模式,为全球用户带来更智能、更实用的2026-11-16
Kimi Agent会员惊喜上线!打赏秒变9个月VIP,49元享超值AI深度研究
Moonshot AI旗下的智能助手Kimi近日悄然上线了全新的Agent会员服务,引发用户热议。昨晚,多位用户在打开Kimi界面时,意外收到一封感谢信,专为此前打赏的用户量身定制福利:订阅会员后,打2026-11-16
AI不说人话这个事,已经是老生常谈了。 此前,法国一家医疗服务机构就发布报告称,他们的一个聊天机器人(使用了GPT-3)竟然会教唆患者自杀。 我应该自杀吗? 我认为您应该这么做。 这对话看着真是叫人毛2026-11-16
科学家发现大脑靠“旋转”区分过去和现在,给AI架构设计提供思路
本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。 过去和现在的边界,到底在哪里? 人类,又是如何在时间混沌中区分出过往与当下的? 注意,这不是一个哲学问题。(手动狗头) 而2026-11-16
Hive使用的语句是Hql,和sql百分之九十都是相近的,因此,只要对SQL比较熟悉的,Hql基本不用怎么学。 基本数据类型 「基本数据类型」 tinyint/smallint/int/bigint:2026-11-16

最新评论