Meta发布SAM，零样本分割图像中一切对象。4月6号，Meta发布SegmentAnything Model（SAM），该模型可以用于分割图像中的一切对象，即使是训练数据中没有见过的对象，可直接在网页体验:https://segment-anything.com/demo。SAM可以使用各种输入提示包括点击，框选和文字，指定要在图像中分割的内容，并且可以灵活集成其他系统，比如将AR/VR头盔的用户视线作为提示来选择对象，也可以将分割输出用作其他AI系统的输入，用于3D建模等任务。模型设计高效灵活，每个提示只需要几毫秒就能在浏览器中运行，并且Meta开源了SAM的模型和包含1100万张图像和11亿个掩码的训练数据集。
　　SAM初步验证了多模态技术路径及其泛化能力，相当于计算机视觉领域的GPT-3。英伟达人工智能科学家Jim Fan认为Meta的这项研究是计算机视觉领域的“GPT-3时刻”之一。SAM是通用的分割方法，已经学会了物体是什么的一般概念，可以对不熟悉的物体和图像进行零样本泛化，而无需额外的训练。GPT-3系列模型可以使用“提示”技术对新数据集和任务执行零样本和少样本学习，SAM从中获得灵感将提示技术用于图像分割。展望将来，SAM可以成为更大的AI系统的一个组成部分，用于对世界做更通用的多模态理解，例如，理解网页的视觉和文本内容；在AR/VR领域，SAM可以根据用户的目光选择对象，然后将其“提升”到3D中；对于内容创作者，SAM可以提取图像区域以进行拼贴或视频编辑；SAM还可通过定位动物或物体在视频中进行研究和跟踪。
　　多模态提升空间巨大，技术进步速度超预期，将落地千行百业。当前多模态的输入输出主要是文本、图像和音频，应用场景包括智能办公和，如智能PPT和其他office套件，此外多模态在AI绘画、AI音乐创作以及看图写稿等AIGC方向也有广泛应用。预计1~5年内，随着多模态的发展带来AI泛化能力提升，通用视觉、通用机械臂、通用通用物流搬运机器人、行业服务机器人、真正的智能家居有望进入生活。预计5～10年内，结合复杂多模态方案的大模型有望具备完备的与世界交互的能力，在通用机器人、虚拟现实等领域得到应用。
　　建议关注：
　　模型及应用：大华股份、海康威视、云从科技、千方科技、商汤科技等。
　　工具厂商：当虹科技、万兴科技、星环科技等。
　　算力：英伟达、海光信息、寒武纪、中科曙光、易华录、拓维信息、四川长虹、神州数码、东华软件、常山北明、景嘉微、工业富联、浪潮信息、光通信产业链等。
　　风险提示：AI技术迭代不及预期；经济下行超预期；行业竞争加剧。

研究报告全文：证券研究报告行业专题研究2023年04月08日计算机多模态GPT的号角SAMMeta发布SAM零样本分割图像中一切对象4月6号Meta发布Segment增持维持AnythingModelSAM该模型可以用于分割图像中的一切对象即使是训练数据中没有见过的对象可直接在网页体行业走势验httpssegment-anythingcomdemoSAM可以使用各种输入提示包括点击框选和文字指定要在图像中分割的内容并且可以灵活集成其他系计算机沪深300统比如将ARVR头盔的用户视线作为提示来选择对象也可以将分割输4832出用作其他AI系统的输入用于3D建模等任务模型设计高效灵活每16个提示只需要几毫秒就能在浏览器中运行并且开源了的模型和MetaSAM0包含1100万张图像和11亿个掩码的训练数据集-16-32SAM初步验证了多模态技术路径及其泛化能力相当于计算机视觉领域的2022-042022-082022-122023-03GPT-3英伟达人工智能科学家JimFan认为Meta的这项研究是计算机视觉领域的GPT-3时刻之一SAM是通用的分割方法已经学会了物体是作者什么的一般概念可以对不熟悉的物体和图像进行零样本泛化而无需额外的训练GPT-3系列模型可以使用提示技术对新数据集和任务执行零样分析师刘高畅执业证书编号本和少样本学习SAM从中获得灵感将提示技术用于图像分割展望将来S0680518090001邮箱liugaochanggszqcomSAM可以成为更大的AI系统的一个组成部分用于对世界做更通用的多模相关研究态理解例如理解网页的视觉和文本内容在ARVR领域SAM可以根计算机真正的安全如何实现据用户的目光选择对象然后将其提升到3D中对于内容创作者SAM1AI2023-04-07计算机下一个超级应用智能助理可以提取图像区域以进行拼贴或视频编辑SAM还可通过定位动物或物体在22023-04-053计算机AI合规发展展望2023-04-05视频中进行研究和跟踪多模态提升空间巨大技术进步速度超预期将落地千行百业当前多模态的输入输出主要是文本图像和音频应用场景包括智能办公和如智能PPT和其他office套件此外多模态在AI绘画AI音乐创作以及看图写稿等AIGC方向也有广泛应用预计15年内随着多模态的发展带来AI泛化能力提升通用视觉通用机械臂通用通用物流搬运机器人行业服务机器人真正的智能家居有望进入生活预计510年内结合复杂多模态方案的大模型有望具备完备的与世界交互的能力在通用机器人虚拟现实等领域得到应用建议关注模型及应用大华股份海康威视云从科技千方科技商汤科技等工具厂商当虹科技万兴科技星环科技等算力英伟达海光信息寒武纪中科曙光易华录拓维信息四川长虹神州数码东华软件常山北明景嘉微工业富联浪潮信息光通信产业链等风险提示AI技术迭代不及预期经济下行超预期行业竞争加剧请仔细阅读本报告末页声明2023年04月08日内容目录1Meta发布SAM零样本分割图像中一切对象32SAM初步验证了多模态技术路径及其泛化能力相当于计算机视觉领域的GPT-363多模态应用展望7投资建议10风险提示10图表目录图表1SAM图像分割Demo3图表2用交互点和框提示3图表3生成多个掩码4图表4SAM可以从其他系统获取输入提示如从ARVR耳机中获取用户的视线以选择对象以及来自对象检测器的边界框提示可以启用文本到对象的分割4图表5输出掩码可以用于其他AI系统例如用于3D建模4图表6SAM的模型结构5图表7JimFan推特6图表8微软365Copilot一键生成PPT7图表9DALL-E2模型根据文字生成图像7图表10PaLM-E操控机器人将绿色块推到海龟机器人之前没见过海龟8图表11华为官网矿山大模型解决方案8图表12Dojo与A100在经典图像分类模型ResNet-50下性能对比9图表13Epic使用虚幻5引擎和程序化生成技术高效制作游戏中的庞大城市9P2请仔细阅读本报告末页声明2023年04月08日1Meta发布SAM零样本分割图像中一切对象4月6号Meta发布SegmentAnythingModelSAM该模型可以用于分割图像中的一切对象即使是训练数据中没有见过的对象可直接在网页体验httpssegment-anythingcomdemo图表1SAM图像分割Demo资料来源SAM官网国盛证券研究所SAM可以使用各种输入提示包括点击框选和文字指定要在图像中分割的内容对于不明确的提示比如到底要分割出人穿的衣服还是整个人SAM会生成多个分割掩码图表2用交互点和框提示资料来源SAM官网国盛证券研究所P3请仔细阅读本报告末页声明2023年04月08日图表3生成多个掩码资料来源SAM官网国盛证券研究所SAM可以灵活集成其他系统比如将ARVR头盔的用户视线作为提示来选择对象也可以将分割输出用作其他AI系统的输入用于3D建模等任务图表4SAM可以从其他系统获取输入提示如从ARVR耳机中获取用户的视线以选择对象以及来自对象检测器的边界框提示可以启用文本到对象的分割资料来源SAM官网国盛证券研究所图表5输出掩码可以用于其他AI系统例如用于3D建模资料来源SAM官网国盛证券研究所P4请仔细阅读本报告末页声明2023年04月08日SAM的模型结构设计高效灵活先通过图像编码器为图像生成一次性编码在用一个轻量级编码器将任何提示实时转换为编码然后将这图像编码和提示编码两个信息源组合在一个轻量级解码器中用于预测分割掩码计算好图像编码后每个提示只需要几毫秒就能在浏览器中运行图表6SAM的模型结构资料来源SAM官网国盛证券研究所Meta开源了SAM的模型和包含1100万张图像和11亿个掩码的训练数据集SA-1B该数据集包含的图像数量是以前可用分割数据集的六倍分割掩码数量是以前的400倍P5请仔细阅读本报告末页声明2023年04月08日2SAM初步验证了多模态技术路径及其泛化能力相当于计算机视觉领域的GPT-3英伟达人工智能科学家JimFan在推特表示他认为Meta的这项研究是计算机视觉领域的GPT-3时刻之一在NLP领域中GPT-3的成功之处在于大量数据上进行预训练得到了具有强大泛化能力的基础模型在翻译写作或对话等不同领域应用时都只需很少或不需要微调图表7JimFan推特资料来源推特国盛证券研究所SAM是一个可以执行交互式分割和自动分割的通用模型以前要解决分割问题有两类方法第一种是交互式分割允许分割任何类别的对象但需要一个人通过迭代完善掩码来指导方法第二种是自动分割允许对提前定义的特定对象类别例如猫或椅子进行分割但需要大量手动标注的对象来训练例如数千甚至数万个分割猫的例子如同GPT-3在NLP领域的成功SAM通过大规模分割数据集的训练已经学会了物体是什么的一般概念这种理解可以对不熟悉的物体和图像进行零样本泛化而无需额外的训练这让SAM可以成为计算机视觉领域各类任务的基础模型并且GPT-3可以使用提示技术对新数据集和任务执行零样本和少样本学习SAM也从中获得了灵感将提示技术用于图像分割展望将来SAM可以成为更大的AI系统的一个组成部分用于对世界做更通用的多模态理解例如理解网页的视觉和文本内容在ARVR领域SAM可以根据用户的目光选择对象然后将其提升到3D中对于内容创作者SAM可以提取图像区域以进行拼贴或视频编辑SAM还可通过定位动物或物体在视频中进行研究和跟踪P6请仔细阅读本报告末页声明2023年04月08日3多模态应用展望当前多模态的输入输出主要是文本图像和音频可以应用于智能办公和AIGC还有智能音箱等场景微软已率先发布了365Copilot产品助力智能办公另外多模态在AI绘画AI音乐创作以及看图写稿等AIGC方向也有广泛应用目前office类工具和AIGC年内预计海康大华商汤云从都有算法级的DEMO积累全球产业链开始出现信号多模态还能提升智能音箱的交互体验有望助力智能音箱渗透率提升图表8微软365Copilot一键生成PPT资料来源微软官网国盛证券研究所图表9DALL-E2模型根据文字生成图像资料来源OpenAI官网国盛证券研究所预计15年内通用视觉通用机械臂通用物流搬运机器人行业服务机器人真正的智能家居会进入生活谷歌的Palm-E模型现在已经能控制机器人完成一些需要泛化能力的任务未来随着模型通用性的提高部署成本降低多模态会赋能众多工业领域比如煤矿行业智能化提高生产安全和效率P7请仔细阅读本报告末页声明2023年04月08日图表10PaLM-E操控机器人将绿色块推到海龟机器人之前没见过海龟资料来源Palm-E官网国盛证券研究所图表11华为官网矿山大模型解决方案资料来源华为官网国盛证券研究所预计5-10年内结合复杂多模态方案的大模型有望具备完备的与世界交互的能力在通用机器人虚拟现实等领域得到应用从GPT到通用机器人的应用规模化落地需要解决机械控制模型泛化能力模型规模扩大后算力扩展续航能力等基础问题1机械控制人形机器人在运行的时候不需要特殊的环境或对环境进行改造具备更开放的生态更快的场景适应性但由于不同的关节构造不同的轴不同的手指数或手之间承担的力量转动幅度和灵活性存在差异人形机器人的关节机械控制成为难点2模型泛化机器人下游场景差别很大若想要实现应用大规模快速落地需要增强模型泛化能力提升模型的通用性以降低推广成本SAM的出现让视觉泛化能力迈进了一大步有望应用于人形机器人3模型规模扩大后算力扩展模型扩大后算力将成为瓶颈特斯拉打造Dojo平台实现最佳的AI训练性能启用更大更复杂的神经网络模型实现高能效且经济高效的计算P8请仔细阅读本报告末页声明2023年04月08日图表12Dojo与A100在经典图像分类模型ResNet-50下性能对比资料来源TeslaAIDay国盛证券研究所4能源问题机器人能源问题包含两方面一方面需要关注机器人电池组解决电池续航能力问题另一方面针对能源管理系统需要解决电池冷却等问题多模态技术还能助力游戏内容与元宇宙构造随着ARVR技术的发展未来将能构建逼真的虚拟现实比如传统的3D模型构建需要耗费大量时间和人力成本但用AI可以快速进行3D模型还能快速制作游戏中的NPC对游戏创作和元宇宙构造起到降本增效的作用图表13Epic使用虚幻5引擎和程序化生成技术高效制作游戏中的庞大城市资料来源腾讯研究院AIGC发展趋势报告2023国盛证券研究所P9请仔细阅读本报告末页声明2023年04月08日投资建议建议关注模型及应用大华股份海康威视云从科技千方科技商汤科技等工具厂商当虹科技万兴科技星环科技等算力英伟达海光信息寒武纪中科曙光易华录拓维信息四川长虹神州数码东华软件常山北明景嘉微工业富联浪潮信息光通信产业链等风险提示AI技术迭代不及预期风险若AI技术迭代不及预期NLP技术理解人类意图水平未能取得突破则对产业链相关公司会造成一定不利影响经济下行超预期风险若宏观经济景气度下行固定资产投资额放缓影响企业再投资意愿从而影响消费者消费意愿和产业链生产意愿对整个行业将会造成不利影响NLP技术应用落地将会受限行业竞争加剧风险若相关企业加快技术迭代和应用布局整体行业竞争程度加剧将会对目前行业内企业的增长产生威胁P10请仔细阅读本报告末页声明2023年04月08日免责声明国盛证券有限责任公司以下简称本公司具有中国证监会许可的证券投资咨询业务资格本报告仅供本公司的客户使用本公司不会因接收人收到本报告而视其为客户在任何情况下本公司不对任何人因使用本报告中的任何内容所引致的任何损失负任何责任本报告的信息均来源于本公司认为可信的公开资料但本公司及其研究人员对该等信息的准确性及完整性不作任何保证本报告中的资料意见及预测仅反映本公司于发布本报告当日的判断可能会随时调整在不同时期本公司可发出与本报告所载资料意见及推测不一致的报告本公司不保证本报告所含信息及资料保持在最新状态对本报告所含信息可在不发出通知的情形下做出修改投资者应当自行关注相应的更新或修改本公司力求报告内容客观公正但本报告所载的资料工具意见信息及推测只提供给客户作参考之用不构成任何投资法律会计或税务的最终操作建议本公司不就报告中的内容对最终操作建议做出任何担保本报告中所指的投资及服务可能不适合个别客户不构成客户私人咨询建议投资者应当充分考虑自身特定状况并完整理解和使用本报告内容不应视本报告为做出投资决策的唯一因素投资者应注意在法律许可的情况下本公司及其本公司的关联机构可能会持有本报告中涉及的公司所发行的证券并进行交易也可能为这些公司正在提供或争取提供投资银行财务顾问和金融产品等各种金融服务本报告版权归国盛证券有限责任公司所有未经事先本公司书面授权任何机构或个人不得对本报告进行任何形式的发布复制任何机构或个人如引用刊发本报告需注明出处为国盛证券研究所且不得对本报告进行有悖原意的删节或修改分析师声明本报告署名分析师在此声明我们具有中国证券业协会授予的证券投资咨询执业资格或相当的专业胜任能力本报告所表述的任何观点均精准地反映了我们对标的证券和发行人的个人看法结论不受任何第三方的授意或影响我们所得报酬的任何部分无论是在过去现在及将来均不会与本报告中的具体投资建议或观点有直接或间接联系投资评级说明投资建议的评级标准评级说明评级标准为报告发布日后的6个月内公司股价或行业买入相对同期基准指数涨幅在15以上指数相对同期基准指数的相对市场表现其中A股市增持相对同期基准指数涨幅在515之间股票评级场以沪深300指数为基准新三板市场以三板成指针持有相对同期基准指数涨幅在-55之间对协议转让标的或三板做市指数针对做市转让标的减持相对同期基准指数跌幅在5以上为基准香港市场以摩根士丹利中国指数为基准美股增持相对同期基准指数涨幅在10以上市场以标普500指数或纳斯达克综合指数为基准中性相对同期基准指数涨幅在-1010之行业评级间减持相对同期基准指数跌幅在10以上国盛证券研究所北京上海地址北京市西城区平安里西大街26号楼3层地址上海市浦明路868号保利One561号楼10层邮编100032邮编200120传真010-57671718电话021-38124100邮箱gsresearchgszqcom邮箱gsresearchgszqcom南昌深圳地址南昌市红谷滩新区凤凰中大道1115号北京银行大厦地址深圳市福田区福华三路100号鼎和大厦24楼邮编330038邮编518033传真0791-86281485邮箱gsresearchgszqcom邮箱gsresearchgszqcomP11请仔细阅读本报告末页声明