一句话,锁定目标|XGuardian多模态大模型驱动智能文搜

2026-10-30

1793337791138509.png

方案背景与建设意义

随着视频监控、卡口抓拍等系统大规模建设,海量数据带来“检索难”的新问题,传统检索方式存在三大瓶颈:

• 海量数据难检索:常规按时间查看回放耗时耗力,效率低

• 目标信息少难查找:基于事件、属性过滤查找目标困难,查找难

• 操作难度大:交互界面专业,操作门槛高,不便捷

同样,在文档与图像资源领域,也普遍存在“花费大量时间查找文档、查找不及时耽误进程;成员之间文档共享依靠社交工具传来传去”等信息利用不充分的问题。

1793337807384622.png

方案总体设计

本方案以多模态大模型为技术底座,实现文字和图像的统一编解码,图像和文字统一按照固定长度矢量编码存储,基于结构化智能数据应用,增加大模型赋能,实现对场景图片、目标图片的以文搜图、文搜万物。

用“文字语义描述”快速检索目标,这是一种全新的搜索方式,带来前所未有的便捷体验。

1793337822141706.png

核心功能设计

以文搜图

用户通过一个词或一句话语义表达描述关注的行为事件,对数据库进行搜索,系统将符合用户输入语句的结果图片呈现给用户,并按符合度从高到低排序。

1793338447816371.jpg

文搜 + 图搜双级检索

方案采用“文搜初筛 + 图搜精准识别”的组合流程:

  • 文搜:用“文字语义描述”快速检索目标,文搜初筛、快速定位目标

  • 图搜:点击检索目标查看目标,图搜精准识别

  • 轨迹还原:快速查找目标活动路径,基于时间结合地图还原人车行动轨迹,并可基于文搜快速检索的结果,对目标进行图搜的二次精准检索定位

1793338509249121.png

检索体验特性

  • 检索方式多样:支持特征描述与模糊语义检索,一键直达

  • 检索体验高效:秒级响应,操作简单,效率与体验大幅提升

  • 结果查看便捷:支持图片放大、保存、关闭,按键切换上 / 下一张

  • 历史词条复用:搜索内容自动入历史,点击热词或词条即可一键重复检索

语义布控与以文预警

支持零代码布控规则创建,通过文字描述动态生成定制化检测算法,实时响应管理需求。

  • 布控规则示例:“监测某某区域多人聚集”“识别某某楼道电瓶车违规充电”“检测消控室人员违规行为”

  • 支持多要素组合:空间约束(划定周界/动火区域等电子围栏)、属性定义(如“黑色上衣、白色裤子的男人异常滞留”)、行为识别(如“重点区域违规打手机”)

  • 自动同步至训推一体机算法库,支持分钟级规则生效

  • 支持文本自定义预警,算法越用越准、适配更多场景

1793337839694692.png

典型应用场景

1793338416992528.jpg


1793337850186638.png

文档全文检索能力

除视频语义文搜外,方案可配套文档全文检索能力,用于非结构化文本资源的检索:

  • 文本检索:支持关键字搜索、多种条件组合查询或精确查询、查询结果关键字高亮显示

  • 图像检索:输入人脸、车辆、颜色、尺寸、运动方向等信息逐级筛选返回目标,支持样本图片近似检索

  • 服务接口:提供SDK和WebService两种服务接口,支持与第三方业务平台对接

同时支持智能排序、内容高亮显示、按中文分词查询,并支持二次检索。

1793337867101869.png

核心价值

  • 效率提升:语义描述替代传统时间检索,秒级定位目标,提升复杂视频检索效率

  • 门槛降低:低技术门槛,一线人员可快速上手

  • 覆盖全面:搜人、搜车、搜万物、搜事件,覆盖安防、园区、安消多元场景

  • 精准可控:文搜+图搜+档案的专业检索方案,人工核验+算法越用越准

  • 灵活布控:零代码布控规则创建,分钟级规则生效,动态响应业务需求

1793338535355078.jpg