USC安防平台之 大模型 文搜图 图搜图

USC安防平台之 大模型 文搜图 图搜图

随着大模型技术的进步,基于小模型的安防软件也迎来了新的应用,USC安防平台使用向量数据库,集成业界知名的大模型,可以实现网络摄像机的视频实时转化为向量存储到向量数据库中,从而实现文本搜图和以图搜图的。

以前以图搜图都是以小模型为基础,搜索的时候依赖固定的类型,比如FastReid, 只支持部分类型,通过使用大模型,打破了类型的壁垒,达到更准确,更快速的效果。比如下面搜索 person with child(后续会支持简体中文),搜索出来带小孩的人。

1

下图根据图片查找图片

2

 

USC安防平台r1.5 发布

1

USC安防平台集成了众多AI事件,为了给用户更好的体验,新的版本重新设计了AI事件页面。

事件窗口可以放到上 下 和右边,把计数显示放到了视频旁边,如果用NVIDIA,默认使用GPU解码,可以关闭移动侦测功能。这样可以减少CPU的利用,从解码到推理都在GPU中完成。

USC安防平台之移动侦测

USC安防平台之移动侦测

随着第四次科技革命的开启,AI技术获取了突飞猛进的发展,视频监控对应的视频分析技术也获取了巨大的发展。

还记得15年前采用人工提取特征做前景背景分离和提取,大部分依赖CPU,最多使用一下TI的DM642 DSP加速,开发难度大并且准确率低。当时比较流行的是Smart Search功能,也就是基于Motion分析,然后画块做匹配。类似下面的做法。

8

USC 支持了最近20年智能技术,包含最早的Smart Search和最新的大模型(大模型不需要样本就可以用,类似给每个摄像机派一个人7x24小时盯着,而且准确率非常高),当然也包含基于Yolov7系列的预训练模型。也包含了基于Motion的搜索功能。

USC安防平台之客户端

USC安防平台之客户端

最近10年的浏览器之争中,Chrome获得了压倒性的胜利,IE6已经成为历史,Flash也成为了历史,Edge内核也成为了历史(Edge现在使用的和Chrome相同的内核,连版本号都一样:) ), 安防行业也跟着发生了翻天覆地的变化,从最早的ActiveX,到现在WebRTC,使用起来越来越方便,越来越快。

虽然浏览器有着非常大的优势,但是有几个功能也比较难以实现,比如在浏览器中实现逐帧倒放,支持Joystick和Keyboard,支持同步回放,智能电视墙。因此USC开启了基于C++的客户端,前面说的几个功能会陆续支持。

3

4

可以参考如下链接