Prophesee促销

基于事件的图像传感器以一种新的方式观看视频

2020年2月13日
预言的基于事件的Metavision图像传感器将改变您的应用程序对视频的看法。

图像处理是一项要求很高的任务,原因之一是它通常涉及到处理图像中的所有像素。在处理视频流时,必须处理多个帧。确定从一帧到另一帧的变化对于检测物体和其他变化是有用的,但它需要大量的马力和带宽来做到这一点。这种方法是必需的,因为图像捕获设备每次发送一帧。

但如果这不是获取图像信息的唯一方法呢?

Prophesee的Metavision图像传感器(图1)采用了一种不同的方法——基于事件的传感器。将它对准一个纯色图像,它几乎不会生成任何数据,因为像素是不变的。在背景前面移动一只手,传感器就会开始发送一系列事件来指示像素发生了什么变化。这往往是像素总数的一小部分,这是大多数场景的典型情况。


该传感器实际工作在每个像素的可编程阈值上,允许系统具有超过120 dB的宽动态范围。这明显高于大多数图像传感器。因此,传感器即使在很宽的动态范围内也能检测到变化,这将导致传统传感器的问题。

例如,由于典型的图像传感器对每个像素的范围比较有限,因此眩光或弱光会造成问题。该传感器可以设置为低光情况,但如果场景中有明亮的光,它将提供一个最大的白色值。一个典型的颜色传感器可能有RGB值,尽管每像素只有8或16位。

图2强调了Metavision传感器将产生数据的领域。在这个案例中,视频是一个人挥舞高尔夫球杆。突出显示的区域是像素变化的地方。


这种传感器也有一个缺点,它不能显示每个像素的颜色,只能显示颜色的变化。如果需要这种类型的信息,应用程序可以将传统的图像传感器与Metavision传感器结合使用,但是Metavision传感器改变了应用程序分析视频的方式。它可能只对跟踪图像中的变化感兴趣。

例如,一个应用程序可能正在跟踪一个手势。一个人是否戴蓝色手套并不重要。该应用程序只是想识别手势,而Metavision传感器可以更经济地提供该信息。

框架和基于事件的

图3试图强调使用基于框架的成像系统和基于事件的系统之间的区别。假设有一个旋转的圆盘,圆盘周围有一个点。螺旋是蓝点位置随时间变化的映射。橙色和红色的点在特定的时间点突出蓝色的点的位置。右边的帧将是传统成像系统报告数据的方式,尽管我们只关心实际的点。圆圈和其他点是为了提供一个视角。


基于框架的系统会显示点从一个点跳到另一个点。一个足够高的帧率将揭示系统的旋转性质。本质上,我们有一个奈奎斯特抽样问题。

当然,一个足够快的基于帧的解决方案将为视频提供足够的信息进行分析。然而,这也意味着必须处理大量数据。如果要应用机器学习算法,则需要更强的处理能力。

尽管基于事件的系统可以很容易地跟踪旋转,但它提供的信息量会大大降低。事实上,一个微控制器可以很容易地处理来自这类成像系统的数据量与一个更复杂的场景和场景。当然,它可能会被大量变化的光线条件、反射等所淹没,但这在大多数情况下是不寻常的。

同样,许多应用程序有一个更受控制的环境,或者场景中的区域可以以某种方式分区或管理。Metavision传感器为每个像素设置的阈值也可以调整,从而允许忽略某些区域。

预言现在正在传递它的传感器。“这是预言的一个重要里程碑,凸显了我们开创性的基于事件的视觉传感技术的商业化进展。经过几年的测试和原型设计,我们现在可以为产品开发人员提供一种现成的方法,利用我们的机器视觉发明的优势,将行业从传统的基于框架的图像捕捉模式中解放出来。”

基于帧的视频处理仍然是一个有用的范例。然而,基于事件的视频处理开辟了一个全新的领域,可能会提供非常低端的平台,这些平台能够处理基于帧的输入流无法处理的图像处理杂事。

prophet提供的开发硬件和软件使开发人员能够立即实现Metavision传感器。目前的传感器有640-×-480的分辨率,在0.75英寸的屏幕上有15µm的像素大小。格式。它有一个0.04勒克斯低光截止和在1兆赫背景噪声活动。该传感器采用13 × 15毫米PBGA封装。

从我们的合作伙伴

灯罩消声功能规范及使用

2021年5月13日
光幕是一种方便、不引人注目的自动化安全组件,可以保护机器,减少事故。在很多情况下,浅色窗帘可以……

协同处理器体系结构:一种用于快速成型的嵌入式系统体系结构

2021年7月6日
编者注:尽管它以数字处理性能和吞吐量而闻名,但协处理器体系结构提供了嵌入式系统…

接近传感器的基本原理:它们在工业自动化中的选择和应用beplay体育手机登录

2021年4月21日
许多工业自beplay体育手机登录动化(IA)应用需要的能力,以感觉的存在和/或位置的对象或人,而不使物理物理…

网络研讨会:电力诚信的基本原理

现在可按需提供。电力诚信是指从发电到消费过程中保持电力质量。高功率完整性意味着噪音低。

理解和使用e - stop

问:什么是电子档?如何使用?答:e停止,或紧急停止开关,用于确保机器和人员的安全。他们正在使用……

DC/DC,线性和背光的选项为您的汽车应用

我们的汽车LED驱动解决方案帮助您构建创新的,可靠的,成本效益的汽车照明系统,超过汽车行业的s…

声音你的意见!

本网站要求您注册或登录后发表评论。
目前还没有任何评论。想开始对话吗?

从我们的合作伙伴

灯罩消声功能规范及使用

光幕是一种方便、不引人注目的自动化安全组件,可以保护机器,减少事故。在很多情况下,浅色窗帘可以……

协同处理器体系结构:一种用于快速成型的嵌入式系统体系结构

编者注:尽管它以数字处理性能和吞吐量而闻名,但协处理器体系结构提供了嵌入式系统…

接近传感器的基本原理:它们在工业自动化中的选择和应用beplay体育手机登录

许多工业自beplay体育手机登录动化(IA)应用需要的能力,以感觉的存在和/或位置的对象或人,而不使物理物理…

网络研讨会:电力诚信的基本原理

现在可按需提供。电力诚信是指从发电到消费过程中保持电力质量。高功率完整性意味着噪音低。

理解和使用e - stop

问:什么是电子档?如何使用?答:e停止,或紧急停止开关,用于确保机器和人员的安全。他们正在使用……
机器人

基础ROS 2课件

2022年1月3日
本系列视频提供了机器人操作系统2的概述。
机器人

机器人醒来了

2021年12月29日
这种铰接式机器人由工程艺术公司(Engineered Arts)发明,能够模仿人类的情感。
Baidu