无人机、智能汽车和增强或虚拟现实(AR/VR)耳机都使用多种图像传感器，通常是不同类型的，以捕捉有关其操作环境的数据。为了提供系统所需的图像数据，每个传感器都需要连接到系统的应用处理器(AP)，这给嵌入式工程师提出了设计挑战。
第一个挑战是AP用于连接传感器的I/O端口数量有限，因此必须仔细分配I/O端口，以确保需要连接到AP的所有离散组件都有一个端口。其次，无人机和AR/VR头盔的外形因素小，使用电池供电。因此，在这些应用程序中使用的组件必须尽可能小和节能。
AP I/O端口不足的解决方案之一是使用虚拟通道(Virtual Channels)，如MIPI摄像机串行接口2 (CSI-2)规范．它们可以将多达16个不同的传感器流合并成一个流，然后通过一个I/O端口发送到AP。
虚拟信道实现所选择的硬件平台是现场可编程门阵列(FPGA)。替代硬件平台需要很长时间来设计，而且可能不具备无人机或AR/VR耳机等应用所需的低功耗性能。有些人会认为fpga占用的空间太大，消耗的能量太多，不适合作为虚拟信道支持的可行平台。但半导体设计和制造的进步正在使新一代更小、更节能的fpga成为可能。
情境概述
消费者对无人机、智能汽车、AR/VR头盔的需求日益增长，推动了传感器市场的巨大增长。Semico研究汽车(27% CAGR)、无人机(27% CAGR)和AR/VR耳机(166% CAGR)应用是传感器的主要需求驱动者，并预测到2022年半导体oem的图像传感器年出货量将超过15亿个。
上面提到的应用程序需要多个传感器来捕获有关应用程序运行环境的数据。例如，一辆智能汽车可以使用几个高清图像传感器用于后视镜和环绕摄像头，一个激光雷达传感器用于目标检测，一个雷达传感器用于盲点监测(图1)．
1.在当今的智能汽车中，传感器(雷达/激光雷达、图像、飞行时间等)可以实现紧急制动、后视镜和避碰等应用。
传感器的增加带来了一个问题，因为所有这些传感器都需要向汽车的AP发送数据，而AP的可用I/O端口数量有限。更多的传感器也会增加设备电路板上连接到AP的有线密度，这给小型设备(如耳机)的设计带来了挑战。
AP I/O端口不足的解决方案之一是使用虚拟通道。虚拟通道将来自不同传感器的视频流合并成一个流，可以通过单个I/O端口发送到AP。当前将摄像机传感器连接到AP的流行标准是MIPI摄像机串行接口2 (CSI-2)规范开发的MIPI联盟．通过使用CSI-2虚拟通道功能，CSI-2可以将多达16个不同的数据流组合成一个。然而，将来自不同图像传感器的流组合成一个视频流存在几个挑战。
启用虚拟通道的挑战
将来自同一类型传感器的传感器数据合并到一个通道中并不是一个复杂的命题。在一种方法中，可以同步传感器，并将它们的数据流连接起来，这样它们就可以作为一幅两倍宽度的图像发送到AP。挑战来自于需要合并不同传感器的数据流。
例如，一架无人机可以使用高分辨率的图像传感器在白天进行目标检测，并使用低分辨率的红外传感器捕捉热模式，在夜间进行目标检测。这些传感器具有不同的帧速率、分辨率和不能同步的带宽。为了跟踪不同的视频流，每个CSI-2数据包都需要用虚拟通道标识符标记，以便AP可以根据需要处理每个数据包(图2)．
2.虚拟通道结合来自多个传感器的数据流，以保存I/O端口。来自不同传感器的数据流需要进行处理，以同步时钟速率和输出频率。
除了包标记之外，组合来自不同类型传感器的数据流还需要同步传感器数据负载。如果传感器以不同的时钟速度运行，则需要为每个传感器维护单独的时钟域。这些域在输出到AP之前会被同步。
需要一个专用的硬件桥进行处理
在硬件中实现桥接解决方案以支持虚拟通道可以解决上述问题。使用专用的虚拟通道网桥，所有图像传感器都连接到网桥的I/O端口，这样网桥就可以通过单个端口连接到AP，释放有价值的AP端口来支持其他外设(图3)．这也解决了追踪设备电路板上传感器和AP之间的多个连接所带来的设计足迹挑战;桥会整合到AP的多条轨迹。
3.为了最小化用于连接传感器和AP的I/O端口，具有虚拟通道支持的硬件桥接器将多个传感器流整合在一个I/O端口上传输。
fpga允许为每个传感器输入实现并行数据路径，每个路径在自己的时钟域。这些域在虚拟通道合并阶段被同步，如图所示图3，从而减轻了AP的处理负担。
基于可编程逻辑器件的虚拟信道硬件的好处
当谈到在硬件上实现虚拟信道支持时，最引人注目的集成电路(IC)平台选择是FPGA。fpga是具有灵活的I/O端口的集成电路，可以支持多种接口。它们也有大型逻辑阵列，可以用硬件描述语言(如Verilog)编程。
与需要漫长设计和质量保证(QA)过程的asic不同，fpga已经通过了QA认证，可以在几天或几周内完成设计。然而，传统的fpga通常被视为体积大、耗电大的设备，不太适合功率受限的嵌入式应用。
但是，该脚本会随着fpga的交联族从晶格半导体．该系列产品结合了使用Virtual Channels的视频桥接应用程序所需的性能、大小和功耗。该fpga提供两个4通道MIPI D-PHY收发器，每PHY工作速率高达6gb /s，形状因子小至6mm2．它们支持多达15个可编程源同步差分I/O对，如MIPI-D-PHY, LVDS，亚LVDS，甚至单端并行CMOS，但在许多应用中消耗不到100 mW。支持休眠模式，以减少待机时的电力消耗。Lattice还拥有一个扩展的软件IP库，以帮助加快不同桥接解决方案的实现。
总结
由MIPI Camera Serial Interface-2 (CSI-2)规范启用的虚拟通道帮助嵌入式工程师在单个I/O端口上整合多个传感器数据流，减少使用大量图像传感器的应用程序的总体设计占用空间和功耗。凭借其可编程性、性能和大小，低功耗fpga允许客户快速、轻松地在其设备设计中添加对虚拟通道的支持。
Tom Watzka是技术移动解决方案架构师晶格半导体．
