为了让先进的驾驶辅助系统(ADAS)和自动驾驶汽车(AV)平台成为未来的驾驶技术，这些系统必须为所有驾驶条件做好准备。路上满是复杂的,不可预知的情况下,和汽车必须配备有效的智能传感器系统,不仅是负担得起的大规模生产,但能收集和解释尽可能多的信息,确保人工智能控制车辆每次做出正确的决定。
然而，目前部署在世界各地测试道路上的现有传感器技术并不能完全满足SAE 3级及更高级别车辆的要求。真正安全的ADAS和自动驾驶汽车需要传感器提供足够的场景数据，以满足检测和分类算法在所有条件下的自动导航，达到SAE 5级自动化水平(图1)。1这对工程师和开发人员来说是一个具有挑战性的要求。
1.SAE自动化等级为自动驾驶汽车提供了一个分类系统。
可视摄像头、声纳和雷达已经在SAE 2级自动化生产车辆上投入使用，SAE 3级和4级自动化测试平台在传感器套件中增加了光探测和测距(LiDAR)，但这还不够。这些技术无法在所有情况下探测所有重要的路边数据，也无法提供确保完全安全所需的数据冗余。
热是缺失的环节
像去年优步(Uber)在亚利桑那州发生的悲惨事故这样的事件表明，自动驾驶汽车系统在所有条件下都面临着“看到”行人并做出反应的挑战，无论是在黑暗的乡村道路上，还是在混乱的城市环境中——尤其是在浓雾或刺眼的阳光等恶劣天气下。在这些不常见但非常真实的场景中，热感摄像机可以最有效地快速识别和分类附近和远处的潜在危险，以帮助车辆做出相应的反应。
特别是对于可视相机，在照明条件差、夜间驾驶、阳光刺眼和恶劣天气下，分类是具有挑战性的(图2)．与可见光相机相比，热传感器探测到的电磁波谱波长更长，因此该技术在探测和可靠分类潜在道路危险方面不受黑夜或白天的影响，比如车辆、人、骑自行车的人、动物和其他物体，甚至在200米以外。
2.在重现优步(Uber)在亚利桑那州坦佩(Tempe)发生的事故时，一款宽视距FLIR ADK在280英尺处识别出一个人，这是所需停车距离的两倍。
此外，热成像摄像机为可见光摄像机、激光雷达或雷达系统提供冗余但独立的数据。例如，来自行人的雷达或激光雷达信号可以被附近车辆的竞争信号或在混乱的环境中附近的其他物体掩盖。如果行人穿过两辆车之间，或者部分被树叶挡住，那么几乎没有反射信号来检测行人，或者反射的数据可能会干扰为告知车辆运行而设计的主流智能系统。
在这种情况下，热成像摄像机可以通过探测人或动物与周围环境之间的热量来透视树叶。这种独特的优势，加上机器学习分类，使人或动物从背景中脱颖而出，使车辆能够适当地运行(图3)．
3.ADAS和AV传感器套件。
热成像相机不仅仅是“夜视”
热成像相机也不同于微光可见相机，也就是所谓的“近红外”相机，后者需要一些可见光才能操作。通常，这些相机都有红外发光二极管，可以照亮相机前面的直接区域。虽然这种方法的有效行驶距离为165英尺(50米)，大致相当于一辆普通汽车的前灯的行驶距离，但这极大地限制了一辆普通乘用车完全刹车并防止事故发生所需的可用反应时间。
例如，一辆典型的客车在雨夜以每小时65英里的速度在乡村高速公路上行驶，需要超过50米才能停下来，即使是由具有几乎瞬间反应时间的人工智能控制的汽车。将热成像与激光雷达和雷达相结合，可以显著优于微光可见相机，同时在所有照明条件下提供额外的冗余和一致的数据(图4)．
4.热成像相机看到热量，减少遮挡对行人分类的影响。
为大众带来实惠的相机热
SAE自动化3级(有条件自动化)及以上水平的大规模采用取决于价格合理的传感器技术、处理输入传感器数据所需的适当计算能力，以及在现实环境中执行安全可靠的交通运输命令所需的人工智能。
一个常见的误解是，热传感器的背景是军事用途，太昂贵的汽车大规模集成。由于热成像技术的进步、制造技术的改进和产量的增加，为SAE 2级及更高的自动化水平批量生产价格合理的热传感器成为可能。
FLIR系统该公司已经通过其轻子(Lepton)热成像相机解决了大规模生产热传感器的问题，仅在过去几年里就生产了近200万台。这些经验可以帮助该行业在全球范围内迅速提高产量。此外，FLIR已经通过其一流的汽车供应商交付了超过50万辆汽车合格的热传感器，用于豪华汽车夜间探测系统。
直到最近，热感相机的测量成本都在数千美元，每个相机的VGA分辨率或更高——这是ADAS和AV场景所需的基线分辨率。现在，由于数量和技术的改进，它们的价格降低了一个数量级。
在小像素设计和产量改进方面的持续改进有望进一步降低成本(图5)．根据目前的发展计划，预计在未来几年内，成本还可以再降低2倍。相比之下，为了满足OEM成本目标，激光雷达系统的成本降低了10倍。
5.估计全球平均终端用户价格和数量的热成像相机。(由Maxtech International Inc.提供)
从2022年或2023年开始，SAE 2级和3级自动化系统将大量采用热成像相机，并在2030年之前以每年200% - 300%的速度增长。随着计划中的改进和汽车制造规模的扩大，热成像相机将成为ADAS和AV传感器套件的廉价组件。
降低热成像相机的使用门槛
为了使ADAS开发人员能够快速集成并理解热成像相机在完善传感器套件中的好处，FLIR的OEM部门团队最近发布了免费的机器学习入门热数据集(点击)在这里)．该数据集汇集了超过14000张带注释的热图像，包括人、汽车、其他车辆、自行车和狗在白天和晚上的环境，使开发人员能够开始测试和发展卷积神经网络(cnn)。通过利用该数据集，他们可以快速看到热检测的综合和冗余系统优势(图6)．
6.FLIR的热启动数据集是免费的。
热成像相机具有提高1 - 5级自动化水平车辆安全性的独特能力，而且它的大规模应用前景十分明确，因此，热成像相机成为ADAS和自动驾驶系统不可或缺的一部分，只是时间问题，而不是是否。
参考
