IM (中国电竞) 官方网站

如何迎接迎接车载图像处理挑战
栏目:平台快讯 发布时间:2024-10-14
 的视觉感知竞争正在进入纵深阶段,这其中,高像素摄像头已经成为趋势,而关乎图像处理质量的ISP已经成为竞争高地。  IC Tank数据显示,2021年全球单车

  的视觉感知竞争正在进入纵深阶段,这其中,高像素摄像头已经成为趋势,而关乎图像处理质量的ISP已经成为竞争高地。

  IC Tank数据显示,2021年全球单车平均配置摄像头数量为2.3颗,相比2020年的1.3颗大幅提高;预计到2026年,全球单车平均配置摄像头数量将达3.8颗。全球汽车前装摄像头总量将从2021年的1.65亿颗增长至2026年的3.7亿颗,年复合增长率达16%。

  早期的车载摄像头常用于行车记录、倒车影像、泊车环视等。随着车载摄像头在汽车领域的广泛应用,如今逐步延伸到智能座舱内行为识别、ADAS辅助驾驶等。受益于车载摄像头的快速增长,或者说,受益于汽车智能视觉的旺盛需求,ISP处理器在汽车应用中有望持续增长。

  ISP(Image Signal Processor),即图像信号处理器,作为车载摄像头的重要组成部分,主要作用是对前端图像传感器CMOS输出的信号进行运算处理。借助ISP,车载摄像头才能看清楚细节和周围环境,从而指导车辆做出下一步决策。也就是说,ISP 所要做到的就是:将“数字眼睛”的视力提高到“人类眼睛”的水平,使数字图像的成像效果尽可能接近人眼看到的实景。

  不过,现实环境中的图像处理充满了挑战,典型挑战主要存在于以下五大场景中:首先是夜间,低照度环境下视频会有大量的噪点,颜色纹理出现失真;其次是强烈明暗反差情况下,比如逆光拍摄,容易导致细节缺失;第三是环境快速变化过程中,比如驶出隧道口的时候,曝光要不断调整,容易出现盲区甚至安全隐患;第四是快速移动造成的视频抖动;第五是恶劣天气(比如雨、雪、雾)情况下的识别困难和可视距缩短的情况。

  哪些途径可以解决这些问题?加大图像传感器的感面,或是加大镜头的充光量,固然可以从一定程度上进行补偿,但这也意味着成本的大幅增加。而ISP硬件相结合的方案,可以通过算法进行优化,在确保成本的同时提升图像处理的质量。

  从车载ISP方案当前的设计来看,主要存在三种路线:独立ISP、ISP集成于视觉处理器SoC、ISP与车规级CMOS图像传感器集成。

  独立ISP以富瀚微为代表,该公司方面称,高分辨率摄像头是趋势,独立ISP的优势在于图像效果是第一位的,同时可以配接不同的传感器,方案灵活,能够满足用户的差异化需求。

  第二种方案是ISP被集成到视觉处理器SoC中,以英伟达Orin为例,内置ISP每秒可处理64亿像素;而特斯拉第一代F,ISP每秒仅能处理10亿像素。

  国内市场还有瑞芯微的车载AI视觉产品的R1126/R1109,内置安防级ISP和新一代NPU,其安防级ISP内置3F-HDR、3DNR、畸变校正()和去雾,图像的优化处理及传输小于30ms,在强光、逆光、弱光、黑光场景下图像细腻清晰。

  阿里达摩院也宣布了自研的ISP处理器。据其路测结果显示,使用达摩院ISP处理器,车载摄像头在夜间场景下,图像物体检测识别能力比业内主流处理器有10%以上的大幅度提升,原本模糊不清的标注物也得以清晰识别。

  ISP集成到SoC中,意味着可以同时处理多个摄像头数据,实现成本下降。并且,SoC集成ISP性能的不断增强,尤其是支持多个摄像头(高像素)输入,就意味着无需再为每个摄像头传感器提供ISP,从而大幅降低感知硬件的成本。同时,单一ISP可以用于管理不同的传感器和帧速率,适用于功能的不同场景。

  第三种方案是ISP与车规级CMOS图像传感器集成。例如思特威的片上ISP二合一图像传感器,在减小车载SoC中心运算负荷的同时,加快处理速度,强化汽车图像处理效能。豪威科技与汽车视觉技术公司Nextchip开发的联合解决方案,为中低端汽车后视镜摄像头(RC)、环视系统(SC)和电子后视镜提供高质量图像。

  内置ISP的二合一车规级CMOS图像传感器,具有延时低、扩展兼容性高及可配置能力强等特点。通过结合图像传感器和专用ISP的能力,在中低端方案不增加系统配置的情况下,可以实现高质量的图像,降低设计复杂性。并且通过预先调参等优化设计,也能够为后续设计节省调试时间。

  以上三种方案基本是当前车载ISP的主流方式,不过各有其优缺点:集成的优势在于高度集成,布线面积更小,但ISP效果不算顶格;并且图像传感器+ISP的方式,随着高像素、高画质的需求不断提升,传感器的尺寸会变大,散热可能会成为问题;独立的ISP性能更优秀,比如高动态氛围多级去噪处理、整体功耗更低等,但是对于下游设计有一定的技术门槛,只有足够丰富的调优经验等,才能充分发挥其全部能力。

  不同的技术路线,也催生了商业模式的创新。例如英伟达方面,就和中科创达进行了Jetson和DRIE的驱动开发和画质调优(ISP Tuning)的合作,目前中科创达拥有英伟达专用实验室,以及基于DRIE 和 Jetson 两大平台的专业驱动、画质调优、画质测试(IQtest)团队,为其生态伙伴提供全面系统的技术培训和跟踪式问题解答支持。

  2016年,Arm收购了一家成像技术开发商Apical,其中一个目标应用就是高端车载应用领域的ADAS系统。当时,计算机视觉还处于开发早期阶段,专用的图像计算解决方案显露出一定的增长潜力。

  收购之后的第二年,Arm发布了旗下第一款ISP Mali-C71,专门面向ADAS。此后,Arm在该领域不断投入。今年6月,Arm发布Mali-C55,这是 Arm 迄今为止面积最小且可配置性最高的 ISP 产品,它可以识别时速 75 英里 (约 120.7 公里) 速度下移动的车辆车牌。Mali-C55 具备8个独立输入的多摄像头功能,可支持高达 8K 的图像分辨率和 4800 万像素的最大图像尺寸,可通过多种功能实现较高的图像质量。同时,Mali-C55 的芯片面积仅为前几代产品的近一半,并且可提供更强大的功能,大幅减少功耗并延长电池续航时间,与此同时,还降低了这些设备的成本。

  本土市场方面,安谋科技于2020年12月推出了自研的首款产品“玲珑” i3/i5 ISP处理器。根据前期的市场反馈,“玲珑”i3/i5 ISP 处理器在宽动态处理效果和信噪比处理水平方面表现较好。依托数字宽动态与融合宽动态结合的算法技术,“玲珑” i3/i5 ISP 处理器达到了像素级的局部宽动态自适应提升,并采用多尺度、多级降噪技术,以支持 2D/3D 自适应降噪,达到更好的信噪比表现。

  除了IP厂商,芯片厂商也在加码自研ISP,目的是进一步提升图像效果,树立品牌的差异化特点。比如酷芯微电子,在其AI视觉芯片中就采用了自研的ISP和NPU。其自主研发的ISP在2D降噪、3D降噪、HDR、去雾、EIS等各方面都进行了优化。

  黑芝麻也推出了自研的车规级图像处理器NeuralIQ ISP,可支持12路高清相机接入,单芯片每秒可处理15亿像素图像,可以支持多路摄像头并行实时地处理。

  不论是独立ISP,还是ISP集成于SoC或ISP+图像传感器,每种技术路线的厂商都在争夺ISP的制高点。

  有业内人士认为,ISP的增长是确定的,更符合产业需求和用户需求的ISP芯片,应该具备三大特征:

  从供应链层面满足需求,具有应对不确定性的弹性,一方面要包含差异化的软硬件基础,另一方面要更注重本土自研的创新。

  更高的性能。满足自动驾驶对图像画质更高精度的需求,比如捕捉非常大的视觉动态范围,并且比人眼更精准地识别暗处和明亮的图像细节,以保证行车及路人的安全。

  更低的功耗。耗电、发热等问题可能会影响整体部署成本和用户体验,这就要求ISP的创新不能以能效为代价,要更好地满足实现自动驾驶过程中的现实需要。

  ADAS及自动驾驶的视觉感知竞争正在进入纵深阶段,这其中,高像素摄像头已经成为趋势,而关乎图像处理质量的ISP已经成为竞争高地。

  由于摄像头在智能化、分辨率、帧率等方面要求越来越高,智能摄像头除了包含基本的CPU,更多地使用ISP和ML加速器将成为常态。性能强大的ISP处理器,将有助于提升自动驾驶产业链的智能化水平。

  基本可以判定的是,低端市场可能会沿用原有架构的产品,但专用处理ISP和ML加速器可能会被越来越多地使用,因为要实现高效的系统设计,为数据类型和处理匹配相应的 ISP非常重要。

  ISP对于汽车视觉具有重要意义,随着技术的演进,一些最新的 ADAS 应用,都将对车载图像处理提出更高要求,一方面是高质量的图像获取,另一方面是对图像的快速处理和分析,这就使得越来越多的 ADAS 芯片需要通过ISP对画面进行多重曝光处理、去噪与合成。而随着每辆汽车摄像头数量的增加以及传感器融合技术变得越来越智能,功能强劲的ISP 将会变得越来越重要。

  声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。举报投诉

如何迎接迎接车载图像处理挑战(图1)

  中囯三大存储器厂,长江存储、晋华及合肥长鑫都已进入试产阶段,并计划2019年实现量产。这是中囯半导体业的一场存储器突围战,是零的突破。为了

  专利战,必须学习上海中微半导体,从公司成立起就聘用美国律师,准备好一切材料准备好打专利战,并且不要抱有幻想,这一仗是不可避免的。

  今年4月23日,以“智享芯未来”为主题的第四届瑞芯微开发者大会在福州举行,瑞芯微董事长兼CEO励民认为,Turnkey的时代正在逐渐远去,瑞芯微将会与所有的合作伙伴一起共同

  据美国媒体CNBC报道,英特尔执行长Pat Gelsinger表示,半导体产业的成长将

  “10 年荣景”,认为即使眼前的芯片荒缓解,英特尔大手笔扩增的芯片产能仍能符合市场需求。高通执行长安蒙 (Cristiano Amon) 表示,未来有机会和英特尔合作,并使用英特尔的晶圆代工服务。

  11月3日,在深圳大中华喜来登酒店,来自安谋科技执行董事长兼首席执行官吴雄昂就最新万物智能时代的算力

  —设计工程师需要在没有专用芯片组或标准化架构的情况下创建智能、紧凑和多功能的产品。由于专用芯片组(标准化架构)的缺失,设计工程师需要在可穿戴产品中使用为移动和手持应用设计的器件和互连技术。

  器使用单一内核DSP+CPU架构,经过专门设计以满足最新的LTE Cat-M1 (先前为eMTC)和Cat-NB1 (先前为NB-IoT) ,以及未来的FeMTC 和5G蜂窝IoT通信标准,

  智能仪表是通过某种通信网络记录和报告公用事业服务的使用消耗的电子设备,例如电、气、水以及供暖/制冷等。在本白皮书中,我们将探讨智能计量的基础知识以及伴随的一些好处和

  成像是先进驾驶辅助系统(ADAS)中必不可少的一环,在安全以及各类其他需求的驱动下,

  高检测时代上网时间:2011年09月27日作者:日图科技 关键字: 日图科技测试测量东莞工程师大会仪器仪表 近期日图科技科技对外宣传部透露,筹备已久的华南地区

  技术在实现全新智能制造浪潮方面所发挥的关键作用。嵌入式传感器:早在半导体技术出现之前,制造工厂就已经开始使用传感器了。然而,由于嵌入式

  区用户大会并在展会期间为行业人士讲解并演示Kvaser公司CAN总线分析仪硬件产品如何应用到MATLAB和Simulink平台,方便用户快速开发完美智能产品,

  21~224美元。 (2)’C67XX 32位浮点DSP,速度为1Gflops,用于基站数字波束形成、医学

  IM电竞官网

  、语音识别、3-D图形等,价格109~233美元。 C6000在向两个方向发展

  This application note describes the 8PSK, the modulation format chosen by ETSI for EDGE, and illustrates Keysight’s time-saving test methods for power measurement, modulation accuracy, IQ modulator tuning, and test modes.

  对于PCB技术的文章来说,作者可阐述近段时间来PCB设计工程师们所面临的

  本文就各种电源管理课题提出一些对您有帮助的小技巧。文章面向各级设计工程师。无论您是从事电源业务多年还是刚刚步入电源领域,您都可以在这里找到一些极其有用的信息,以帮助您

  dvr。主要实现公交车的视频采集和存储,以及视频型号的3G在线传输。使用dsp,只要还是用于做图形压缩。

  一年的时间去了解产品一个整体的电路架构,然后选择自己学习的电子领域去深入学习。社区小助手:各个行业每天都在发生变化,电子行业更是如此,那么作为电子工程师,在您看来,您是怎样面对这样的

  导航功能之外,还可以实现同屏传送,收发邮件、网络登陆、网络下载等移动互联功能。为

  ”为主题,将现场为观众演示专门针对物联网设备的天线测试系统 - MiniLAB 6 GHz OTA。此外,在展台现场也将安排精彩的R视频沉浸式体验活动。

  数字时代的到来而开始准备他们的HiFi系统。为了满足人们对播放器不断提高的要求,市场上也出现了大量芯片或芯片组。但这些进入数字音频市场的芯片往往有很多缺陷,问题就出在合适

  自己的归来;回到家里,使用遥控器可以方便地控制房间内各种电器设备,可以通过智能化照明系统选择预设的灯光场景,读书时营造书房舒适的安静;卧室里营造浪漫的灯光氛。这一切,主人都可以安坐在沙发上从容操作

  为代表的移动应用成为了拉动传统卫星通信领域的新动力,与之相伴相生的动中通天线也出现了很多的新技术和新产品。相控阵天线已出现了多年,波音

  春天的准备。经历过资本恶意挤压的2018,企业家深刻意识到自我崛起,自我充实的必要性。2019年悄然而至,这些仪器企业

  `无论您是从事电源业务多年还是刚刚进入电源领域,您都可以在这里找到一些及其有用的信息,来帮助您

  数字示波器是设计、制造和维修电子设备不可或缺的工具。随着科技及市场需求的快速发展,工程师们需要最好的工具,迅速准确地解决面临的测量

  无线时代来临伴随着社会经济和信息化技术的飞速发展,视频监控应用在社会安全的各个行业,平安城市、安全生产、森林防火、公园景区、公路交通等围绕在人们日常生活和工作周围的众多应用都已经离不开

  从第一块电子触摸屏被发明,到第一台带触摸屏中控的汽车出现,等待了15年,而到出现第一部触摸屏手机已经足足过去了22年。但现如今,触摸屏在智能手机上渗透率基本达到

  本资料就各种电源管理课题提出一些对您有帮助的小技巧。文章面向各级设计工程师。无论您是从事电源业务多年还是刚刚步入电源领域,您都可以在这里找到一些极其有用的信息,以帮助您

  IM电竞官网

  的新型射频测试仪器 由于移动性和成本的优势,无线通信领域的新用户和新服务不断增多,人们对无线通信技术的需求也持续升温。特别

  提供了完整的解决方案。该系列拥有的信号采集和分析性能、简单的操作和无可比拟的调试工具,加快了处

  的电子设计时面临的棘手信号完整性问题提供了业内的解决方案。的DSA70000系列为

  移动数字电视的到来 目录数字电视杀手应用: 移动数字电视个人多媒体移动通信/信息平台国外移动数字电视发展中国移动数字电

  :在不支持新的接口协议时,存储器接口设计师总是试图支持越来越快的接口总线速度。目前,源同步双数据速率 (DDR)存储器件,例如 DDR2 SDRAM

  压缩编码的算法;采用LINUX嵌入式操作系统设计开发了该记录仪的软件。该仪器实现了汽车运

  市场机遇,恒忆乐观展望2010年发展前景 尽管 IC 产业在步入 2009 年的时候还是前景迷茫,但在岁末之际,曾深受经济危机影响的存储产业终于看到了复苏

  “由于总能效的要求不断提升,作为一个封闭的系统,LED灯对于功率因数与散热等性能的要求都非常高,这对设计者带来一

  最好的时代:2010年全球无线产业展望 对于全球无线年给人们留下的最大惊喜,是 3G在中国全面启动带来的新鲜力量和巨大机遇,那么新的2010

  全触控平板电脑 TouchPad亮相CES210 作为集中展示全球消费电子行业巅峰技术的舞台,2010年CES吸引了来自全球各地的2000余家参展商和140个国家的22,000名观众。展会

  太阳光伏能源的崭新黎明 近些年来,在世界范围内的政治和经济领域中,人们对可再生能源态度的关注日益增加。虽然在去年全球经济危机中,很多可再生能源项

  马上就是米粉了,小米官方公布了新一波的优惠活动,其中小米5s即将迎来清仓甩卖,

  和分析,符合严苛的汽车安全标准的设计要求。Mali-C71也是ARM Mali Camera系列的第一款产品。

  和分析,符合严苛的汽车安全标准的设计要求。Mali-C71也是ARM Mali Camera系列的第一款产品。

  机遇。过去一年,Imagination 在上海,北京的团队稳步发展,未来一年还将有望增长 50%。

  一个能量收集背包的想法已经有一段时间了。第一次尝试设计一种仅依靠人类运动的能量是由Larry Rome于2005在宾夕法尼亚大学进行的。罗马的研究主要集中在肌肉的设计及其在运动中的应用。

  魅族Pro7、魅族Pro7Plus最新消息汇总:魅族Pro6Plus现最低价,

  魅族pro6 plus发布有一段时间了,前几天在6月份的安兔兔好评榜上还在第六名,可见这款机子口碑一直不错,目前来看魅族pro6 plus价格正在调节中,

  这份报告是和英国券商Numis一起出的,援引了行业内400多次讨论以及全新的数据,抛去浮夸的抢眼球的热闹表象,沉下来剖析AI的本质,并且深度思考传统企业如何

  总的来说,目前大众对R已经陷入了失望的情绪之中。然而,开发者们仍然保持着乐观态度,并准备好

  我们都经历了革命性的冲击,自上世纪90年代初的互联网冲击了文化和商业,但很少人知道如何完成RFID开发来

  第四次工业革命,在接下来的二十年里,智能工厂的出现将成为一个重要组成部分。

  芯片,FH8510是一款针对CIS(CMOSImageSensor)的

  中国智能手机市场就是五强之争。据报道,2017年手机排名中,小米没有超过vivo,2018年未来则还有机会

  项目都失败了。 那么,你如何才能在商业中避免这种情况呢? 让我们看看一些方法,它们可以帮助你

  、5G面临的测试实践问题,以及NI的5G测试方案。让我们一起直击现场。

  未来交通:自动驾驶汽车3.0》,致力于推动自动驾驶技术与地面交通系统多种运输模式的安全融合。该文件的制定是基于(而非替代)此前的自愿性指导文件《自动驾驶系统2.0:安全愿景》。

  Waymo One正式商用,最先将汽车自动驾驶技术真正商业化的不是车企,而是科技公司,这对于车企来说,简直就是一个奇耻大辱。怎么

  中国日报网与网易传媒共同举办的2019影响力峰会在北京召开,首届影响力峰会的主题为“预见未来”。会上,中国工程院院士邬贺铨担任“预见科技未来”发布人,发表了主题为“

  5G时代的到来,各个封测厂商全力备战,而华天科技作为主力军之一,其自主研发的封装技术也有了新的进展。

  今日,realme创始人兼首席执行官李炳忠宣布realme手机正式进入国内市场。

  专注于引入新品并提供海量库存的电子元器件分销商贸泽电子 (Mouser Electronics) 将大幅扩张其全球总部和仓储中心,以满足不断增长的业务需求,

  贝多芬诞辰250周年,一个由音乐学家和程序员组成的研究小组,正在训练AI来续写贝多芬未完成的《第十交响曲》。

  随着企业的陆续复工,人流量加大,进一步加强疫情防控成为各行各业需要共同

  。近日,苏州大学机器人与微系统研究中心的科研工作者自主研发出一款高科技产品“智能高效环卫消毒机器人”,助力疫情防控。

  据国内媒体报道,3月18日晚间,马云捐赠给法国和斯洛文尼亚的医疗物资到达比利时列日机场eWTP枢纽。值得注意的是,列日机场用最高礼遇“过水门”

  丰收的季节。在江苏盐城,家有 300 亩农田的刘登扣已经用极飞 P80 农业无人机完成了今年最后一次扬肥作业,这时候撒下的肥料会让地里的稻谷更加饱满结实,有助丰产增收。 ■ 农忙请人

  电网现代化建设稳步推进。现代控制和自动化技术可以通过改善公民的健康和安全来显着节约能源、保护环境并提高生活质量。能源分配自动化使用具有先进控制和通信技术的数字传感器和开关来自动化功能,包括发电和开关,以及实时调整负载变化、监控和管理断电、过压和欠压以及功率因数校正。 自动化可以提高这些关键分配功能的速度、成本和准确性,从而为客户提供可靠性改进和成本节约。这需要控制现场设备以实现现场自动决策并将关键信息

  由于数据中心和基于云的系统的功率密度不断增加,对过流保护的要求比以往任何时候都更具

  性,并已成为所有保护考虑因素中最关键的要素之一。对更高的准确性、可靠性、安全性(例如,满足 IEC 62368

  ,并提供了一些有效电源管理如何提供帮助的示例。 介绍 由于相对于传统技术的显着优势及其多样化的汽车应用,LED 正在席卷汽车行业。 前灯模块往往需要更高的功率(超过 100W),使用高效、基于开

  级新车。如同晴雨表一样,迥异的市场风云预示着2023年的更多可能性和变化,而企业又该如何更好地

  2023,用新享科技UniPro敏捷管理改进管理生态,是一个不错的答案。 敏捷管理是先进理念的实践 在敏捷管理一词的定义中,强调了敏捷

  芯片,支持RGB bayer和RGBIR格式输入,支持3帧合成HDR,内置多级去噪

  数字经济和数字化转型正推动企业进行变革,可视化和数智化成为关键驱动力。NFC技术为企业提供了更便捷、更安全的数据传输途径,加速数字化转型。企业应打造可视化智能平台,