基于芯片造款相机，对话肇观电子CEO，起底Feynman智能深度相机

芯东西（公众号：aichip001）

作者 | 高歌

编辑 | 漠影

芯东西12月10报道，近日，国产视觉AI芯片公司肇观电子推出了基于NE-D163A芯片的深度3D AI相机Feynman。

NE-D163A芯片是肇观电子在今年1月份推出的第二款D系列3D视觉芯片，具有高精度3D深度计算能力、支持200余种通用数学计算和较高的AI计算能力。

在这款芯片加持下，Feynman系列智能深度相机采用主动双目视觉技术，在室内外各种场景均能生成高帧率和高精度的深度图，同时支持端侧AI算法的部署，能够帮助机器人、安防、AR/VR等行业的厂商实现精确定位、避障和分析等需求。

芯东西采访到了肇观电子创始人兼CEO冯歆鹏，就Feynman相机研发背后的故事，以及肇观电子对于智能深度相机赛道看法进行了深入地探讨。

肇观电子创始人兼CEO冯歆鹏

一、多部门协同，自主研发相机助力客户AI落地

Feynman系列相机的诞生还要从NE-D163A芯片说起。该芯片具备高AI算力和高精度3D深度计算能力，支持200余种通用数学计算。

简单来说，NE-D163A芯片在机器人上，可以消除传统近距离盲区，提供周边障碍的位置和距离；在近距离的人脸识别中，假如被测人员张嘴，NE-D163A可以精确识别嘴内外的深度不同。

肇观电子NE-D163A视觉AI芯片

芯片很好，也满足了机器人、AR/VR、安防、工业等不同行业的痛点。但是在AI视觉这一新的赛道，相应的模组厂商和系统厂商都不成熟，找上门的终端客户需求也不尽相同。

冯歆鹏称：“市场的反馈是，有的客户是有能力自己研发基于芯片的产品，有些客户希望能拿到一个半成品（不光是提供芯片），有些客户就希望拿到一个相机，然后进一步推动他们产品的研发。”

最终，为帮助终端客户实现快速AI落地，肇观电子决定自己做一款3D视觉+AI的智能深度相机。这个决定并不简单，一款合格的智能深度相机除了芯片，还需要面对传感器光路设计、软硬件结合、平衡系统功耗等不同的挑战。

可以说做一款智能深度相机，肇观电子要打通一整条产业链，而上一个这么做的是家大业大的英特尔。就算是英特尔，最近也为了专注芯片制造等核心业务，正在缩减RealSense深度相机业务规模，甚至会关停其部门。

英特尔RealSense D435（左）与Feynman M1（右）

在产品之外，肇观电子的客户涉及各个不同的行业，仅机器人就既有用于内蒙古强烈光照环境下的智能采集机器人，也有用于冷库中的物流机器人，对环境要求可谓是天差地别。如何挖掘客户需求进行精准地描述，最后加以解决是一个关键的挑战。

冯歆鹏透露，为了解决种种挑战，肇观电子动员了很多部门进行研发，最终在NE-D163A芯片的基础上自主完成了算法、光路、硬件、软件、结构、认证等各方面的设计研发。

二、自带高算力AI芯片，低成本、功耗产生高清深度图

作为芯片公司的肇观电子，最大化地发挥出了NE-D163A芯片的性能优势。NE-D163A芯片作为主控芯片，内嵌几何和深度引擎DEP、AI加速引擎NPU和视觉加速引擎DSP。

在芯片的加持下，Feynman相机自带1.2Tops INT8/0.6Tops FP16的AI算力和666 DMIPS的CPU运算性能，是业界唯一一款内嵌AI和DSP扩展算力的深度相机。这对Feynman的部署起到了关键作用。

不同芯片跑经典网络模型每秒处理的图片帧数对比

此前，终端客户如果采用英特尔的RealSense相机，往往需要搭配i7系列的处理器。这种方案对最后终端产品的成本、功耗都不友好，还需要占用处理器带宽，造成延迟等问题。

相比之下，内嵌高算力芯片的Feynman应用更加简单，可以直接在端侧处理视觉数据，无需外挂其他处理器，就可以产生性能高达720P 30FPS的深度图。

因此Feynman相机既不需要向后传输数据，也降低了终端产品的中控算力要求，对客户来说部署成本和使用成本都更低。Feynman相机整体的功耗水平在2W-3.8W之间，根据所运行的AI模型大小不同有所浮动。

同时，在最重要的图像探测上，Feynman相机搭载了散斑结构光、双目红外摄像头IR模组、彩色摄像头RGB全局曝光模组以及惯性测量单元（IMU）等传感器，能够提供多维度的信息。

Feynman M1结构图

这些传感器并不是Feynman的探测极限。冯歆鹏强调，NE-D163A芯片支持当前双目立体视觉、结构光、ToF（飞行时间传感器）、激光雷达等各类传感器，Feynman传感器配置是在功能、性能、成本和功耗四个维度考量后决定的。

当前Feynman相机的传感器可以最大化的满足客户需求，实现如在障碍物到相机仅有10cm的距离下仍能准确分辨等功能。如果客户需要使用其他类型的传感器，Feynman相机也能够满足需求。

实测数据显示，Feynman的空洞率仅为0.2%，而同一环境下英特尔的RealSense空洞率在1%左右，这意味着Feynman相机采集到空间位置的有效信息更多。同时，Feynman的深度图具有90°对角的广角视场，比常规深度相机的视野更广。

Feynman M1深度图效果

最重要的一点则是，肇观电子对Feynman相机的研发目标就是适应所有他们见过的场景，这里面就包括前文提到的内蒙古10万流明光照环境、冷库中低温环境和黑暗环境等。

为此，肇观电子在Feynman相机内部的光路设计上花费了不少心思，使其能够精确地控制补光和传感器曝光。结合NE-D163A芯片的自学习ISP流水线架构，Feynman相机在各种复杂光照环境下均能获得优质的图像。

不同光照环境下的图像处理对比图

三、提供高效软件工具链，可部署差异化算法

对于智能深度相机这一赛道，冯歆鹏表示看好。从技术发展来看，工厂的高度自动化、万物智联的发展趋势是必然的。在这样的大趋势下，智能设备需要具备视觉能力，甚至要让智能设备自己看懂世界。

这一宏伟蓝图的关键，就是视觉系统，也就是智能深度相机。假设全球人口继续增长，每个人周边的智能设备也会越来越多，而这些智能设备都需要具备视觉能力，所以肇观电子对这一赛道的市场前景十分看好。

现实来讲，肇观电子已经看到数十家Feynman相机的潜在客户。

为了让Feynman相机应用于各个客户，肇观电子提供了Windows、Android、Linux的驱动SDK，客户通过中控直接加载就可实现通信，完成对Feynman相机的部署。

Feynman相机对各平台SDK的支持

对于需要利用端侧AI和DSP算力的产品和深度定制的客户，肇观电子则有一套InferStudio™工具链。客户可以通过InferStudio™将自己的神经网络翻译成一个镜像文件，以提供给Feynman相机使用。

在整个采访中，冯歆鹏谈到了很多次Feynman相机在研发和落地过程中的挑战和困难，有一部分原因是AI芯片产业链并不完善。作为芯片公司的肇观电子在Feynman相机的研发过程中，同时扮演了模组厂商、系统厂商的角色。

相比卖芯片，基于NE-D163A芯片研制Feynman当然挑战的环节更多，但在冯歆鹏看来，这是肇观电子参与产业链塑形的一个过程，能够帮助更多地客户找到AI落地的正确路径和方法，有着更为实际的意义。

结语：肇观电子参与产业链构建，解答AI落地挑战

AI将改变各行各业已成为产业共识，但由于产业链不成熟使得AI落地需要花很大力气；如何破解AI落地难的问题一直在困扰整个人工智能行业。对于很多AI芯片玩家的创始人，一方面他们有着深厚的芯片从业经历，另一方面却要面对产业链并不完整的新问题。

肇观电子作为AI芯片赛道的参与者，亲身参与了产业链的构建，Feynman相机也是他们对于行业挑战所提交的一份答卷，结果如何值得行业期待。

哈电机研发出 世界最先进调相机

记者从哈电集团哈尔滨电机厂有限责任公司获悉，该公司成功研发出世界最先进新型调相机，近日同国家电网内蒙古东部电力有限公司锡盟换流站加装调相机工程签订调相机主机供应合同，目前产品正在加紧制造。据悉，哈电机将为国网首批换流站加装调相机工程供货8台新型调相机主机，其中6台于今年下半年完成供货。

调相机是一种专门发出无功的发电机。无功并不是“无用功”，而是电源供给用电器的另一种能量形式。无功不能直接转化成光、热等其他形式的能量，但它是电气设备建立交变磁场和感应磁通所必须的能量，没有无功，所有需要磁场才能运行的电气设备就无法工作。无功功率和有功功率的大小，共同决定了电网线路中电压值高低。

近年来随着特高压交直流电网的快速发展和风力与太阳能发电等清洁能源的大规模并网，电网运行特性已发生巨大变化——交流与直流、送端与受端相互影响，交直流故障连锁反应机理复杂，给电网安全运行带来巨大隐患。因此，在电网中加入新型调相机，将解决其运行过程中无功与电压补偿调整难题，起到“定海神针”功能，保证电网平稳可靠运行。

据介绍，传统调相机在常规状态下向电网系统提供无功，改善电网功率因数，维持电网电压水平，而哈电机研制的世界最先进调相机在实现上述功能外，更注重瞬时性能，可在极短时间内输出大量无功，并具备更高参数的短时过电流和过电压能力，为性能和指标要求更高的特高压电网的安全稳定运行，提供更加强劲的保障。哈电机公司相关技术专家介绍说，实现这种性能的调相机，此前世界上还没有先例。

相关问答

因为本地没有安装人脸识别控件。退休职工适用社保人脸识别系统进行基本养老保险金领取资格认证,系统提示“社保人脸识别控件不存在”,是当事人的电脑或者移动...

首先很高兴看到了你的问题。就在前几天,我国吉林在未被人察觉的情况下,落下了一颗类似于陨石的奇怪天体,当然目前来看,哪颗陨石在落地前已经被彻底燃烧光了。...

不能出游的日子里,已经把相册翻了的好多遍,给大家分享一下我大秦岭的太兴山,话不多说,看图:置身其中,心情放松不少莫名喜感,先爆一张目的地打卡照随手一...而...

也许你还在玩哪些普通的光绘和慢门,但是你却不知道也许在你身边就有一个可以拍出光绘大片的场景;今天说的主要是森系光绘,让我们用摄影点亮夜的黑吧,或许有了...

草原,碧水,云天,好拍。而要拍蜜蜂、蝴蝶,鹭鸶、牛羊、马儿时,不能惊动,所以要拉长焦距,瞅准机会聚焦抓拍。本人是一个登山、旅游、摄影、写作爱好者,国...占据...

内蒙一号牧场工作还可以,内蒙古一号牧场农牧业科技发展有限公司,成立于2021-10-14,注册资本为1000万,法定代表人为田海斌,注册地址为内蒙古自治区包头市稀土...

内蒙古旅游需带物品如下:1.衣物:根据当地的气候和季节选择合适的衣物。夏季可能会很炎热,所以准备透气性好的夏季服装。冬季非常寒冷,需要保暖的衣物,例如...

1999年11月20日,神舟一号飞船在酒泉卫星发射中心由长征二号F运载火箭发射入轨。11月21日,神舟一号飞船返回舱成功着陆在内蒙古四子王旗预定区域。这是我国载人...

HI,谢邀。是这样的哈,单反相机不仅是在在东北的冰天雪地里拍摄费电,在哪里的雪地里拍摄都会很费电的哦~单反数码相机大多是锂电池,这种电池,当温度降至-30...

那么奥林巴斯相机的优点是什么?强悍的五轴防抖,上面的图说的很清楚了,1/3秒都不糊。全面的镜头群,之后的文章我会一一介绍,奥林巴斯的镜头群基本涵盖了低...有...