等各类端侧设备不断产生更多的数据，边缘计算也变得日益重要。在边缘侧执行) 推理可减少延迟、提高隐私性并降低带宽需求，但边缘设备往往受到严格的功耗限制。

  奇景光电为此开发了一款超低功耗 AI处理器WiseEye 2 (WE2)，可用于在功耗受限的设备中实现边缘 AI 推理。

  由于可用的内存、计算和功率有限，在端侧设备上执行 AI 推理并非易事。大多数 AI 加速器芯片都依赖于外部的动态随机访问内存 (DRAM)，这无疑增加了成本和功耗。而 WE2 采用了创新架构，突破了这些限制。

  WE2 AI 处理器的性能可达 50 GOPS，同时在 1mm2 晶粒面积中仅消耗 1-10mW 能耗。其主要特性包括：

  WE2 AI 处理器基于 Arm 架构并善用 Arm 提供的丰富资源，其中包括：

  性能：搭载的 Arm Cortex-M55 处理器可实现高速视觉处理，“大”核的工作速度最高达 400MHz，可有效处理机器学习(ML) 工作负载。与仅使用微控制器相比，可显著加快推理速度。该芯片在 AI 推理前通过 Arm Helium 指令进行图像处理、图像裁剪、调整大小和颜色等。

  能效：“小核 Cortex-M55”的运行频率为 150MHz，能够以超低功耗执行始终在线的任务。

  可扩展性：Cortex-M55 与 Arm 的 ML 框架（例如 CMSIS-NN）兼容，有助于实现灵活的软件开发。例如，可以在 Cortex-M55 或其他 Arm 核心上运行相同的代码。

  硬件集成：将处理器与 Arm Ethos-U55 加速器和视觉 IP 相集成，有助于CPU、硬件加速器和外设之间的紧耦合处理。

  生态系统支持：搭载 Cortex-M55 时，开发者可充分的利用 Arm 广泛ECO所提供的工具、软件和技术上的支持等丰富资源。这正是奇景光电选择 Arm 处理器的重要的条件之一。

  WE2 针对在边缘侧运行的视觉 AI 模型进行了相应的优化。该芯片工作速度最高可达 400MHz，可高效执行视觉处理任务。其支持运行的模型可广泛用于：

  人脸关键点检测：除了基本的人脸检测功能外，还能执行人脸关键点检测，识别眼睛、鼻子和嘴巴等关键的面部结构。

  人体姿势估计：WE2 可以通过检验测试关键关节和四肢来判断人体姿势，比如通过识别手臂、腿、躯干和头部等身体部位，确定身体的整置和动作。这已经在健身追踪、姿势控制和动作识别等领域被应用。

  目标检测：目标检测 Yolo v8n 模型可以在 WE2 上运行，能够检测场景中的多个物体目标并进行分类。该模型可以识别多达 80 种以上的常见物体，例如人、汽车、车牌、动物、家居用品和放在门口的包裹等。

  WE2 支持外部闪存，因此能将大型 AI 模型存储在片外。WE2 芯片可通过数字(DVP) 与图像传感器对接。通过 Arm ECO的赋能，奇景光电实现了软件兼容性。

  利用KeilMDK、VS Code、TensorFlow MOT、Pytorch 和TinyNeuralNetwork 等开源工具，奇景光电可支持用户开发定制化 AI 应用，并针对低功耗来优化。此外，奇景光电还提供了参考模型来协助进行引导程序的开发。

  目前， WE2 AI 处理器已被客户采用于各种用例中。例如，有客户将 WE2 芯片与笔记本电脑摄像头集成，以便在待机模式下进行人物动态检测，确保在检测到用户时，能即刻唤醒系统。

  由于 WE2 具备较高能效，因此很适合用于电池供电和主流的边缘侧产品。奇景光电计划在未来几代产品中增加集成图像信号处理 (ISP) 功能，以逐步提升视觉功能。总而言之，奇景光电 WE2 可以在资源受限的边缘侧设备上进行 AI 推理。凭借专为计算机视觉优化而打造的创新架构，WE2 成功地将 AI 和 ML 引入了新一代端侧和物联网产品中。