(2021年10月6日-日本厚木)索尼半导体解决方案公司(“索尼”)宣布,其AITRIOS™ 边缘AI传感平台将从2021年末开始陆续在日本、美国和欧洲等地推出。索尼现广泛招募企业合作伙伴,邀请他们充分利用该平台,参与开发和实施 AI摄像头驱动的及其他类型的传感解决方案。
AITRIOS平台可以简化AI摄像头驱动及其他传感解决方案的开发和实施。该服务的第一步包含提供各种功能的一站式环境,使参与合作的解决方案供应商(例如AI开发者、应用开发者、相机制造商/模组集成商和系统集成商)能够轻松构建从边缘到云的解决方案。
通过该平台,索尼寻求加快边缘和云协同运作的最优系统的开发,支持合作伙伴推广和扩展具有环境意识的边缘AI传感解决方案,从而提供新的价值、帮助解决各个行业面临的挑战。
运行环境和挑战
随着AI的进步、物联网的普及以及数字化转型的加速,对从图像传感器中提取数据用于识别的传感技术的需求不断攀升,这有望提供新的价值并帮助解决业务挑战。另一方面,随着智能手机、安全摄像头、家用电器和汽车等获取和使用图像的物联网设备的不断增加,人们担心会过度依赖为所有这些设备提供服务的云系统。而且从物联网设备发送的大量数据以及在必要系统使用过程中不断增加的电力消耗已成为社会问题。此外,其他各种挑战也阻碍了传感解决方案的普及和扩展,例如个人身份数据存储在云端时的隐私问题、数据传输延迟、数据篡改等安全问题,以及紧急情况下服务中断的风险。
边缘和云协同运作以及索尼智能视觉传感器IMX500
在云、物联网和其他边缘设备之间分配处理工作负荷的技术作为帮助解决上述挑战的一种方式,已开始受到关注。与集中处理数据的云系统相比,在边缘执行必要的处理使发送到云端和在云端处理的数据量减少,从而使电力消耗和数据传输延迟降低。这还带来了许多其他优势,包括对隐私的积极影响、无须连接到云及其诸多接口使安全性提升,以及因能在边缘完成处理任务所实现的服务连续性。
2020年5月,索尼宣布发布全新智能视觉传感器IMX500,它是全球首款*1 搭载AI处理功能的图像传感器。该传感器采用由像素芯片和逻辑芯片组成的堆栈式结构,并在逻辑芯片上搭载了索尼独创的数字信号处理器(DSP),从而实现在最边缘的设备、即图像传感器本身进行人工智能处理,传感器本身可用作图像数据的接入点。这样的设计允许在传感器本身进行高速AI处理和元数据输出,并推动各类行业中AI驱动的传感解决方案的发展。
*1:在图像传感器中,基于索尼研究(截至2020年5月14日发稿)
AITRIOS边缘AI传感平台的特点
除IMX500智能视觉传感器之外,AITRIOS 还为合作伙伴提供了多种功能,帮助他们制定解决方案。平台合作伙伴包括摄像头AI的开发者、AI驱动传感应用程序的开发者、生产AI摄像头的相机制造商/模组集成商,以及集成这些AI摄像头和传感应用程序的系统集成商。与其他物联网设备相比,图像传感器获取的信息量相对较大。处理如此庞大数据的困难一直是合作伙伴的进入壁垒。索尼凭借在图像传感器开发领域积累的技术优势和专业知识,实现了为AI优化的数据输出。此外,索尼提供了一个一站式平台,可以轻松构建从边缘到云的传感解决方案,让合作伙伴能够简化高性能应用和解决方案的开发和实施,满足多样化的需求。未来扩展服务内容的计划也在制定中。除IMX500外,索尼还计划在AITRIOS上支持其他图像传感器。
该平台支持合作伙伴构建边缘和云协同运作的最优系统,着手全球环境问题,帮助解决云系统相关问题。此外,它将加速边缘AI驱动的传感解决方案在各行业的普及和扩展,为客户和更广泛的社会提供新的价值和解决方案。
此外,索尼将与合作伙伴合作开发和交付可靠的AI服务,帮助解决人工智能的伦理困境,例如当AI使用统计方法输出或做出系统设计时未预料到的决策时。
“AITRIOS”名称由平台关键词“AI”和“Trio S(三个S)”组成。通过AITRIOS,索尼旨在向全球提供“解决方案(Solution)”、“社会价值(Social Value)”和“可持续发展(Sustanability)”这三个S。
AITRIOS服务概览
发布日期:2021年末(首次发布)
目标受众:AI开发商、应用开发商、相机制造商/模组集成商、系统集成商
目标地区:服务将首先在日本、美国和欧洲推出,并计划未来在其他国家和地区推出。
平台特点:
特点:开发环境
· AI和应用开发环境*2
SDK(软件开发包)和工具,以支持在IMX500上运行紧凑的AI模型的开发,以及利用AI的传感应用的开发。
(适合AI开发者和应用开发者)
· 云应用开发环境*2
SDK和工具,以支持开发与边缘传感应用相连接的应用程序,并优化云端的操作。
(适合AI开发者和应用开发者)
· AI摄像头的开发环境
用于支持开发配备IMX500的AI摄像头的SDK、工具*2和参考设计。
(适合相机制造商/模组集成商)
-配备智能视觉传感器的AI摄像头计划将由合作伙伴进行销售。
*2:2021年末首次发布时暂不能提供,计划在之后发布该功能。
特点:交易商店*2
· AI模型和传感应用的下载门户,包括购买和销售的支付功能。已开发的AI模型和应用也可以在交易商店进行注册。
(适合所有合作伙伴)
特点:云服务
· 服务开通(服务开通框架)
轻松设置AITRIOS:只需扫描二维码即可开始。
(适合系统集成商)
· 配置(AI转换器)
通过索尼原创的AI转换器,在配备IMX500的AI摄像头上安装在交易商店购买或自己设计的传感应用。
(适合系统集成商、AI开发者和应用开发者)
· AI再训练
再训练AI模型以适应不断变化的使用环境和条件。
(适合系统集成商、AI开发者和应用开发者)
· 设备管理
管理软件版本,监控搭载IMX500的AI摄像头的运行状态和错误日志。
(适合系统集成商)
· 可与外部云服务上的应用连接
通过AITRIOS提供的应用编程接口(API)与外部云服务上的应用连接,可以视需求增加功能。
(适合系统集成商)
相关网址: https://www.aitrios.sony-semicon.co.jp/en
AITRIOS使用示例
· 以美国一家AI开发商为例
利用通过AITRIOS提供的AI开发环境,该公司以其面部检测和识别的人工智能模型为基础,开发了一个全新、紧凑的AI模型。该模型在IMX500 DSP上运行,同时实现了上述两种功能。他们还通过使用配置(AI转换器)的特点增加了远程更新功能。此外,该公司利用AITRIOS提供的AI开发环境,实现在图像识别一般较为困难(例如在黑暗的场景)的条件下进行评估,简化了AI开发,即使在不同的环境和条件下,也能获得高精度的结果。
· 以美国的一家应用开发商为例
该公司开发用于建筑物内的智能空调系统的电力消耗控制解决方案,获得了索尼和微软合作推出的联合创新实验室的支持。在开发过程中,该公司使用了AITRIOS提供的用于传感应用开发的SDK和工具。该解决方案将该公司的原创技术与索尼IMX500、微软Azure认知服务相整合,可以检测到办公楼和综合商业建筑中会议室和共享空间的占用率,从而可以根据需要对房间进行升温、降温和通风处理,而不是像过去那样,无论是否有人都持续运行空调系统。
· 以一家台湾模组集成商为例
该公司开发的搭载IMX500的AI摄像头原型利用了AITRIOS提供的参考设计,简化了开发过程,有助于缩短开发周期。
· 与日本系统集成商合作
在索尼和微软(日本)合作推出的联合创新实验室中,各方努力将IMX500和微软的Azure认知服务结合起来,为零售业、制造业及其他行业开发了许多商业解决方案。这些解决方案利用了AITRIOS提供的配置和其他功能。
※AITRIOS和AITRIOS标识是索尼集团公司或其附属公司的注册商标或商标。
(本文译自英文乐动(中国)稿,供参考)
********************************************************************************************
索尼集团公司是世界上民用及专业视听产品、游戏产品、通信产品、核心部件和信息技术等领域的先导之一。它在音乐、影视、互动娱乐以及在线业务方面的成就也使其成为全球领先的创意娱乐公司。公司在截止到2021年3月31日结束的2020财年,合并销售额达89,994亿日元。
乐动(中国)单位如欲查询更多资料,请联络:pr@sony.com.cn