打造一流AI测试环境、助力产业健康发展——人工智能关键技术与应用评测工业和信息化部重点实验室工作纵览

2017年10月初，工业和信息化部正式批复中国信息通信研究院承建人工智能关键技术与应用评测工业和信息化部重点实验室（以下简称“人工智能实验室”）。人工智能实验室主要目标是针对人工智能服务和产品能力参差不齐、缺乏行业基准和标杆、用户选型存在困难等问题，不断从测试数据集、软硬件环境、评估测试标准多方面夯实基础能力，为人工智能产业界提供一流的咨询和评测服务。

一、面向产业实际需求建设“可信AI评测” 体系

经过3年多研究和建设，人工智能实验室“可信AI评测”体系逐渐完善，牵头完成国际国内测评标准30余项，涵盖人工智能芯片、智能语音、自然语言处理、计算机视觉、机器人流程自动化（RPA）、内容安全检测等多个AI典型产品和服务，其中人工智能芯片基准测试标准（ITU-T F.748.11）为国际首个AI芯片评测标准。

中国信息通信研究院“可信AI评测” 体系（2022年3月）

二、建设多个专业测试环境和平台

为进一步支撑人工智能典型产品和服务的测试需求，人工智能实验室建设了异构AI硬件和框架选型服务平台、数据集评测和服务平台、语音语义测试服务平台等多个专用测试服务平台。

1、异构AI硬件和框架选型平台

该平台主要为业界提供深度学习计算卡、深度学习框架的异构选型测试服务。该平台基础设施层提供深度学习所需的存储、计算、通信设备，配备了英伟达、寒武纪等多种深度学习计算卡；集成了业界最常用的多种深度学习框架，如TensorFlow、PyTorch、MXNet以及国内公司自研的深度学习框架Paddle和OneFlow等。

2、数据集评测和服务平台

该平台具备数据集的存储，采集，使用，标注和管理等功能，主要支撑人工智能实验室在智能语音语义，计算机视觉等产品的评估测试需求。目前在智能语音测试数据集方面，已经建成不同应用（语音识别，语音合成，机器翻译，对话系统等）、不同场景（通用，新闻，对话，交互等）、不同音质（白噪声环境、纯净环境、远近场等）、不同产品（硬件终端、软件、在线服务等）等类型的评测数据集。

3、语音语义测试服务平台

该平台主要面向语音合成、语音识别、语音评测、声纹识别、自然语言处理产业链相关企业，提供数据集采集、评估测试等服务。该平台建设了听音室、录音棚：其中，听音室主要模拟不同家居环境下人与智能产品交互的场景配备人工嘴，可以通过滑轨改变人与智能产品间的距离，音箱播放不同的环境噪声，四周墙壁上吸声体可改变混响时间，用来模拟各类家居环境，实现模拟人与智能产品在不同家居环境、不同噪声环境、不同距离的多场景交互测试。

听音室

录音棚配备有音频工作站（专业音频接口控制台、标准声乐制作软件）、数字混响器、监听音箱和监听耳机等设备，人工智能实验室核心指标混响时间小于0.15秒，可以满足语言识别、语言合成等数据集的采集需求。

录音棚

三、持续为业界开展评测服务

人工智能实验室建设以来，不断深耕人工智能技术、支撑和服务能力，有效推动人工智能技术水平的进步和应用水平的提升。截至2021年底，人工智能实验室累计为近300余款产品提供了测试服务，涵盖人工智能芯片、开发平台、智能语音语义、计算机视觉、机器人流程自动化等多个类别。

产业界如有相关技术合作和评测需求，请联系：

王颖

wangying5@caict.ac.cn

18630392456