【{$randkws}】小米官方揭秘小米AI技术 一文看懂小爱同学进化的奥秘 - {$web_name} 小米AI技术持续进展背后
2020年，小米AI技术持续进展背后，藏着无数位工程师们的付出和坚守
在2020年小米开发者大会（MIDC）上，小米集团副总裁、集团技术委员会主席崔宝秋亮相小爱同学5.0官方启动。小爱同学由语音助手官方升级为智能日常助手。重磅撒贝宁动态
在小爱同学持续进化的背后，是小米AI技术的强大支撑和不断深耕，也离不开小米AI评测室工程师们的奋斗。
2020年，小米AI评测室克服多项技术难点，在计算机视觉、计算机语音、计算机声学、自然语言处理、知识图谱、机器进修、论文与竞赛等方面均卓有成效。小米自研AI技术已然完整赋能了小米各项业务——移动电话、AIoT、互联网等，HDR技术合作小米10 Pro/至尊纪念版夺得DXOMARK评测第一。
小米企业2020，小米AI奋斗前行，革新边界，在自研革新的路上越来越坚定。2021，我们期盼用AI的技术和商品，为你带来更美好和更智能的日常。
一、计算机语音
计算机语音，就是对人说的话开展处理，这是一个很常用的技术，在小爱同学里面的语音交互、语音生成等都用到了计算机语音技术。
2020年，小米AI评测室做了众多的岗位，在语音的唤醒、确认、生成等方面获得了重大的革新。
1、语音唤醒
2020年，小米自研两麦语音唤醒、低功耗语音唤醒计确认别启动了小爱音箱Art、小爱音箱Art电池版和Redmi小爱触屏音箱Pro 8英寸电池版，技术上获得了重大革新。
我们经由技术升级，聚焦上影节资讯让误唤醒率下降了25%、唤醒延迟完善了33%，Redmi小爱触屏音箱Pro 8英寸电池版在唤醒表现没有下降的状况下，待机时长增多了30%。
在唤醒方面，小米语音唤醒技术以便兼顾低功耗与高表现，使用了双级唤醒策略。低功耗待机唤醒词测试模型，运用子采样与共享隐含层等技术，缩减模型资源消耗的另外保证召回率在一个较高的水平。
高表现误唤醒测试模型，使用粗粒度建模单元，结合局部信息与长时上下文信息，高效抑制误唤醒。经由从海量资料中自动挖掘高确认度训练样本，再经过资料扩充技术，提升唤醒模型在低信噪比与小音量场景下的鲁棒性。
2、语音确认
2020年，小米语音确认在技术革新和业务使用上均获得了显著的提升，首要含有4个方面：
第一，多通道端到端语音确认算力的探究获得一系列重大进展。论文《MULTI-CHANNEL AUTOMATIC SPEECH RECOGNITION USING DEEP COMPLEX UNET》身为探究成果之一已入选IEEE通讯处理协会的旗舰促销 SLT 2021会议。
文章评测结论表明，提出的算力与亚马逊AI团队最近提出的神经波束形成方法相比具有约10%的表现提升。论文亮相后，此探究持续获得革新，相比于经过工业界持久测试的远场语音确认传统解决计划，自研多通道端到端计划获得20%的相对提升，并入选小米集团年度技术大奖前20位。
第二，含有移动电话、音箱、电视等线上首要业务业务确认精确率大幅提升，相比上一年同期确认失误率下降50%+。为小爱同学提供了更为精准的生态感知能力，进一步提升了小爱同学使用者语音交互感受。
第三，在细分人群和细分场景等方面获得了显著的改进。2020年，小米语音对音乐点播、翻译查词等头部场景的中英文混合确认能力开展了专项完善，英文歌曲确认精确率较改进前提升100%，翻译查词确认精确率提升50%。另外，针对儿童等细分人群确认精确率低G网络榜单难题也开展了专门的声学调教，童音确认精确率提升近10个百分点。第四，动向确认、并行推理等新技术使用改进了线上办事能力。动向确认技术极大地提升了对突发或新增信息的扶持力度，对新热资源、联网新梗、突发名词等已做到分钟级动向增强。在语音确认业务 batch 推理完善方面，小米的在线语音确认业务经由深度完善 Kaldi 中模型推理模式，将原来的单序列模式改为 batch 模式，合作业务的吞吐量提升3倍。
3、语音合成
2020年，小爱同学在声音感受上做了很多革新，如奶萌泡芙童声、多情感语音、粤语合成、定制声音等，不只满足了使用者对声音情感化以及多样化的需求，还经由黑技术带给使用者更个性化的声音感受。小爱同学声音感受升级的背后，实际上正是小米自研语音合成技术的迭代革新。
语音合成的工程师们付出了很大的奋斗，对端到端语音合成技术的框架做了重大升级，也就是“第二代端到端语音合成技术”，只需目标发音人些许的录音资料，便可做到在音色和情感自然度等层面的合成效果高保真还原。
另外，工程师们开展了革新性探索，先是经由在模型中加入声纹编码和风格编码，使得目标音色在运用其他资料完善自己对各类型文本驾驭能力的另外，保存了本真声音特色，如童声的奶萌，青葱和茉莉的开心、关心；其次，我们启动了基于深度神经联网的声码器，使得生成的声音在音质上和对详情的刻画上更趋于自然饱满。
用心打磨粤语整体链路感受，我们对超过两万句回复做了符合粤语表述的完善，只为让粤语特性更地道、更好用。粤语特性将跟随小爱同学5.0在移动电话端启动，小米小爱音箱、小爱音箱Pro、小爱音箱Art、独家MacBook对比小爱音箱Art 电池版四款音箱已全量启动。
2020年2月，在小米10亮相会上亮相了黑技术“定制声音”，使用者只需要20句话就能够复刻自己、恋人、亲人的声音。身为当下行业内唯一一家大规模落地语音助手场景的企业，我们在不断给使用者带来温情和爽点特性的背后，也曾面临各类考验，例如如何基于些许低音质资料、如何做到海量声音模型云端智能调度、如何下降办事成本等，是这个特性落地背后工程师们一直致力解决的“难题”。
但在小米投资企业深声技术的合作下，小爱同学的工程师们花了众多时间精力打磨完善，在短短几个月时间攻克了难题，最后带给使用者更流畅更逼真的效果感受。
4、声纹确认
2020年，声纹确认技术持续扩充新能力，完善提升核心指标，以覆盖更多使用场景。扩充新能力层面，我们新增了儿童细粒度确认，进一步保护儿童信息养生。另外，我们将声纹的开户成本由原先的5句下降到3句，大幅下降了使用者的开户成本。
近期，小米声纹的工程师更进一步，经由前沿的深度进修技术，直接将3句降成0句，使用者差不多零开户成本就可以使用声纹能力。当下该技术已在小米电视5启动，大大提升了声纹使用者覆盖率。
在确认精确率与误识率层面，经过一年的迭代完善，我们达到了业界领先水平。
当下小米自研的声纹能力，已落地在移动电话、音箱、电视等各式设备上，诞生了声纹锁、个性化聊天响应、声纹追剧、声纹支付等很多使用者相当喜爱的场景特性。
二、计算机声学
小米声学技术致力于开发业界领先的智能声学技术，以物理声学、心理听觉、通讯处理、深度进修为理论基础，开展阵列增强、通话降噪、智能感知、音频声场、声学测量等技术领域的探究岗位，完整扶持小米集团各个业务线的声学算力需求，其中通话降噪、麦克风阵列、合作唤醒、组合立体声、全屋播放、扬声器均衡等算力达到行业领先水平，已在多款小爱同学商品启动。
1、合作唤醒
大家都得知，当我们只有一个智能设备时，下达指令相当简易且直接。但随着使用者家里的智能设备越来越多，在使用和操控方面也变得更为繁琐，小米一直在思考如何让智能日常变得足够简易轻松、没有负担和门槛——小爱同学5.0，就是那个能帮你决策最佳执行设备的“智能日常助手”。
小米期盼经由全场景智能合作，为使用者提供多设备跨场景的灵活应答和执行能力，能够智能地选出最符合预期的设备唤醒应答、调起能力最匹配的设备执行指令、经由最适合的设备触达提醒。
先是在合作唤醒方面，当你用语音唤醒小爱同学时，小爱同学将会从设备距离、活跃状态、形态等综合条件判断，挑选最优的设备应答并倾听，避免一呼百应。在控制功耗、不增多时延的另外，做到与其他设备的高效合作，革新原本“就近唤醒原则”的限制，做到依据场景各异唤醒各异设备的合作唤醒。
其次是合作响应方面，小爱同学解决了空间位置关系感知、设备能力统一建模、使用者上下文状态治理等方面的技术难题，让小爱同学在接收并理解你指令后，自主挑选出设备能力最能满足当前语义需求的设备，更好的满足你的需求。
最后是合作提醒方面，借助小米IoT生态的长处，小爱同学会即时经由海量小米智能设备获知生态状态，加上对使用者家居控制习惯的进修记忆，预测你潜在的设备控制需求，适时主动为你作出提醒和提议，例如说晚安提醒你关灯，温度高时提醒你开空调或风扇。
2、阵列增强
在日常日常场景中，假如说话的人距离智能设备的麦克风较远，加上周围存在的噪声、多径反射和混响，会导致麦克风收取通讯的品质下降，严重作用语音确认率。
针对这一难题，2019年，小米声学与语音团队联合启动了自主开发的阵列唤醒算力，并于2月20日启动小米AI音箱，有效提升噪声场景平均唤醒率及回声场景平均唤醒率。
9月20日亮相的小爱音箱Pro及小爱音箱全量使用六麦自主开发的阵列唤醒算力，变成小米首款落地的全自主开发的智能音箱。
2020年，小爱音箱Art、小爱音箱Art电池版、Redmi小爱触屏音箱Pro 8英寸电池版陆续亮相，均搭载了小米自研两麦阵列增强技术，使用两麦盲源分离降噪前端，经由盲源分离、降噪、回声消除等技术，在多声源的嘈杂生态、音箱自身播放音乐时，都能结合语音增强技术，消除噪音的强干扰，获得干净、精确的人声音频。
前方，这项技术将使用到更多的小米设备中。
3、组合立体声/全屋播放
小米AI评测室声学团队，依托自研分布式技术，持续开发出了基于Wi-Fi组网的分布式放音技术，并做到了境内智能音箱首次落地组合立体声的放音能力。
2020年，声学团队分布式放音技术完整升级，跟随小爱音箱Art亮相立体声2.0，持续在全屋播放场景深挖技术，打通了设备端与云端的繁琐信息同步，革新性地做到了语音扶持全屋播放，使用者只需说一句“全屋播放XXX的音乐”，即可做到同账户同Wi-Fi下的所有设备自动组网、并自动同步播放一样音频。在做到语音自动组网的另外，也依然扶持APP内操控组建播放组，满足使用者各异场景的各异播放需求。
除此以外，组合立体声特性在2020年还做到了扶持无线、Auxin场景，使用者可以经由无线或Auxin模式，自由地在组合立体声上播放自己喜爱的音乐。
4、声学规范
结合小米在设备商品上的交互经验和资料累积，2020年，声学评测室达成了《智能语音设备声学设备准入规范和设计提议》企业规范报批，并且身为起草单位参与了《信息技术智能语音交互评测》全国规范和《智能家居终端技术请求及等级评估方法》IEEE规范的制定。
兴办适用于智能语音交互商品的远场语音前端操控系统测评规范，旨在从使用者感受角度兴办一套科学完善的操控系统表现测评规范，为技术改进和计划选型提供有力支撑，合作语音技术产业良性进展。
三、自然语言处理
1、MiNLP渠道
经过两年多的兴办，小米AI评测室从0到1，启动了一个技术领先、使用广泛、有小米特色的自然语言处理渠道（下称MiNLP渠道）。当下MiNLP渠道已然升级到了3.0版次，包含数十项NLP特性，已有30多个业务使用该渠道，每天调用量达到80亿次。2020年11月，我们开源了MiNLP渠道中文分词工具，后续还将陆续开源词性标注、命名实体确认、句法确认、语义确认工具。
分词是自然语言处理的基础，对小爱同学理解使用者意图起着重大的作用。小爱同学之前使用开源分词，精确性不高且未针对业务场景开展完善。MiNLP渠道经由对分词特性开展升级，在语料自动标注、领域资料增强、深度进修模型、人工干预机制、多端扶持等方面有了很大的革新，先进的MiNLP渠道为小爱同学提供强大基础技术支撑。
2、机器翻译
我们常常遇到的翻译是语音输入——大家说话然后把它翻译成其他语言。在机器翻译过程中，第一步是经由语音确认操控系统将语音确认成文字，然后经由文字翻译操控系统，将文字翻译成另外一种文字。在这个过程当中，语音确认操控系统或许会发生失误，且失误率一直较高。
针对这个难题，小米AI评测室给出了一些解决方法，其中，提出了基于对抗训练的抗噪语音翻译技术，简易来说，就是训练时尽量构造一些或许出错的语句一起加入训练。
另外，小米经由技术探索，对现有主流的神经机器翻译模型开展了完善，在移动端设备上做到了基于低计算能力CPU的高品质低延时的离线翻译。
3、多模态信息理解
“多模态”，简易来说就是：拥有各类传感器的智能设备，除了能听（耳）会说（嘴）外，另外还能运用摄像头（眼）观察、运用底盘云台（脚）移动等，从而完整的理解使用者意图，和使用者开展沟通，满足使用者的需求。
身为多模态融合的使用场景之一，小米在视觉模块上投入了较多精力，完整扩充了小爱同学的视觉能力，含有集成键盘输入、语言输入、图像输入的多模态输入能力，自动截屏开展翻译、识物的语音与显示屏融合能力，还有新版扫一扫集成的六大核心特性：扫文档、翻译、扫码、识物、扫题、名片，全新的小爱同学5.0做到了多场景视觉能力提升，小爱同学的“眼睛”更好用了。
从语音输入走向视觉输入，前方的AI不只会是日常的工具，也将会朝着人机交互、情感交互的的走向进展，而如你我所见，小米的AI，一直在追求更自然地交互、更懂使用者的需求的方向上奋斗，从未停下脚步。
4、人机对话
语音交互中的全双工连续对话能力，是当下业界较为留意的中心。全双工语音交互的特色是具备“边说边听，可随时打断”的能力。小爱同学是首个在移动电话上做到自然连续对话的智能语音助理。身为小米AI使用前沿探索的先锋，小爱同学历程了几代的技术积累与成熟，也正朝着人文化、智能化的方向迈进。
小爱同学5.0的对话式主动智能，改变过去语音助手有问才有答的商品形态，小爱同学将会自己和你沟通，像人一样发起难题来增进对你的知晓，拥有了有关你的记忆，背后强大的全场景主动办事能力也得以更好的施展。
以便让小爱同学能像人一样，拥有“记忆”，小米克服了很多难点，先是，有赖于小米NLP技术扶持的30多个业务场景、日调用次数达80亿的深厚积累，使用者对小爱同学说过的话会经过NLP确认处理，并主动进修其中有关使用者的知识，另外，小爱同学还能计算哪些难题可以主动向使用者提问，并在合适的时机加入到对话式主动智能的沟通队列中。
然后是记忆的存储，使用者专属的小爱同学云端大脑会为使用者兴办多维度的个人画像，做到了全设备个人信息互联互通，每次交互都可以结合个人画像开展计算，形成出面向使用者的个性化结局。
四、知识图谱
知识图谱，简易理解就是知识库，含有小爱同学的问答、检索、推荐等能力都有关乎。知识图谱对小爱使用场景扶持更广泛，除了知识问答场景外，扶持音乐、影像、古诗、菜谱、繁琐推理、闲聊等场景。我们还在小爱同学中增多了字、词、篇章、古诗的教学类能力，强化了“全球之最”以及“十万个为什么”知识专项。
小爱同学背后的知识图谱技术的提升首要体如今以下几个方面：
知识融合：多源异构知识融合技术不只扶持了文本知识融合还扶持了多模态知识的融合；
知识兴办：知识自动兴办技术已然可以扶持使用者定制及敏捷扩展，可以更高效的支撑更多的业务；
知识关联：当下已然可以扶持繁琐的关系推理和知识推荐场景；
概念图谱：概念图谱体系持续扩展，当下概念体系扩展到了97%的实体；
实体链接：实体链接技术更为成熟，效果在小爱场景上准召都到98%以上。
2021年，小米将兴办更自动化的知识图谱兴办技术、更智能化的知识强调和知识推理使用、更启动化的知识图谱小区、更特色化的知识信息。
2020年，小米AI技术持续进展背后，藏着无数位工程师们的付出和坚守，也融合着小米期望将AI技术融入智能日常的美好愿景。
前方，小米AI评测室将持续攻克一个又一个难题，探索技术新高度，用AI的技术和商品，为每一个人带来更美好和更智能的日常。
在2020年小米开发者大会（MIDC）上，小米集团副总裁、集团技术委员会主席崔宝秋亮相小爱同学5.0官方启动。小爱同学由语音助手官方升级为智能日常助手。重磅撒贝宁动态
在小爱同学持续进化的背后，是小米AI技术的强大支撑和不断深耕，也离不开小米AI评测室工程师们的奋斗。
2020年，小米AI评测室克服多项技术难点，在计算机视觉、计算机语音、计算机声学、自然语言处理、知识图谱、机器进修、论文与竞赛等方面均卓有成效。小米自研AI技术已然完整赋能了小米各项业务——移动电话、AIoT、互联网等，HDR技术合作小米10 Pro/至尊纪念版夺得DXOMARK评测第一。
小米企业2020，小米AI奋斗前行，革新边界，在自研革新的路上越来越坚定。2021，我们期盼用AI的技术和商品，为你带来更美好和更智能的日常。
一、计算机语音
计算机语音，就是对人说的话开展处理，这是一个很常用的技术，在小爱同学里面的语音交互、语音生成等都用到了计算机语音技术。
2020年，小米AI评测室做了众多的岗位，在语音的唤醒、确认、生成等方面获得了重大的革新。
1、语音唤醒
2020年，小米自研两麦语音唤醒、低功耗语音唤醒计确认别启动了小爱音箱Art、小爱音箱Art电池版和Redmi小爱触屏音箱Pro 8英寸电池版，技术上获得了重大革新。
我们经由技术升级，聚焦上影节资讯让误唤醒率下降了25%、唤醒延迟完善了33%，Redmi小爱触屏音箱Pro 8英寸电池版在唤醒表现没有下降的状况下，待机时长增多了30%。
在唤醒方面，小米语音唤醒技术以便兼顾低功耗与高表现，使用了双级唤醒策略。低功耗待机唤醒词测试模型，运用子采样与共享隐含层等技术，缩减模型资源消耗的另外保证召回率在一个较高的水平。
高表现误唤醒测试模型，使用粗粒度建模单元，结合局部信息与长时上下文信息，高效抑制误唤醒。经由从海量资料中自动挖掘高确认度训练样本，再经过资料扩充技术，提升唤醒模型在低信噪比与小音量场景下的鲁棒性。
2、语音确认
2020年，小米语音确认在技术革新和业务使用上均获得了显著的提升，首要含有4个方面：
第一，多通道端到端语音确认算力的探究获得一系列重大进展。论文《MULTI-CHANNEL AUTOMATIC SPEECH RECOGNITION USING DEEP COMPLEX UNET》身为探究成果之一已入选IEEE通讯处理协会的旗舰促销 SLT 2021会议。
文章评测结论表明，提出的算力与亚马逊AI团队最近提出的神经波束形成方法相比具有约10%的表现提升。论文亮相后，此探究持续获得革新，相比于经过工业界持久测试的远场语音确认传统解决计划，自研多通道端到端计划获得20%的相对提升，并入选小米集团年度技术大奖前20位。
第二，含有移动电话、音箱、电视等线上首要业务业务确认精确率大幅提升，相比上一年同期确认失误率下降50%+。为小爱同学提供了更为精准的生态感知能力，进一步提升了小爱同学使用者语音交互感受。
第三，在细分人群和细分场景等方面获得了显著的改进。2020年，小米语音对音乐点播、翻译查词等头部场景的中英文混合确认能力开展了专项完善，英文歌曲确认精确率较改进前提升100%，翻译查词确认精确率提升50%。另外，针对儿童等细分人群确认精确率低G网络榜单难题也开展了专门的声学调教，童音确认精确率提升近10个百分点。第四，动向确认、并行推理等新技术使用改进了线上办事能力。动向确认技术极大地提升了对突发或新增信息的扶持力度，对新热资源、联网新梗、突发名词等已做到分钟级动向增强。在语音确认业务 batch 推理完善方面，小米的在线语音确认业务经由深度完善 Kaldi 中模型推理模式，将原来的单序列模式改为 batch 模式，合作业务的吞吐量提升3倍。
3、语音合成
2020年，小爱同学在声音感受上做了很多革新，如奶萌泡芙童声、多情感语音、粤语合成、定制声音等，不只满足了使用者对声音情感化以及多样化的需求，还经由黑技术带给使用者更个性化的声音感受。小爱同学声音感受升级的背后，实际上正是小米自研语音合成技术的迭代革新。
语音合成的工程师们付出了很大的奋斗，对端到端语音合成技术的框架做了重大升级，也就是“第二代端到端语音合成技术”，只需目标发音人些许的录音资料，便可做到在音色和情感自然度等层面的合成效果高保真还原。
另外，工程师们开展了革新性探索，先是经由在模型中加入声纹编码和风格编码，使得目标音色在运用其他资料完善自己对各类型文本驾驭能力的另外，保存了本真声音特色，如童声的奶萌，青葱和茉莉的开心、关心；其次，我们启动了基于深度神经联网的声码器，使得生成的声音在音质上和对详情的刻画上更趋于自然饱满。
用心打磨粤语整体链路感受，我们对超过两万句回复做了符合粤语表述的完善，只为让粤语特性更地道、更好用。粤语特性将跟随小爱同学5.0在移动电话端启动，小米小爱音箱、小爱音箱Pro、小爱音箱Art、独家MacBook对比小爱音箱Art 电池版四款音箱已全量启动。
2020年2月，在小米10亮相会上亮相了黑技术“定制声音”，使用者只需要20句话就能够复刻自己、恋人、亲人的声音。身为当下行业内唯一一家大规模落地语音助手场景的企业，我们在不断给使用者带来温情和爽点特性的背后，也曾面临各类考验，例如如何基于些许低音质资料、如何做到海量声音模型云端智能调度、如何下降办事成本等，是这个特性落地背后工程师们一直致力解决的“难题”。
但在小米投资企业深声技术的合作下，小爱同学的工程师们花了众多时间精力打磨完善，在短短几个月时间攻克了难题，最后带给使用者更流畅更逼真的效果感受。
4、声纹确认
2020年，声纹确认技术持续扩充新能力，完善提升核心指标，以覆盖更多使用场景。扩充新能力层面，我们新增了儿童细粒度确认，进一步保护儿童信息养生。另外，我们将声纹的开户成本由原先的5句下降到3句，大幅下降了使用者的开户成本。
近期，小米声纹的工程师更进一步，经由前沿的深度进修技术，直接将3句降成0句，使用者差不多零开户成本就可以使用声纹能力。当下该技术已在小米电视5启动，大大提升了声纹使用者覆盖率。
在确认精确率与误识率层面，经过一年的迭代完善，我们达到了业界领先水平。
当下小米自研的声纹能力，已落地在移动电话、音箱、电视等各式设备上，诞生了声纹锁、个性化聊天响应、声纹追剧、声纹支付等很多使用者相当喜爱的场景特性。
二、计算机声学
小米声学技术致力于开发业界领先的智能声学技术，以物理声学、心理听觉、通讯处理、深度进修为理论基础，开展阵列增强、通话降噪、智能感知、音频声场、声学测量等技术领域的探究岗位，完整扶持小米集团各个业务线的声学算力需求，其中通话降噪、麦克风阵列、合作唤醒、组合立体声、全屋播放、扬声器均衡等算力达到行业领先水平，已在多款小爱同学商品启动。
1、合作唤醒
大家都得知，当我们只有一个智能设备时，下达指令相当简易且直接。但随着使用者家里的智能设备越来越多，在使用和操控方面也变得更为繁琐，小米一直在思考如何让智能日常变得足够简易轻松、没有负担和门槛——小爱同学5.0，就是那个能帮你决策最佳执行设备的“智能日常助手”。
小米期盼经由全场景智能合作，为使用者提供多设备跨场景的灵活应答和执行能力，能够智能地选出最符合预期的设备唤醒应答、调起能力最匹配的设备执行指令、经由最适合的设备触达提醒。
先是在合作唤醒方面，当你用语音唤醒小爱同学时，小爱同学将会从设备距离、活跃状态、形态等综合条件判断，挑选最优的设备应答并倾听，避免一呼百应。在控制功耗、不增多时延的另外，做到与其他设备的高效合作，革新原本“就近唤醒原则”的限制，做到依据场景各异唤醒各异设备的合作唤醒。
其次是合作响应方面，小爱同学解决了空间位置关系感知、设备能力统一建模、使用者上下文状态治理等方面的技术难题，让小爱同学在接收并理解你指令后，自主挑选出设备能力最能满足当前语义需求的设备，更好的满足你的需求。
最后是合作提醒方面，借助小米IoT生态的长处，小爱同学会即时经由海量小米智能设备获知生态状态，加上对使用者家居控制习惯的进修记忆，预测你潜在的设备控制需求，适时主动为你作出提醒和提议，例如说晚安提醒你关灯，温度高时提醒你开空调或风扇。
2、阵列增强
在日常日常场景中，假如说话的人距离智能设备的麦克风较远，加上周围存在的噪声、多径反射和混响，会导致麦克风收取通讯的品质下降，严重作用语音确认率。
针对这一难题，2019年，小米声学与语音团队联合启动了自主开发的阵列唤醒算力，并于2月20日启动小米AI音箱，有效提升噪声场景平均唤醒率及回声场景平均唤醒率。
9月20日亮相的小爱音箱Pro及小爱音箱全量使用六麦自主开发的阵列唤醒算力，变成小米首款落地的全自主开发的智能音箱。
2020年，小爱音箱Art、小爱音箱Art电池版、Redmi小爱触屏音箱Pro 8英寸电池版陆续亮相，均搭载了小米自研两麦阵列增强技术，使用两麦盲源分离降噪前端，经由盲源分离、降噪、回声消除等技术，在多声源的嘈杂生态、音箱自身播放音乐时，都能结合语音增强技术，消除噪音的强干扰，获得干净、精确的人声音频。
前方，这项技术将使用到更多的小米设备中。
3、组合立体声/全屋播放
小米AI评测室声学团队，依托自研分布式技术，持续开发出了基于Wi-Fi组网的分布式放音技术，并做到了境内智能音箱首次落地组合立体声的放音能力。
2020年，声学团队分布式放音技术完整升级，跟随小爱音箱Art亮相立体声2.0，持续在全屋播放场景深挖技术，打通了设备端与云端的繁琐信息同步，革新性地做到了语音扶持全屋播放，使用者只需说一句“全屋播放XXX的音乐”，即可做到同账户同Wi-Fi下的所有设备自动组网、并自动同步播放一样音频。在做到语音自动组网的另外，也依然扶持APP内操控组建播放组，满足使用者各异场景的各异播放需求。
除此以外，组合立体声特性在2020年还做到了扶持无线、Auxin场景，使用者可以经由无线或Auxin模式，自由地在组合立体声上播放自己喜爱的音乐。
4、声学规范
结合小米在设备商品上的交互经验和资料累积，2020年，声学评测室达成了《智能语音设备声学设备准入规范和设计提议》企业规范报批，并且身为起草单位参与了《信息技术智能语音交互评测》全国规范和《智能家居终端技术请求及等级评估方法》IEEE规范的制定。
兴办适用于智能语音交互商品的远场语音前端操控系统测评规范，旨在从使用者感受角度兴办一套科学完善的操控系统表现测评规范，为技术改进和计划选型提供有力支撑，合作语音技术产业良性进展。
三、自然语言处理
1、MiNLP渠道
经过两年多的兴办，小米AI评测室从0到1，启动了一个技术领先、使用广泛、有小米特色的自然语言处理渠道（下称MiNLP渠道）。当下MiNLP渠道已然升级到了3.0版次，包含数十项NLP特性，已有30多个业务使用该渠道，每天调用量达到80亿次。2020年11月，我们开源了MiNLP渠道中文分词工具，后续还将陆续开源词性标注、命名实体确认、句法确认、语义确认工具。
分词是自然语言处理的基础，对小爱同学理解使用者意图起着重大的作用。小爱同学之前使用开源分词，精确性不高且未针对业务场景开展完善。MiNLP渠道经由对分词特性开展升级，在语料自动标注、领域资料增强、深度进修模型、人工干预机制、多端扶持等方面有了很大的革新，先进的MiNLP渠道为小爱同学提供强大基础技术支撑。
2、机器翻译
我们常常遇到的翻译是语音输入——大家说话然后把它翻译成其他语言。在机器翻译过程中，第一步是经由语音确认操控系统将语音确认成文字，然后经由文字翻译操控系统，将文字翻译成另外一种文字。在这个过程当中，语音确认操控系统或许会发生失误，且失误率一直较高。
针对这个难题，小米AI评测室给出了一些解决方法，其中，提出了基于对抗训练的抗噪语音翻译技术，简易来说，就是训练时尽量构造一些或许出错的语句一起加入训练。
另外，小米经由技术探索，对现有主流的神经机器翻译模型开展了完善，在移动端设备上做到了基于低计算能力CPU的高品质低延时的离线翻译。
3、多模态信息理解
“多模态”，简易来说就是：拥有各类传感器的智能设备，除了能听（耳）会说（嘴）外，另外还能运用摄像头（眼）观察、运用底盘云台（脚）移动等，从而完整的理解使用者意图，和使用者开展沟通，满足使用者的需求。
身为多模态融合的使用场景之一，小米在视觉模块上投入了较多精力，完整扩充了小爱同学的视觉能力，含有集成键盘输入、语言输入、图像输入的多模态输入能力，自动截屏开展翻译、识物的语音与显示屏融合能力，还有新版扫一扫集成的六大核心特性：扫文档、翻译、扫码、识物、扫题、名片，全新的小爱同学5.0做到了多场景视觉能力提升，小爱同学的“眼睛”更好用了。
从语音输入走向视觉输入，前方的AI不只会是日常的工具，也将会朝着人机交互、情感交互的的走向进展，而如你我所见，小米的AI，一直在追求更自然地交互、更懂使用者的需求的方向上奋斗，从未停下脚步。
4、人机对话
语音交互中的全双工连续对话能力，是当下业界较为留意的中心。全双工语音交互的特色是具备“边说边听，可随时打断”的能力。小爱同学是首个在移动电话上做到自然连续对话的智能语音助理。身为小米AI使用前沿探索的先锋，小爱同学历程了几代的技术积累与成熟，也正朝着人文化、智能化的方向迈进。
小爱同学5.0的对话式主动智能，改变过去语音助手有问才有答的商品形态，小爱同学将会自己和你沟通，像人一样发起难题来增进对你的知晓，拥有了有关你的记忆，背后强大的全场景主动办事能力也得以更好的施展。
以便让小爱同学能像人一样，拥有“记忆”，小米克服了很多难点，先是，有赖于小米NLP技术扶持的30多个业务场景、日调用次数达80亿的深厚积累，使用者对小爱同学说过的话会经过NLP确认处理，并主动进修其中有关使用者的知识，另外，小爱同学还能计算哪些难题可以主动向使用者提问，并在合适的时机加入到对话式主动智能的沟通队列中。
然后是记忆的存储，使用者专属的小爱同学云端大脑会为使用者兴办多维度的个人画像，做到了全设备个人信息互联互通，每次交互都可以结合个人画像开展计算，形成出面向使用者的个性化结局。
四、知识图谱
知识图谱，简易理解就是知识库，含有小爱同学的问答、检索、推荐等能力都有关乎。知识图谱对小爱使用场景扶持更广泛，除了知识问答场景外，扶持音乐、影像、古诗、菜谱、繁琐推理、闲聊等场景。我们还在小爱同学中增多了字、词、篇章、古诗的教学类能力，强化了“全球之最”以及“十万个为什么”知识专项。
小爱同学背后的知识图谱技术的提升首要体如今以下几个方面：
知识融合：多源异构知识融合技术不只扶持了文本知识融合还扶持了多模态知识的融合；
知识兴办：知识自动兴办技术已然可以扶持使用者定制及敏捷扩展，可以更高效的支撑更多的业务；
知识关联：当下已然可以扶持繁琐的关系推理和知识推荐场景；
概念图谱：概念图谱体系持续扩展，当下概念体系扩展到了97%的实体；
实体链接：实体链接技术更为成熟，效果在小爱场景上准召都到98%以上。
2021年，小米将兴办更自动化的知识图谱兴办技术、更智能化的知识强调和知识推理使用、更启动化的知识图谱小区、更特色化的知识信息。
2020年，小米AI技术持续进展背后，藏着无数位工程师们的付出和坚守，也融合着小米期望将AI技术融入智能日常的美好愿景。
前方，小米AI评测室将持续攻克一个又一个难题，探索技术新高度，用AI的技术和商品，为每一个人带来更美好和更智能的日常。
下一篇：【Express】47款游戏试玩！锁定BTOC互动娱乐馆N5馆ChinaJoy Express试玩区