音乐笔记郭毅：人工智能在钢琴学习中的应用

音乐笔记联合创始人&CTO 郭毅

“

节后开工第一天，云启君给你来点干货~

2017年9月20日下午，云启资本携手专注教育的映魅咨询在上海成功举办第23期以“AI+教育”为话题的云启BBQ，包括朗播网创始人&CEO杜昶旭、音乐笔记联合创始人&CTO郭毅、学霸君副总裁郑涛、iPIN副总裁于晓燕，以及云启资本投资团队一起来探讨“AI+教育”的更多可能性。今天我们将为你分享音乐笔记联合创始人&CTO郭毅的演讲，以下为现场实录：

大家好，今天很高兴能参加这次交流，我叫郭毅，是音乐笔记的联合创始人和CTO。我们公司成立于2014年，在音乐教育领域已经做了快三年的研究，大部分都是在技术领域里面，所以今天给大家讲讲人工智能在钢琴学习中的一些应用。

在说我们的产品之前，先和大家分享两个目前学钢琴家庭的现状问题。首先，中国差不多有1500万的学钢琴群童，孩子每周去老师那里学琴之余，大部分时间会在家里自己练习或者请陪练老师，导致效率不高或者是陪练费用太高。其次，孩子学钢琴是个纠错及重复练习的枯燥过程，孩子可能念着念着对学琴产生抵制情绪，学到最后面半途而废的也非常多。那么这里面有什么样的办法帮助孩子提高练习的效率和兴趣呢，就是我们第一个产品的设计初衷。

我们自主研发的智能陪练硬件，智能摄像头，它可以放在钢琴上，孩子的每一遍演奏都被记录下来转化为数据，通过我们的算法对它进行精确的评测，其精确度接近100%，对应曲谱上每一个音节，告诉孩子哪个音弹的有问题，然后结合评测反馈给孩子一些个性化及趣味性的练习方案，帮助孩子提高效率和兴趣。

从技术层面说，它其实是一种机器视觉的分析技术，首先，用机器视觉的诸多处理方法做了很多的预处理，去除了干扰因素，然后我们会对钢琴进行建模，就是说我们需要在一张图片里面迅速的找到这个钢琴上所有琴键的模型，并且这个模型必须做到像素级的切割。同时，我们自主研发做了样本的标注，这里面是一个非常繁琐的工作，所以我们对样本做了很多自动的生成，就是通过我们的深度学习模型生成了几十万个样本，这里面有一系列的技术在里面。再者是算法方面，为了能让算法在移动设备上良好工作，我们进行了大量的优化工作，其中包括神经网络的结构优化等。

我们的第二个产品是，基于我们的人工智能陪练系统，提供在线直播排练的线上一对一服务，我们认为我们做了一个线上最好的钢琴在线教室，基于我们的曲谱电子引擎，能够真实还原一个线下教学场景: 我们的老师和小朋友交流的头像，以及小朋友和老师双方的钢琴视角，这样的话不管是老师做示范还是说学生去演奏，在这套系统里面都能够完美的支撑，当然我们老师也是非常优秀的。

我们其实在音乐教育领域还在做更多的事情，比如演奏的力度评测，比如跟英语领域或者是K12领域一样，我们也在做音乐教育领域的知识图谱，希望能够基于这个知识图谱提供个性化的练习方案。另外我们也正在做的，即在线教室趋于用人工智能技术，我们可以给老师和学生配一个AI助教等等。开启人类智慧宝库的三把钥匙，一个数字，一个语言，一个音符，那么音乐笔记就希望能够将人工智能富能到音乐的教育行业，让孩子们能够开心地练琴，提高练习效率，体会到音乐世界的无限美好。

感谢联合主办方映魅咨询提供的支持，映魅咨询于2012年成立，是一家综合了科技类媒体、研究咨询服务、投资产品的科技服务机构。2014年3月创立了旗下教育科技品牌POWER教育，将映魅咨询的服务能力在教育科技领域进行深度挖掘。目前，已成为国内在教育科技领域有影响力的品牌之一。

接下来的时间我们继续为您分享其它嘉宾的现场精彩观点，请持续关注云启资本官方微信公众账号的推送~

最后来一波现场图：