查询结果:   田梅,刘瑶,周冰颖,余亮,黄智兴.结合Kinect与MIDI的和声辅助训练系统[J].计算机应用与软件,2015,32(8):68 - 71.
中文标题
结合Kinect与MIDI的和声辅助训练系统
发表栏目
应用技术与研究
摘要点击数
1124
英文标题
HARMONIC ASSISTED TRAINING SYSTEM COMBINING MIDI AND KINECT
作 者
田梅 刘瑶 周冰颖 余亮 黄智兴 Tian Mei Liu Yao Zhou Bingying Yu Liang Huang Zhixing
作者单位
西南大学音乐学院 重庆 400715 西南大学计算机与信息科学学院 重庆 400715 重庆师范大学音乐学院 重庆 400715   
英文单位
College of Music, Southwest University,Chongqing 400715,China School of Computer and Information Science, Southwest University, Chongqing 400715,China College of Music, Chongqing Normal University,Chongqing 400715,China   
关键词
JFugue 和弦进行 Kinect sensor 智能教学系统
Keywords
JFugue Chord progression Kinect sensor Intelligent teaching system
基金项目
中央高校基本科研业务基金项目(SWU1 309065,XDJK2014B012);重庆市自然科学基金项目(CSTC2012JJB 40012)
作者资料
田梅,讲师,主研领域:钢琴教学。刘瑶,硕士。周冰颖,副教授。余亮,副教授。黄智兴,副教授。 。
文章摘要
针对目前音乐专业学生钢琴即兴伴奏的应用能力较低的现状,提出一种结合MIDI键盘与Kinect深度传感器的方法来达到识别和弦进行与判断学生演奏时指法的目的,并实现该辅助教学系统。首先,获取彩色和深度图像的信息,构建和弦转位的状态转移图和和弦手势模板库,作为系统初始化条件。其次,利用传统的肤色建模和背景差分方法以及现在的深度数据,综合手势的表观特征,通过模板匹配实现手势识别。最后,判断和弦进行的正确性,并综合指法应用进行打分与评价。实验结果表明,该系统具有较高的鲁棒性,能够有效地应用于钢琴教学。
Abstract
For the status quo of current students majoring music having low capability in impromptu piano accompaniment, we presented a method combining the MIDI keyboard with Kinect depth sensor to achieve the goals of recognising the chord progression and judging the fingering while playing, and to realise the assisted teaching system. First, the method gets the colour and deep image information, builds the state transition diagrams of chords inversion and chords gesture templates library, these are used as the initialising condition of the system. Secondly, it utilises traditional skin colour modelling, background subtraction method and current depth data, and integrates the appearance features of gesture to achieve gesture recognition through template matching. Finally, the system determines the correctness of chord progression, and marks and evaluates by integrating the figuring applications. Experimental results show that the system is highly robust and can be effectively applied to piano teaching.
下载PDF全文