项目负责人

项目组成员

项目介绍

该项目旨在培养学生对关中民俗艺术的理解和制作过程，利用信息技术进行虚拟仿真。利用交互式仿真平台将传统艺术数字化、形象化和可视化，为以年画、剪纸以及皮影艺术为代表的非物质文化遗产的传承和发展打好基础。该项目需要了解计算机图像处理基本原理，掌握利用多媒体技术的基本步骤。该项目考核方式为考察，学生分组完成互动展览系统。所需预备知识有图像处理、人机交互、程序设计。

一、实验目的

1. 利用交互式皮影表演仿真平台将传统的皮影艺术数字化、形象化和可视化，学习皮影的制作工艺和过程，培养学生对计算机动画及数字、艺术等交叉学科的驾驭能力及相关技术；

2. 了解传统的皮影艺术形式和制作、表演过程，拓展传统文化底蕴，了解皮影的基本原理；

3. 基本掌握计算机动画的生成原理，了解皮影的动画过程；

二、实验原理及内容

1. NUI坐标转化，根据系统要求将骨骼节点使用MapSkeletonPointToColor函数坐标映射到彩色坐标系，并由彩色坐标系缩放至屏幕坐标系，为适应应用中的幕布大小要求，进行幕布大小调整。

2. 部件间旋转，对应于华县皮影的9个部件，择取三维人体运动关节数据组中10个关节点数据对应控制。采用以髋部中央为中心根节点，其余部件由该部件两头的两个骨骼关节点信息确定此部件的旋转数据，由此确定其运动属性及运动逻辑。例如：头部的旋转关系由头部节点与双肩中央节点共同确定，负责人物的点头动作。

3. 平移：以用户髋部中心来标识皮影人物的髋部中心位置。采用比例缩放的形式，并对用户髋部中心的物理坐标进行中心坐标修正，应用于屏幕坐标系，皮影人物所有部件继承皮影髋部中心点的平移运动，使皮影人物在屏幕上实现平移运动。

4. 手势设计，通过对用户的手势识别和判断，系统进行相应的指令和操作。

三、实验仪器设备及平台

1. 基于web平台，采用标准的B/S架构，云平台服务器后台；

2. Kinect设备；

3. C#编程平台。

四、实验内容与步骤

1. 数据采集

1）利用Kinect设备扑捉和采集用户的动作信息，并进行初步的处理和存储。获取用户动作视频流和景深数据，设定通过边界颜色值（红黄蓝空四色）和渐变函数，将深度信息用不同的颜色表现出来，在图像控制的主窗口中显示。

2）骨骼节点捕捉，骨骼节点设置XYZ三维坐标，并依据人体骨节点旋转自由度（分为固定点、铰链点、球状点、一般点）建树，限定其逻辑上的活动范围。

2. 接口设计

将动作捕捉设备采集到的动态信息进行分类为身份信息，动作信息，节点信息，深度信息等，予以计算与优化，使之与皮影数据库匹配。

1）对接受的用户数据进行初步分析，判别用户数量及用户身份，对捕获帧数据做以时间标记。

2）抽取分析所得的用户骨骼节点位置数据进行适度优化（拟采取数字对齐手段），与用户所选取的数据库中皮影的骨节点进行接合。

3）以所存取的时间标记为顺序进行处理，生成连续的视频。

3. 皮影数据库设计

皮影数据库主要包含五个子数据库的设计工作：

1）人物形象库：拟使用图像扫描设备对皮影人物组成部件及剧目场景进行扫描，生成原始图像数据文件，利用图像处理算法对图像进行去噪等处理，获得各部件的完整信息，如图（9）所示。

2）剧目场景库：在生成的部件信息文件中建立连接点数据，包括连接点位置，编号等，同部件信息一起存放在人物形象库及剧目场景库中。

3）动作库：根据传统皮影人物运动动作特点定义动作库中的基本动作，包括抬手，抬脚，行走，转身等，确定各个皮影动作的起始定位点和结束定位点，即通过实验获得皮影人物在定位点的各个节点关系，以皮影人物节点关系标识定位点，最后计算产生皮影人物的各个连贯动作数据信息，如图（10）所示。

4）戏曲库：选择、收集皮影戏配乐，将音频文件数据信息存放。

4. 皮影运动的实现

1）设计相应的旋转函数、平移函数和翻转函数等运动函数。

2）对捕捉到的用户骨骼数据进行处理和保存，然后调用相应的数据处理函数将其转换成对应的可调用的皮影人物处理成为分析处理接收到的用户动态数据信息，转化为可运动信息。

3）调用相应的运动函数，实现皮影人物的实时运动。

5. 交互界面和手势设计

1）对从接口处获得的人物动作数据进行处理，实现捕捉到的动作更具重力感，从而更具有传统皮影动作的特点。再将进行算法优化，从而实现同步感。

2）设计用户界面的整体布局，使其特色鲜明而又更加便于人们的体感交互使用。

3）在用户对处理后获得的对应皮影人物运动的坐标数据信息后，需要进行相应的界面设计，使运动的皮影人物同步到屏幕上。

4）手势设计主要包括由悬停手势实现对系统各功能模块（皮影库的选择、皮影戏的制作）的手势选择功能。

五、实验结果与数据处理

1. 通过Kinect设备对用户实时动作的捕捉（如图（1））。

2.利用骨骼节点追踪等手段对应地控制计算机上皮影人物的多个节点（如图（2））。

3.制作出同步展现用户动作的数字化皮影（如图（3））。

4.再将体感控制技术应用到人机交互方式中，可以搭建出新型的人机交互平台（如图（4）），开发出一个基于三维运动捕捉的交互式皮影的制作与表演系统。

5. 主界面设计

在进入系统之后，首先弹出主界面。包括背景选择、角色选择、音乐选择和Play四个按钮。当用户手势选择背景、角色或者音乐时，系统跳转至其所选的具体辅助信息的界面上。当用户手势选择Play按钮时，则直接进入皮影戏制作界面。

6. 场景库子菜单

真实场景中的皮影戏包含多方面的要素：皮影戏台、皮影艺人、多种多样的皮影角色、灯光等。为了最大程度还原真实的皮影，采用从三个角度进行还还原戏台、皮影角色、背景音乐。

1）背景选择界面：模拟搭建戏台场景，通过数字皮影交互背景的形式实现。此模块存储多种戏台背景，供用户选择使用。   

2）角色选择界面：真实的华县皮影场景有多种多样的角色共同参与表演，系统选取这其中较为典型的旦角和丑角为主要角色加入皮影角色库。 

3）音乐选择界面：华县皮影场景不可或缺的一个元素就是背景的配乐，为了节省篇幅，这里选取了金碗钗、桃园借水、红色娘子军、三目桃花等曲目共用户选择调取。

4）剧情选择界面：还原皮影戏剧情场景，用户可以根据自己的喜好，选择自己喜爱的故事情节，进入相应的场景界面，如图（6-b），同时用户可以根据界面中视频人物的动作表演制作相应的皮影戏。

5）皮影制作界面：当用户进入皮影制作界面时，用户只需运动自身的运动即可控制皮影人物的运动，进行皮影戏的制作（如图7所示）。而皮影人物的运动数据主要来自于对捕捉到的用户运动数据处理，即用户直接操纵皮影人物。同时将手势悬浮在返回按钮上面时，界面会自动跳转至初始剧情选择界面（如图7）。

6）二维码扫描下载皮影戏界面：当用户将按钮点击停止录制皮影戏按钮，界面会跳转至二维码扫描界面，如图8所示，此时用户只需通过扫描界面中的二维码，即可在浏览器中下载自己演绎的皮影戏视频。

六、注意事项

1. 界面中的悬浮按钮的设置；

2. 皮影各个部件的数字化处理；

3. kinect设备防止位置。

【思考题】

1．如何对皮影人物进行数字化处理；

2．怎样建立起皮影人物各个部件和人体关节点的对应关系；

3．怎样通过kinect设备捕获人体关节点信息。