同济大学设计创意学院非常“手段” — 基于手势识别技术的互动媒体设计丨数字媒体导论（2024）课程成果

课题背景

“手，人类的教练，它在空间和时间中繁育着人类。”

——《手的礼赞》(L'éloge de la main, 1939)， 节选自法国美术史家福西永著作《形式的生命》(vie des formes)

手势是人类最自然的沟通方式之一：它既是信息的发送者，也是信息的接收者，具有双向沟通的功能。手不仅能通过动作、姿态传递情感和意图，还能以触觉感知外界，从而完成信息的输入与反馈，这些独特的能力使得手在人与环境的互动中扮演了至关重要的角色。

课题以手势(gesture)为创作素材，利用媒介交互等技术手段，创作基于手势识别技术的互动设计作品。引导学生回溯到最原初的身体感知经验，将身体部件转化为原始设计素材进行创作。通过观察与转译手势动作，揭示人际交互过程中的自然行为与直觉感知。同时结合 “手势语教学”、“VR手持设备演化”等相关主题的课程讲座，深入探究手势交互技术对用户体验带来的影响，并尝试探索未来无屏交互环境下的人机交互模式创新。

Gestures are one of the most natural forms of human communication, serving as both the sender and receiver of information, thus enabling bidirectional interaction. Through movements and postures, gestures convey emotions and intentions, while tactile perception allows the hand to sense the external world, completing processes of input and feedback. These unique capabilities position the hand as a crucial medium in human-environment interaction.

This project uses gestures as the core creative material, employing interactive media technologies to develop design works based on gesture recognition. Students are encouraged to revisit their most fundamental bodily sensory experiences, transforming body parts into primary design elements for creation. By observing and translating gesture movements, the project aims to reveal users’ natural behaviors and intuitive perceptions.

In conjunction with lectures on topics such as “Sign Language Instruction” and “The Evolution of VR Handheld Devices,” the project delves deeply into the impact of gesture interaction technologies on user experience. It also seeks to explore innovative modes of human-computer interaction in future screenless environments, pushing the boundaries of interaction design toward more natural and intuitive forms.

课程回顾

《所触即所得》——手部拍摄日志

手势语教学工作坊

VR手持设备演化历程讲座

小红书设计周体验设计分享

学生作品

手语回鸣

邓雨欣

设计说明

在中国，通用手语和自然手语始终存在较大差别，然而，描述名字的拼音“手指语”却是一致的。手指语以其独特的方式，通过特定的手指动作来对应汉语拼音的各个字母，这种一致性在通用手语和自然手语的差异中显得尤为珍贵。一般情况下，手指语主要被用来表达姓名。而名字，作为每个人独特的标识，是交流的起点。当我们能够熟练地用手指语表达自己的名字后，便如同打开了一扇与听障朋友沟通的大门，更容易与他们建立起连结，拉近彼此的距离。手指语指式数量相对较少，总共只有30个字母对应的指式，这使得它相对易学易记。对于手语初学者来说，无论是听人想要学习手语与聋人交流，还是聋人自身学习手语，手指语都是一个极好的起步点。

结合自身能力与兴趣，该作品选择针对手指语进行手势识别的程序开发。在这个过程中，需要对不同手形的字母手势进行计算机语言的拆解和分析。每一个手指语的指式，都彰显着手语独特的魅力，更蕴含着动作设计的理性。通过程序开发，将这些指式转化为计算机能够识别的语言代码，就如同搭建起一座沟通无声世界与数字世界的桥梁。

my thing

贺然

设计说明

手部强迫性重复行为(Hand-Focused Repetitive Behaviors, HFRB)是一类以手部为主要表现区域的身体聚焦重复性行为(Body-FocusedRepetitive Behaviors,BFRB)。常见的HFRB包括撕手皮、咬指甲、抓挠手等，这些行为常被视为情绪调节机制的一部分，个体在紧张、焦虑或感到无聊时，可能通过这些行为短暂释放压力。

《my thing》旨在设计一个交互体验，包括互动雕塑装置、概念海报和视频，观众可以通过抚摸、撕扯装置上的“皮肤”与毛线，模拟自身HFRB行为，通过装置的外部手模型与用户自我身体上的体验对比，研究焦虑心理在手势行为中的作用与表现，揭示其情绪调节机制。

手势是人类与环境互动的重要表达方式，也在人类工具使用中扮演了不可忽视的角色。工具的使用不仅满足了功能需求，也塑造了人类的行为习惯和身体感知方式。作为手的延伸，工具与手势之间存在一种动态的双向影响：一方面，工具通过功能设计训练出特定的手势；另一方面，手势习惯化后又反过来影响工具设计。二者的边界在长期的互动中逐渐模糊，形成了一种深层次的“身体-工具”关系。

本设计实验的目标是将工具与手势的融合显性化，通过艺术化的表达形式探索这一关系的复杂性和启示性。具体而言，设计通过手势识别和手工造型，创建一系列基于手势形态的工具，探讨工具如何塑造手势，并以此启发对工具设计与人类行为关系的重新思考。

Shueng 手-音-画实时互动的演出系统

刘一驰

 

左右滑动查看

设计说明

如今，深度摄像、计算机视觉、实时姿态捕捉等先进技术已经能敏锐地捕捉人的手势并将手部动作处理为各种各样的信号。与此同时，音画互动的新媒体艺术展演也不断蓬勃发展，其中，生成式音乐（Generative Music）创作者与视频表演艺术家（常被称为VJ）合作的生成式视听表演越发在新锐创作者之间流行。此外，手势生成的音乐、与手势交互的视觉艺术早有艺术家进行深入探索并涌现相当成熟的作品。

然而，不知出于何种原因，将手势互动加入音画交互却是一个少见的呈现形式。虽然有个别音乐现场会将手部动作可视化为舞台美术的一部分，但其实质上是将手势交互的视觉艺术搬上了音乐舞台，而并未形成与音画生成逻辑高度耦合的“手 - 音 - 画”交互系统。于是笔者想利用现有技术做一次组合性的尝试，目标是搭建一种手 - 音 - 画实时互动的新媒体演出平台，作为一种工具供创作者进行更加丰富多元的音画表现。本文将详细介绍这一项目的前期思路、技术实现和效果测试的历程，并浅析其特性与应用前景。

一只苹果的人生

王一宁

 

左右滑动查看

设计说明

手是人类与外界进行连通的重要器官，在手的触摸、交互下，人类感受着外界的变化、感受着时间的流逝。人类生活于物的包围之中，周而复始为周围最简单的事物赋予意义，有些事物不知不觉变成了智慧的象征，有些事物不知不觉拥有了名称。本装置以极其常见、却在人类历史长河中极具故事感的水果——苹果——作为设计的中心图像，结合上海手语中表示“生活”的手势，引导观众通过和屏幕的实时手势交互，观看苹果由青涩到成熟的过程。

The Typographic Playground

徐炜一

 

左右滑动查看

设计说明

通过将抽象的字体参数映射到直观的手势动作中，本研究探索了一种基于手势识别的可变字体排印系统。实践部分，研究采用 MediaPipe 手势识别框架和 P5.js创意编程平台，在大语言模型的协助下完成系统开发，实现了包括字重、字宽、倾斜度等参数的实时手势控制。同时，引入手势延时触发、状态记忆等功能以优化系统的交互体验。实验部分，研究发现参与者展现出超出预期的创造性使用方式，研究结果表明，基于手势识别的交互方式不仅提高了字体排印的趣味性，更为数字时代的字体排印开辟了新的创作可能。这一探索为技术与设计的深度融合提供了实践参考，同时也展现了技术推动字体排印民主化的潜力。

Hands as weapons

张佩韦

 

左右滑动查看

设计说明

项目《Hands as Weapons》运用MediaPipe进行实时手部动作追踪，基于TouchDesigner将特定的手部攻击动作转化为动态视觉形象。该项目旨在唤起观众对双手作为攻击武器的联想，引导观众重新审视自身在暴力行为中的主体性，以及暴力带来的情感体验。通过互动式视觉探索，观众能体验到动作的视觉表现和暴力的多重形态，并产生情感关联。

母爱十招

张雯淇

 

左右滑动查看

设计说明

老爱驼背的而常常收到来自妈妈的拳击式提醒。作为孩子，对这种爆发般的爱和关心总是感到不解、不习惯。回想起来，长大后与妈妈爸爸的肢体接触似乎都与“手”有关。于是作者收集了从暴力到克制、从愤怒到心疼、从担忧到欣慰的母爱动作，编成“母爱十招决”。作者试图用虚构的武功招式来还原母爱中复杂多样的情感层次，希望借此看见并讨论藏在含蓄、拧巴、内敛甚至暴力之后的浓烈的爱，引发观众对爱的表达方式和文化背景的反思。

基于手势识别的休闲互动游戏设计

张梓萌

 

 

 

设计说明

在日常工作与生活中，手扮演着多种角色，人们使用手进行娱乐和劳动，也使用手势与他人交流、传达自己的情感，手维系着人与世界的链接。而从“手作为人们高频使用的劳动器官”这一角度来看，手常常承受着高强度的负荷，包括握持鼠标、敲击键盘、打扫卫生等，在创意工作者、保洁、保姆等工种中尤甚。这也导致了这些人群日益严重的手部健康问题——腕管综合征，即人体的正中神经及进入手部的血管在腕管处受到挤压，从而产生一系列疼痛、酸胀、炎症和功能障碍，俗称“鼠标手”“妈妈手”等。

本设计同样聚焦体感严肃游戏领域，探索如何通过体感游戏给玩家带来轻松愉悦的手部保健体验，并提高人们对于预防腕管综合征等手部疾病重要性的认识。

Pawfficer

何一

 

设计说明

强迫性皮肤剥离症（Excoriation Disorder），也被称为皮肤撕裂症，是一种较为常见的心理行为问题，归属于强迫性与相关障碍谱系。其主要特征是患者在无意识状态下反复剥离自身皮肤，典型表现包括抠手皮、啃指甲、撕裂倒刺或抓挠结痂。尽管这种行为看似无害，但长期来看可能导致皮肤感染、炎症、甚至永久性疤痕，同时对患者的心理健康和社会功能造成负面影响。研究表明，20-30%的成年人仍存在此行为，尤其在情绪波动较大或压力环境中更为频繁。诱发因素多种多样，包括焦虑、紧张、无聊或专注时的分心动作。尽管许多患者意识到行为的有害性，却难以主动控制。这种病症常伴随着羞耻感和隐瞒心理，进一步加剧了其识别与治疗的难度。因此，开发科学、柔性的辅助干预工具显得尤为必要。

本项目基于Python的MediaPipe手势识别技术，设计了一款针对强迫性皮肤剥离症（皮肤撕裂症）患者的互动桌宠，旨在通过转移注意力与情绪引导帮助缓解患者症状。作品结合了认知行为疗法与习惯逆转疗法的理念，通过可定制的桌宠形象与互动模式，实现精准的实时手势识别与个性化情绪反馈。本文将详细介绍设计理念、所用软硬件技术、工作流程，以及设计过程中的关键决策和挑战。

请手动修复Bug

林尤翔

 

左右滑动查看

设计说明

在人成长的过程中，难免会遇到学业和工作等事项带来的精神压力，而合理释放它们带来的压力是保障心理健康的重要举措。通过电子媒介实现压力舒缓是一种常见的方式，这种方式可能是缓和式的，如通过令人舒缓的音乐和影像来让人回归平静；但同样地也有宣泄式的，如通过模拟挤压、破坏、拉伸等行为，并通过行为所带来的视听反馈让用户实现心理上的释压。

本作品旨在通过非竞争性的游戏设计和试听反馈，通过宣泄式的破坏解压方式舒缓用户的压力。具体表现为创作一个解压小游戏，区别于传统的键鼠或触屏的交互方式，通过手势相关的交互，在具备一定趣味性的同时让用户通过游玩游戏获得解压体验。本作品选择了“程序出 Bug”这一在现实世界种令无数人压力徒增的主题作为游戏背景，希望能给予玩家在虚拟世界“扳回一城”的感觉。

展览现场

左右滑动查看

课程信息

课程：

数字媒体设计导论

时间：

2024秋季学期

课程指导教师：

吴洁 张屹南

课程助教：

邰易萱 罗瑾怡 朱思瑾

 

学生：

陈若妍 邓雨欣 贺然 金怡 林煜 刘一驰 王一宁 徐炜一 张佩韦 张雯淇 张梓萌 何一 林尤翔