Comparative K-Pop Choreography Analysis through Deep-Learning Pose Estimation across a Large Video Corpus

作者：

Peter Broadwell, Stanford University
Timothy R. Tangherlini, University of Calfornia, Berkeley

转载来源：Digital Humanities Quarterly, 2021, Volume 15 Number1，http://www.digitalhumanities.org/dhq/vol/15/1/000506/000506.html 

最近出现的基于深度学习的姿态检测方法，可以从视频帧中可靠地检测人体/肢体位置，以及在线大量数字视频语料库，让数字人文研究人员能够对动作进行“远距离观察”分析，特别是对全身编舞进行比以前更大规模的分析。这些发展使得创新性、启示性的数字文化分析工作有可能跨越许多来源，从历史镜头到当代图像。他们也非常适合为研究韩国流行音乐编舞提供新颖的见解。作为一种特定的非文本形式，K-pop舞蹈表演，尤其是企业和政府赞助的“偶像”团体的表演，是K-pop向国际领域投射“软实力”这一核心使命的关键组成部分。这一策略的一个相关后果是，从20世纪90年代开始，许多K-pop音乐视频就可以在网络视频库中获得，包括越来越多的官方“舞蹈练习”视频、粉丝贡献的舞蹈封面视频和现场表演的超级剪辑⁠。后一段视频是一代又一代精通技术的粉丝在社交媒体平台上在线传播“韩流”的直接结果。

在本文中，我们描述了将基于深度学习的摆位检测应用于一个大型K-pop音乐视频语料库的过程中所做的考虑和选择，并介绍了我们开发的分析方法，同时聚焦于一个较小的舞蹈练习视频子集。这些努力的指导原则是采用技术来描述、分类和比较视频内和之间的姿势，并分析各种性质的动作作为时间序列数据，这将适用于多种类型的动作编排，而不是特定于K-pop舞蹈。最后，我们通过案例研究展示了我们的方法如何有助于开发K-pop姿势的排版和姿势序列(“动作”)，从而促进数据驱动研究K-pop和其他文化类型之间的相互依存关系。我们还展示了这项工作如何推进“远距离”分析舞蹈表演和更大的语料库的方法，考虑到这样的标准，如重复性和同步程度，以及更特殊的措施，如团体表演的“紧密性”。

作者简介：

Peter Broadwell 

Peter Broadwell is a Digital Scholarship Research Developer at the Stanford University Libraries’ Center for Interdisciplinary Digital Research, where his work applies machine learning, web-based visualization, and other methods of digital analysis to complex cultural data. Recent studies in which he has participated have involved automatic translation and indexing of folklore collections in multiple languages, as well as intermedia analysis of Japanese Noh theater performances.

Timothy R. Tangherlini 

Timothy R. Tangherlini is a Professor of Danish, and graduate advisor of the Folklore Program at the University of California, Berkeley. His work focuses on the application of computational models to the informal culture that circulates on and across social networks. He has co-produced two documentary films, Our Nation: A Korean Punk Rock Community, and Us & Them: Korean Indie Music in a K-pop World.