国人研发团队提出文本驱动3D角色生成、电影⾳效制作中的脚步点检测入围国际CG盛会

上周五的年末直播中，咱们回顾了泛CG线上技术分享会2023年对行业产出了哪些有价值的内容，也与粉丝小伙伴们在线聊了聊大家的2023年概况和一些新技术的创作尝试。

点击查看直播回放▲

在直播过程中大家积极踊跃的分享了自己在这一年中新工具的探索使用与体验反馈，气氛热烈。这也正是泛CG线上技术交流会的主旨——Renderbus瑞云渲染一直在致力于为CG爱好者们提供一个自由交流的平台。

其实在国际上，也有属于CG人的重量级盛会——SIGGRAPH

各大软硬件厂商都会选择在大会上宣布产品更新的一些重要信息。除此之外，艺术家们年度最杰出的艺术作品会做展映。作为代表计算机图形学最高水平的国际性重量级CG盛会，SIGGRAPH一直以来都让无数计算机图形图像爱好者趋之若鹜。

2023年8月6日至10日，第50届SIGGRAPH展会在洛杉矶盛大举行，12月12日至15日，第16届SIGGRAPH ASIA在澳大利亚悉尼举行。瑞云作为 SIGGRAPH 和SIGGRAPH ASIA 的长期合作伙伴，也携自家国外渲染品牌Fox Renderfarm出席了活动。

海内外各领域研究人员们在SIGGRAPH和SIGGRAPH ASIA会议上为大家展示丰富的研究成果，小瑞为大家摘录部分国人研发团队的前沿技术如下

NeRF基于线稿生成逼真三维人脸，细节风格随意改

中国科学院研究员、博士生导师，中国科学院大学岗位教授高林团队提出了基于线稿的三维人脸神经辐射场生成和编辑方法 SketchFaceNeRF。使用该系统，即使用户不会使用复杂的三维软件，也可以基于线稿自由创作三维人脸。

使用线稿生成高真实感的三维人脸，图源网络▲

进一步，在给定三维人脸后，用户在任意角度添加编辑操作：

使用线稿在任意视角编辑三维人脸，图源网络▲

实时风格化人体角色间补动画生成

腾讯游戏学堂联动天美J1&F1工作室和浙江大学一起进行技术攻关，提出一种在运动生成中结合风格和可控性的新方法。如下图像展示了一种间补结果，橙色人体为关键帧，蓝色为生成结果。我们按照一定间隔截取生成帧，所以密集的区域代表人体运动慢，稀疏区域代表运动更快，在全程都能保持高抬腿的风格。

图源网络▲

3D角色生成高保真动画，真实再现逼真颈部运动

由上海科技大学与影眸科技、华中科技大学联合提出的HACK是一个用于构建数字人头部和颈部区域的新颖参数化模型，可以精确捕捉到人头部和颈部的内外部结构(包括喉部和脊椎的各节骨)，可以提供符合个人特点和解剖学上一致的控制参数，模拟出更加逼真且贴合实际的头颈动作。

图源网络▲

文本生成可驱动3D超写实数字人

影眸科技与上海科技大学的研发团队提出了一种文本指导的渐进式3D生成框架。该框架引入符合CG制作标准的外部数据集(包含几何和PBR材质)，可以根据文本直接生成符合该标准的3D资产，是首个支持Production-Ready 3D资产生成的框架。DreamFace主要包括三个模块，几何体生成，基于物理的材质扩散和动画能力生成。

图源网络▲

图源网络▲

此外，DreamFace支持使用提示和草图进行纹理编辑，实现全局编辑效果(如老化、化妆)和局部编辑效果(如纹身、胡须、胎记)。

电影音效制作中的脚步点检测北京电影学院影视技术系师生论文入选SIGGRAPH ASIA 2023，提出了一种具有良好泛化性和高精度的脚步检测方法，在此基础上设计了用于电影声音制作的脚步检测系统，具有高准确性、⾼泛化性和高效率性的特点，且对演员十分友好。(www.bfa.edu.cn/jishu/info/1003/1319.htm)

详细完整版会议内容见网站：s2023.siggraph.org

在“ 泛CG 聚未来 ” 第五届实用技术线上分享会第67期线上直播分享会中，瑞云渲染特邀国内首次入围SIGGRAPH 2023 Real-time Live这个备受瞩目重磅环节的国人团队：影眸科技联合创始人&CTO 张启煊老师 和 论文入选SIGGRAPH ASIA 2023大会的高校研究团队代表：北京电影学院中国电影高新技术研究院硕士 陈俊良老师 两位嘉宾老师做客直播间，为大家介绍国人研发团队的新技术分享以及展会上的有趣见闻!

嘉宾介绍

张启煊

影眸科技联合创始人&CTO上海科技大学VDI中心研究生。

主要从事计算机图形学、计算摄影与3D生成式AI等方面研究，数项科研成果被SIGGRAPH/GDC/CVPR等国际顶级学术会议接收，并被成功应用于数十个影视、游戏项目中。

陈俊良

北京电影学院中国电影高新技术研究院硕士

北京电影学院中国电影高新技术研究院硕士，本科毕业于北京电影学院影视技术系。北京上添影视传媒有限公司TD，参与过的电影项目有《流浪地球2》、《长安三万里》、《独行月球》等。一篇论文被本届SIGGRAPH ASIA 2023会议接收。

直播主题

国际CG盛会的国人研发团队新技术分享

1：影眸在内容生成/数字人/3D生成方面的探索

2：电影音效制作中的脚步点检测

3：SIGGRAPH与SIGGRAPH ASIA 2023有趣见闻

直播时间

2024年1月4日

周四晚 20:00-22:00

Renderbus瑞云渲染B站直播

http://live.bilibili.com/21902293