巨人网络 AI Lab 工作内容展示

主要工作成果

• 训练出轻量化、可实时推理的视频改口型模型，相比原版wav2lip有以下改进：
  • 输出分辨率从96增大到256
  • 增加full face和face component的VGG loss训练损失项
  • 增加嘴巴区域的GAN loss
  • 将全脸的GAN loss的discriminator替换成multi-scale
• 推理加速与降本
  • 使用tensorRT推理框架部署，显存从3.75GB降到1.58GB，推理耗时从每帧15毫秒降低到11毫秒
  • 多线程并行处理，后处理耗时降低到原来的53%
• 基于WebSocket和Agora RTC搭建了算法服务端架构
• 设计基于VAD的即时开麦机制，优化端到端延迟
• 调研了视频插帧、人像超分、co-speech相关算法，复现cyberhost的code attention。

主要工作成果

本人基于ComfyUI内核和生态开发了多个API和功能，供后端调用，包括但不限于：

主要工作成果

• 从0到1搭建基于大语言模型的开运壁纸推荐系统
  • 通过 LLM 提取用户每日运势文本里的预定义标签
  • 结合 Redis与 MySQL，从壁纸库中检索出匹配的壁纸，且7天内不重复推荐
• 基于wan2.1视频生成模型开发了动态壁纸生成功能

主要工作成果

• 面部驱动算法研发：
  • 基于LivePortrait进行深度二次研发和算法优化，添加了很多新特性和解决了落地场景遇到的各种bad/corner case
  • 支持多人脸驱动，并解决了多个人脸比较近时互相干扰的问题
  • 优化表情歪的问题
  • 自适应裁剪提升输出分辨率
  • 训练了宠物脸检测模型
  • 重新训练宠物脸驱动模型，解决宠物耳朵消失问题
• ComfyUI自定义节点开发，接入了各大厂商的API
• 针对唱歌对口型任务，重新设计和训练了一版lip-sync模型
• 基于 FastAPI 和 RocketMQ 搭建上述算法的算法服务端，异步架构，支持生产级高并发请求