惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
爱范儿
爱范儿
博客园 - 三生石上(FineUI控件)
Vercel News
Vercel News
M
MIT News - Artificial intelligence
L
LangChain Blog
大猫的无限游戏
大猫的无限游戏
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
Microsoft Azure Blog
Microsoft Azure Blog
J
Java Code Geeks
Recent Announcements
Recent Announcements
Stack Overflow Blog
Stack Overflow Blog
人人都是产品经理
人人都是产品经理
IT之家
IT之家
F
Fortinet All Blogs
博客园 - 聂微东
U
Unit 42
Martin Fowler
Martin Fowler
腾讯CDC
博客园_首页
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
量子位
阮一峰的网络日志
阮一峰的网络日志
博客园 - Franky

StudyingLover's Blog

Diffusion Policy笔记 rwkv笔记 act笔记 nanovllm-block_manager opencode多智能体 nanobot-pre-train nanobot-rl nanobot-sft nanobot-checkpoint_manager nanobot-gpt nanobot-mid-train Vision Mamba (Vim)笔记 BPE演示 最后一遍学习Transformer YOLOv5 目标检测笔记 下载根服务器解析记录 Dynaseal A Backend-Controlled LLM API Key Distribution Scheme with Constrained Invocation Parameters 判断链表有环 王道25数据结构勘误 关于perplexity的open-sourcing-r1-1776 AI为什么不像人类一样进行多轮对话 新博客改造日记和功能测试 linuxqq只显示登陆背景图 数字设计和计算机体系结构(机械工业出版社)勘误(自制) Dynaseal:面向未来端侧llm agent的llm api key分发机制 A Definitive Guide to Markdown Style This post is using MDX, Where you can embed JSX and Astro components RT-Patch学习 pydantic实现的LLM ReAct fastapi 和 uvicorn 设置监听 ipv6
Everybody Dance Now笔记
About the Author StudyingLover · 2023-03-12 · via StudyingLover's Blog

Everybody Dance Now

为了完成给定一个人跳舞的视频到另一个人的目标,文章作者将这个过程分成三部:pose detection, global pose normalization, and mapping from normalized pose stick figures to the target subject

pose detection

使用openpose对骨骼点进行标注(x,y)(x,y) image.png

global pose normalization

在不同的视频中,被拍摄的对象的肢体比例可能不同,或者站得离相机更近或更远。因此,在将两个对象之间的动作进行转换时,可能需要转换源人物的姿势关键点,使其符合目标人物的身体形状和位置,就像图3中的转换部分一样。作者通过分析每个人物的姿势高度和脚踝位置,并在两个视频中的最近和最远脚踝位置之间使用线性映射来找到这种转换。在收集这些位置之后,再根据每个帧的对应姿势检测计算其比例和平移。 原文图三

mapping from normalized pose stick figures to the target subject

  1. 训练一个可以从source生成target人物的pix2pix GAN image.png

  2. motion transfer 把source的舞蹈转移到目标人物身上 image.png

  3. 对人脸做特别的修正,使用了faceGAN image.png