惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

The Last Watchdog
The Last Watchdog
博客园_首页
Martin Fowler
Martin Fowler
S
SegmentFault 最新的问题
美团技术团队
小众软件
小众软件
V
V2EX
博客园 - Franky
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
The GitHub Blog
The GitHub Blog
Microsoft Security Blog
Microsoft Security Blog
Attack and Defense Labs
Attack and Defense Labs
S
Security Affairs
Simon Willison's Weblog
Simon Willison's Weblog
I
Intezer
T
The Exploit Database - CXSecurity.com
有赞技术团队
有赞技术团队
S
Schneier on Security
人人都是产品经理
人人都是产品经理
Security Archives - TechRepublic
Security Archives - TechRepublic
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
K
Kaspersky official blog
PCI Perspectives
PCI Perspectives
AI
AI
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
罗磊的独立博客
O
OpenAI News
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
The Register - Security
The Register - Security
V
Vulnerabilities – Threatpost
GbyAI
GbyAI
博客园 - 【当耐特】
C
Cisco Blogs
大猫的无限游戏
大猫的无限游戏
Help Net Security
Help Net Security
Google DeepMind News
Google DeepMind News
S
Securelist
Application and Cybersecurity Blog
Application and Cybersecurity Blog
P
Proofpoint News Feed
博客园 - 三生石上(FineUI控件)
雷峰网
雷峰网
L
LangChain Blog
SecWiki News
SecWiki News
博客园 - 叶小钗
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
V2EX - 技术
V2EX - 技术
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
J
Java Code Geeks
L
LINUX DO - 热门话题
Cisco Talos Blog
Cisco Talos Blog

音视频开发进阶

音视频教程-第三节 音视频教程-第二节 真的,AI 可能就是新时代的信息差 充值 Cursor 之后,工作有了哪些变化?🤔 个人'蒸馏'大模型能做哪些有意思的事情 DeepSeek 大模型在 Mac 上的部署和运行 音视频教程-第一节 【WebRTC 专栏】-- Android 开发集成 WebRTC 库的几种方式 【WebRTC 专栏】-- 在 Mac M1 等系列芯片编译和开发 WebRTC-Android 库 Meta Llama3 大模型在 Mac 上的部署和运行 iOS VideoToolBox 解码 HEVC Open-GOP 视频的问题排查 Flutter 状态管理之 InheritedWidget 使用和分析 用 ChatGPT 回答技术问题怎么样 ? 音视频开发系统入门大致路线 用 UE4 虚幻引擎做个捏脸小功能~~ UE4 材质练习 之 凹凸贴图偏移的使用 UE4 材质练习系列基础 OpenGL上下文创建以及共享机制 007 | 播放器系列专栏-解析 MP4 文件读取信息 006 | 播放器系列专栏-在 Mac 上查看 MP4 格式信息 干货 | 快速抽取缩略图是怎么练成的? 关于直播、WebRTC、FFmpeg 的那些事 005 | 播放器系列专栏-在 Windows 上查看 MP4 格式信息 将音视频中的花屏、绿屏、黑屏问题一网打尽 关于音视频里面的解码帧率和渲染帧率 004 | 播放器系列专栏-认识MP4视频(下) 003 | 播放器系列专栏-认识MP4视频(上) 入门或者转行音视频,应该要怎么做? H264视频文件如何缩放分辨率 002 | 播放器系列专栏-FFmpeg依赖库的配置 001 | 播放器系列专栏-关于播放器项目的一个小实践 Seek策略以及在有B帧情况下的处理 目前流媒体开发工程师工作内容主要是什么? 一个音视频领域专业问答的小圈子 干货收藏 || Vulkan Game Engine 视频教程 音视频春节假期内卷指南(实操) Vulkan 在 FFmpeg 中的支持 Windows 下 FFmpeg 和 LibX264 的编译和配置 Metal 开发 | 使用 C++ 进行接口调用 音视频开发工作经验分享 || 视频版 FFmpeg 调用 MediaCodec 硬解码到 Surface 上 代码吸猫 | 用 OpenGL 图像渲染的养猫计划 百倍变速--解码到底能不能丢 非参考帧 ?FFmpeg 有话说!!! 老生常谈-FFmpeg 的编译问题轻松搞定 FFmpeg 调用 Android MediaCodec 进行硬解码(附源码) 【WebRTC 专栏】--创建相机预览 Unity Shader 光照基础之 Half Lambert 光照模型 Unity Shader 光照基础之Lambert光照模型 Unity Shader 光照基础内容 Unity Shader 显示一张图片纹理 UnityShader 的基本概念 Unity 物体的基本操作 C++ 模板系列小结07-尾置返回类型 C++ 模板系列小结06-可变参数模板特性 C++ 中的多线程的使用和线程池建设 C++ 模板系列小结05-模板类型作为模板参数 C++ 模板系列小结04-类模板中的成员模板 C++ 模板系列小结03-在模板中指定变量类型 C++ 模板系列小结02-非类型模板参数 C++ 模板系列小结01-函数模板和类模板 从零打造渲染引擎系列01-什么是渲染引擎 iOS开发 - 在 Swift 中去调用 C/C++ 代码 2021 技术新番 - 从零打造渲染引擎系列 iOS 音视频开发的一些基础准备工作 音视频交流群又来啦~~~ 【WebRTC 专栏】WebRTC & Android 开发学习环境搭建~ 【喜大普奔】域名终于备案通过啦 Shader 优化 | OpenGL 绘制网格效果 【音视频连载-011】第二季 FFmpeg 一层一层获取文件信息 KodeLife | Shader 实时编辑预览的强大工具使用实践 推荐几个堪称教科书级别的 Android 音视频入门项目 【音视频连载-010】第二季 FFmpeg 日志打印 【音视频连载-008】基础学习篇-SDL 播放 PCM 音频文件(下) 【音视频连载-007】基础学习篇-SDL 播放 PCM 音频文件(上) 【音视频连载-006】基础学习篇-SDL 播放 YUV 视频文件 【音视频连载-005】基础学习篇-SDL 加载 YUV 文件并显示 【音视频连载-004】基础学习篇-SDL 加载图片并显示 【音视频连载-003】基础学习篇-SDL 消息循环和事件响应 【音视频连载-002】基础学习篇-SDL 创建窗口并显示颜色 【音视频连载-001】基础学习篇- SDL 介绍以及工程配置 LearnOpenGL 源码在 MAC 上的编译与调试 2019 年终总结与回顾 Android NDK 开发的免费技术视频来啦~~ OpenGL 实现视频编辑中的转场效果 OpenGL 实践之贝塞尔曲线绘制 图像库 libjpeg-turbo 编译与实践 图像库 libpng 编译与实践 rust 开发编译 Android 动态库实践 Android NDK 开发 —— 从 Assets 文件夹加载图片并上传纹理 简单易用的图像解码库介绍 —— stb_image 博客图床迁移记 进击的 Vulkan 移动开发之 SwapChain 进击的 Vulkan 移动开发之 Command Buffer 进击的 Vulkan 移动开发之 Instance & Device & Queue 进击的 Vulkan 移动开发(一)之今生前世 Java 显式锁 Lock 与条件队列 C++ 标准容器库小结 MediaCodec 硬编码之相机内容编码成 H264 文件 一文读懂 YUV 的采样与格式 《OpenGL ES 3.x 游戏开发》碰撞检测之 AABB 包围盒
UE 4.27 添加自定义 ShadingModel
音视频开发进阶 · 2022-12-27 · via 音视频开发进阶

一个专注音视频领域的小圈子

基于 UE 4.27 的版本添加自定义的 ShadingModel ,大致分为两步: 1. 在 UE Editor 中添加自定义的 ShadingModel 入口。这样在创建材质时可以选择对应的 ShadingModel 。 2. 在 Shader 中对自定义的 ShadingModel 做渲染上的处理。比如自定义的 BxDF 函数,以及对光照的特殊处理等。

Editor 中添加 ShadingModel 入口

定义 ShadingModel 宏

首先是找到 EngineTypes.h 文件,在这里添加自定义 ShadingModel 对应的宏。

同时要注意下面红框中的内容,提示 ShadingModel 数量要小于等于 16 个,这样一来留给我们拓展的数量就有限了。

通过全局搜索,可以找到 ShadingModel 对应的宏都在哪里被引用了,比如 MSM_ThinTranslucent 的搜索结果:

照着这个引用方式进行处理就可以。

材质添加自定义数据

接下来为自定义的 ShadingModel 添加额外的自定义数据,会在创建材质时多出额外的连接节点。

找到 Material.cpp 文件 IsPropertyActive_Internal 的函数,添加如下代码:

在 MP_CustomData1 和 MP_CustomData0 中添加自定义 ShadingModel 的宏。

同时在 MaterialShared.cpp 文件的 GetAttributeOverrideForMaterial 函数中添加如下代码:

这一步是为自定义的数据添加相关的描述,添加好了之后编译引擎会得到如下效果。

ShadingModel 中有了我们定义的宏,连接节点中有了我们自定义的数据。

定义材质中的宏

添加了自定义 ShadingModel 的宏之外,还需要添加一个材质的宏,可以在材质中进行对该 ShadingModel 进行判断处理。

找到 HLSLMaterialTranslator.cpp 文件中的 GetMaterialEnvironment 函数,添加如下代码:

添加 ShadingModelID

除了 Editor 中添加自定义 ShadingModel 的宏之外,还需要添加 ShadingModelID ,在后续的 Shader 中更多的是用这个宏来做判断,找到 ShadingCommmon.ush 文件,添加如下代码:

定义 ShadingModel 的调试显示颜色

在 ShadingCommon.ush 文件中还可以定义 ShadingModel 调试时的显示颜色,在 GetShadingModelColor 函数中,添加如下代码:

默认的 DEFAULT_LIT 调试颜色是绿色,上面定义的是黄色,效果如下:

自定义数据写入 GBuffer

要是 ShadingModel 中添加了自定义数据节点,要把它添加到 GBuffer 上,需要开启对应的选项才行,在 BassPassCommon.ush 文件中,添加如下代码:

WRITES_CUSTOMDATA_TO_GBUFFER 宏定义中添加预先定义好的数据。

除此之外,在 DeferredShadingModel.ush 文件的 HasCustomGBufferData 函数中增加自定义的 ShadingModelID 。

HasCustomGBufferData 函数是在解码 GBuffer 数据时根据 ShadingModelID 判断该 GBuffer 上有没有自定义的数据内容。

接下来就是往 GBuffer 中写入自定义数据,在 ShadingModelsMaterial.ush 文件的 SetGBufferForShadingModel 函数中添加如下代码:

该代码会先判断材质中有没有定义相应的宏,其次是判断 ShadingModelID 对不对,所以这两个宏都是必须要定义的。

通过 GetMaterialCustomData0 函数去获取蓝图连接点上的数据并且通过 saturate 函数将返回值限定在 0~1 之间,如果小于 0 就返回 0 ,如果大于 1 就返回 1 。

SetGBufferForShadingModel 函数会在 BasePassPixelShader.usf 中进行调用,写入 GBuffer 数据为延迟渲染使用。

自定义渲染效果 BxDF

接下来是最重要也最灵活多变的自定义渲染效果了,核心在于定义 BxDF 函数。

在 DeferredLightPixelShaders.usf 文件中的如下代码:

FRectTexture RectTexture = InitRectTexture(DeferredLightUniforms.SourceTexture);
float SurfaceShadow = 1.0f;

const float4 Radiance = GetDynamicLighting(WorldPosition, CameraVector, HairScreenSpaceData.GBuffer, HairScreenSpaceData.AmbientOcclusion, HairScreenSpaceData.GBuffer.ShadingModelID, LightData, LightAttenuation, Dither, PixelCoord, RectTexture, SurfaceShadow);

const float  Attenuation = ComputeLightProfileMultiplier(WorldPosition, DeferredLightUniforms.Position, -DeferredLightUniforms.Direction, DeferredLightUniforms.Tangent);

GeyDynamicLighting 函数中的 GetDynamicLightingSplit 函数会调用 IntegrateBxDF 来计算各个 ShadingModelID 对应的 BxDF 函数。

这里作为对比,定义了一个简单的 BxDF 函数,将漫反射颜色设置为 0 。

FDirectLighting CustomBxDF(FGBufferData GBuffer, half3 N, half3 V, half3 L, float Falloff, float NoL, FAreaLight AreaLight, FShadowTerms Shadow )
{
	BxDFContext Context;
	
	Init(Context, N, V, L);
	SphereMaxNoH(Context, AreaLight.SphereSinAlpha, true);
	
	Context.NoV = saturate(abs( Context.NoV ) + 1e-5);

	FDirectLighting Lighting;
	// Lighting.Diffuse  = AreaLight.FalloffColor * (Falloff * NoL) * Diffuse_Lambert( GBuffer.DiffuseColor );
	Lighting.Diffuse  = 0;
	
	Lighting.Specular = AreaLight.FalloffColor * (Falloff * NoL) * SpecularGGX(GBuffer.Roughness, GBuffer.SpecularColor, Context, NoL, AreaLight);
	Lighting.Transmission = 0;
	return Lighting;
}

在只有 DirectionalLight 光照情况下的效果如下:

可以看到高光效果还是有的,缺少了漫反射效果,整个物体都偏黑了。

作为对比,把高光颜色设置为 0 ,正常使用漫反射颜色效果如下:

可以看到有正常的颜色,但是没有了高光效果。

更多效果都可以在 BxDF 函数中去定义了,作为添加自定义 ShadingModel 的流程基本就完成了。

原创文章,转载请注明来源:    UE 4.27 添加自定义 ShadingModel