惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

C
Cisco Blogs
爱范儿
爱范儿
有赞技术团队
有赞技术团队
博客园 - 【当耐特】
Jina AI
Jina AI
Project Zero
Project Zero
宝玉的分享
宝玉的分享
Martin Fowler
Martin Fowler
WordPress大学
WordPress大学
Simon Willison's Weblog
Simon Willison's Weblog
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
T
Tenable Blog
F
Fortinet All Blogs
大猫的无限游戏
大猫的无限游戏
Last Week in AI
Last Week in AI
月光博客
月光博客
雷峰网
雷峰网
G
Google Developers Blog
V
V2EX
T
Tor Project blog
罗磊的独立博客
Schneier on Security
Schneier on Security
Know Your Adversary
Know Your Adversary
W
WeLiveSecurity
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
P
Privacy International News Feed
S
Securelist
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
P
Proofpoint News Feed
Blog — PlanetScale
Blog — PlanetScale
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
小众软件
小众软件
Scott Helme
Scott Helme
I
Intezer
T
Threat Research - Cisco Blogs
The GitHub Blog
The GitHub Blog
N
Netflix TechBlog - Medium
C
CERT Recently Published Vulnerability Notes
Security Archives - TechRepublic
Security Archives - TechRepublic
酷 壳 – CoolShell
酷 壳 – CoolShell
L
LINUX DO - 最新话题
N
News | PayPal Newsroom
L
Lohrmann on Cybersecurity
T
Troy Hunt's Blog
Google DeepMind News
Google DeepMind News
P
Proofpoint News Feed
人人都是产品经理
人人都是产品经理
Latest news
Latest news
AWS News Blog
AWS News Blog
Apple Machine Learning Research
Apple Machine Learning Research

音视频开发进阶

音视频教程-第三节 音视频教程-第二节 真的,AI 可能就是新时代的信息差 充值 Cursor 之后,工作有了哪些变化?🤔 个人'蒸馏'大模型能做哪些有意思的事情 DeepSeek 大模型在 Mac 上的部署和运行 音视频教程-第一节 【WebRTC 专栏】-- Android 开发集成 WebRTC 库的几种方式 【WebRTC 专栏】-- 在 Mac M1 等系列芯片编译和开发 WebRTC-Android 库 Meta Llama3 大模型在 Mac 上的部署和运行 iOS VideoToolBox 解码 HEVC Open-GOP 视频的问题排查 Flutter 状态管理之 InheritedWidget 使用和分析 用 ChatGPT 回答技术问题怎么样 ? 音视频开发系统入门大致路线 UE 4.27 添加自定义 ShadingModel 用 UE4 虚幻引擎做个捏脸小功能~~ UE4 材质练习 之 凹凸贴图偏移的使用 UE4 材质练习系列基础 OpenGL上下文创建以及共享机制 007 | 播放器系列专栏-解析 MP4 文件读取信息 006 | 播放器系列专栏-在 Mac 上查看 MP4 格式信息 干货 | 快速抽取缩略图是怎么练成的? 关于直播、WebRTC、FFmpeg 的那些事 005 | 播放器系列专栏-在 Windows 上查看 MP4 格式信息 将音视频中的花屏、绿屏、黑屏问题一网打尽 关于音视频里面的解码帧率和渲染帧率 004 | 播放器系列专栏-认识MP4视频(下) 003 | 播放器系列专栏-认识MP4视频(上) 入门或者转行音视频,应该要怎么做? H264视频文件如何缩放分辨率 002 | 播放器系列专栏-FFmpeg依赖库的配置 001 | 播放器系列专栏-关于播放器项目的一个小实践 Seek策略以及在有B帧情况下的处理 目前流媒体开发工程师工作内容主要是什么? 一个音视频领域专业问答的小圈子 干货收藏 || Vulkan Game Engine 视频教程 音视频春节假期内卷指南(实操) Vulkan 在 FFmpeg 中的支持 Windows 下 FFmpeg 和 LibX264 的编译和配置 Metal 开发 | 使用 C++ 进行接口调用 音视频开发工作经验分享 || 视频版 FFmpeg 调用 MediaCodec 硬解码到 Surface 上 代码吸猫 | 用 OpenGL 图像渲染的养猫计划 百倍变速--解码到底能不能丢 非参考帧 ?FFmpeg 有话说!!! 老生常谈-FFmpeg 的编译问题轻松搞定 FFmpeg 调用 Android MediaCodec 进行硬解码(附源码) 【WebRTC 专栏】--创建相机预览 Unity Shader 光照基础之 Half Lambert 光照模型 Unity Shader 光照基础之Lambert光照模型 Unity Shader 光照基础内容 Unity Shader 显示一张图片纹理 UnityShader 的基本概念 Unity 物体的基本操作 C++ 模板系列小结07-尾置返回类型 C++ 模板系列小结06-可变参数模板特性 C++ 中的多线程的使用和线程池建设 C++ 模板系列小结05-模板类型作为模板参数 C++ 模板系列小结04-类模板中的成员模板 C++ 模板系列小结03-在模板中指定变量类型 C++ 模板系列小结02-非类型模板参数 C++ 模板系列小结01-函数模板和类模板 从零打造渲染引擎系列01-什么是渲染引擎 iOS开发 - 在 Swift 中去调用 C/C++ 代码 2021 技术新番 - 从零打造渲染引擎系列 iOS 音视频开发的一些基础准备工作 音视频交流群又来啦~~~ 【WebRTC 专栏】WebRTC & Android 开发学习环境搭建~ 【喜大普奔】域名终于备案通过啦 Shader 优化 | OpenGL 绘制网格效果 【音视频连载-011】第二季 FFmpeg 一层一层获取文件信息 KodeLife | Shader 实时编辑预览的强大工具使用实践 推荐几个堪称教科书级别的 Android 音视频入门项目 【音视频连载-010】第二季 FFmpeg 日志打印 【音视频连载-008】基础学习篇-SDL 播放 PCM 音频文件(下) 【音视频连载-007】基础学习篇-SDL 播放 PCM 音频文件(上) 【音视频连载-006】基础学习篇-SDL 播放 YUV 视频文件 【音视频连载-005】基础学习篇-SDL 加载 YUV 文件并显示 【音视频连载-004】基础学习篇-SDL 加载图片并显示 【音视频连载-003】基础学习篇-SDL 消息循环和事件响应 【音视频连载-002】基础学习篇-SDL 创建窗口并显示颜色 【音视频连载-001】基础学习篇- SDL 介绍以及工程配置 LearnOpenGL 源码在 MAC 上的编译与调试 2019 年终总结与回顾 Android NDK 开发的免费技术视频来啦~~ OpenGL 实现视频编辑中的转场效果 OpenGL 实践之贝塞尔曲线绘制 图像库 libjpeg-turbo 编译与实践 图像库 libpng 编译与实践 rust 开发编译 Android 动态库实践 Android NDK 开发 —— 从 Assets 文件夹加载图片并上传纹理 简单易用的图像解码库介绍 —— stb_image 博客图床迁移记 进击的 Vulkan 移动开发之 SwapChain 进击的 Vulkan 移动开发之 Command Buffer 进击的 Vulkan 移动开发之 Instance & Device & Queue 进击的 Vulkan 移动开发(一)之今生前世 Java 显式锁 Lock 与条件队列 C++ 标准容器库小结 一文读懂 YUV 的采样与格式 《OpenGL ES 3.x 游戏开发》碰撞检测之 AABB 包围盒
《OpenGL ES 3.x 游戏开发》光照系列之镜面光
音视频开发进阶 · 2018-07-23 · via 音视频开发进阶

一个专注音视频领域的小圈子

在前面的文章中介绍了 OpenGL 的环境光散射光,现在就是最后一个镜面光了。

还是先理解一下什么是镜面光:

就如同使用我们使用镜子反射太阳光一样,在现实世界中,当光滑表面被照射时会有方向很集中的反射光,这就是镜面光。

与散射光最终强度仅依赖于入射光和被照射点法向量的夹角不同,镜面光的最终强度还依赖于观察者的位置,也就是说,如果从摄像机到被照射点的向量不在反射光方向集中的范围内,观察者将不会看到镜面光,就如上图所示。

接下来就是镜面光的照射计算公式:

镜面光照射结果 =

$材质的反射系数 * 镜面光强度 * max(0,(cos(半向量与法向量的夹角)^{粗糙度}$)

在实际开发中,镜面光照射结果分为两步进行:

镜面光最终强度 =

$镜面光强度 * max(0,(cos(半向量与法向量的夹角)^{粗糙度}$)

镜面光照射结果 = 材质反射系数 * 镜面光最终强度

其中:材质的反射系数实际指的就是物体被照射处的颜色,镜面光强度指的是镜面光中 RGB(红、绿、蓝)3 个色彩通道的强度。

与计算散射光公式不同的是,计算余弦值时对应的角不再是入射角,而是半向量和法向量的夹角。其中,半向量指的是从被照射点到光源的向量与从被照射点到观察点向量的平均向量。

半向量的图示如下:

其中,V 表示从被照射点到观察点的向量,N 为被照射点表面法向量,H 为半向量,L 为从被照射点到光源的向量。

可以看到,向量 V 和向量 L 有共同交点 P ,所以它们在同一平面,而向量 H 是向量 V 和向量 L 的平均向量,所以向量 H 、V、L 共面,并且向量 H 和向量 V、L 的夹角相等。

因此计算向量 H ,首先需要将向量 V 和向量 L 归一化,然后将归一化的向量 V 和 L 求和并再次归一化即可得到向量 H 。

有了半向量 H 之后,计算其和法向量的余弦值就和在镜面光中提到的一样,进行点积就好了。

除此之外,还有一个要考虑的就是物体的粗糙程度,物体越粗糙,镜面光面积越小,反之镜面光面积越大,这也挺符合现实世界的,毛毯的反射光肯定没有玻璃的反射光大。

实践

加入镜面光对程序的影响主要还是在着色器代码上。

对于片段着色器,依旧变化不大,主要的计算工作在顶点着色器,顶点着色器计算完最后镜面光照射强度之后,直接传递给片段着色器就好了。

#version 300 es
precision mediump float;
uniform float uR;
in vec3 vPosition;//接收从顶点着色器过来的顶点位置
in vec4 vDiffuse;//接收从顶点着色器过来的镜面光最终强度
out vec4 fragColor;
void main()
{
   // 省略一些代码
   //最终颜色
   vec4 finalColor=vec4(color,0);
   //根据镜面光最终强度计算片元的最终颜色值
   fragColor=finalColor*vDiffuse;
}

重点依旧是顶点着色器:

#version 300 es
uniform mat4 uMVPMatrix; 	//总变换矩阵
uniform mat4 uMMatrix; 		//变换矩阵
uniform vec3 uLightLocation;	//光源位置
uniform vec3 uCamera;		//摄像机位置
in vec3 aPosition;  	//顶点位置
in vec3 aNormal;   	//法向量
out vec3 vPosition;		//用于传递给片元着色器的顶点位置
out vec4 vSpecular;		//用于传递给片元着色器的镜面光最终强度

void pointLight(				//定位光光照计算的方法
  in vec3 normal,			//法向量
  inout vec4 specular,		//镜面光最终强度
  in vec3 lightLocation,		//光源位置
  in vec4 lightSpecular		//镜面光强度
){
  vec3 normalTarget=aPosition+normal; 	//计算变换后的法向量
  vec3 newNormal=(uMMatrix*vec4(normalTarget,1)).xyz-(uMMatrix*vec4(aPosition,1)).xyz;
  newNormal=normalize(newNormal);  	//对法向量归一化
  //计算从表面点到摄像机的向量
  vec3 eye= normalize(uCamera-(uMMatrix*vec4(aPosition,1)).xyz);
  //计算从表面点到光源位置的向量vp
  vec3 vp= normalize(lightLocation-(uMMatrix*vec4(aPosition,1)).xyz);
  vp=normalize(vp);//格式化vp
  vec3 halfVector=normalize(vp+eye);	//求视线与光线的半向量
  // 物体表面的光滑度,自己拟定为 50.0
  float shininess=50.0;				//粗糙度,越小越光滑

  float nDotViewHalfVector=dot(newNormal,halfVector);			//法线与半向量的点积
  float powerFactor=max(0.0,pow(nDotViewHalfVector,shininess)); 	//镜面反射光强度因子

  specular=lightSpecular*powerFactor;    //最终的镜面光强度
}

void main()  {
   gl_Position = uMVPMatrix * vec4(aPosition,1); //根据总变换矩阵计算此次绘制此顶点的位置
   vec4 specularTemp=vec4(0.0,0.0,0.0,0.0);
   pointLight(normalize(aNormal), specularTemp, uLightLocation, vec4(0.7,0.7,0.7,1.0));//计算镜面光
   vSpecular=specularTemp;	//将最终镜面光强度传给片元着色器
   vPosition = aPosition; 		//将顶点的位置传给片元着色器
}

在散射光,我们需要传递光源的位置,而在镜面光中,不仅仅是光源的位置,还需要把相机的位置传递给着色器代码用于计算。

在顶点着色器代码中,还是定义了一个函数 pointLight 用于计算镜面光照射强度。

由于法向量的基于物体模型空间定义的,首先还是要将法向量转换到世界模型空间中。

  vec3 normalTarget=aPosition+normal; 	//计算变换后的法向量
  vec3 newNormal=(uMMatrix*vec4(normalTarget,1)).xyz-(uMMatrix*vec4(aPosition,1)).xyz;

其次将法向量归一化,然后计算物体表面的点到观察点相机的向量、计算物体表面的点到光源位置的向量,并将这两个向量也进行归一化。

  newNormal=normalize(newNormal);  	//对法向量归一化
  //计算从表面点到摄像机的向量
  vec3 eye= normalize(uCamera-(uMMatrix*vec4(aPosition,1)).xyz);
  //计算从表面点到光源位置的向量vp
  vec3 vp= normalize(lightLocation-(uMMatrix*vec4(aPosition,1)).xyz);
  vp=normalize(vp);//归一化vp

得到这三个向量归一化之后的向量,相对于就是在为接下来的计算做准备了。

首先是得到半向量,并将它归一化,接着就是求半向量和法向量的点积,得到余弦值。

  vec3 halfVector=normalize(vp+eye);	//求视线与光线的半向量
  float nDotViewHalfVector=dot(newNormal,halfVector);			//法线与半向量的点积

然后就是计算余弦值与物体表面粗糙因子的平方,并和 0 进行比较,若小于 0,则为 0 ,最后得到的是镜面反射光强度因子。

  // 物体表面的光滑度,自己拟定为 50.0
  float shininess=50.0;				//粗糙度,越小越光滑
  float powerFactor=max(0.0,pow(nDotViewHalfVector,shininess)); 	//镜面反射光强度因子

将反射光强度因子和镜面光强度相乘,得到最终的镜面光强度,这个强度就是用来传递给片段着色器的最终镜面光强度。

使用效果如下:

镜面光使用

如果我们改变自己拟定的物体粗糙度,粗糙度越大,会使得镜面光面积越小,粗糙度越小,会使得镜面光面积越大。

同时,拖动滑块,改变光源的位置,也会影响镜面光反射的地方,镜面光也受光源的影响。

具体的示例代码可以参考我的 Github 项目,求一波 Star 。

https://github.com/glumes/AndroidOpenGLTutorial

参考

  1. 《OpenGL ES 3.x 游戏开发》

原创文章,转载请注明来源:    《OpenGL ES 3.x 游戏开发》光照系列之镜面光