惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

博客园 - 三生石上(FineUI控件)
SecWiki News
SecWiki News
P
Proofpoint News Feed
P
Palo Alto Networks Blog
L
LINUX DO - 热门话题
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
Spread Privacy
Spread Privacy
A
Arctic Wolf
Recorded Future
Recorded Future
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
博客园_首页
J
Java Code Geeks
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
D
DataBreaches.Net
量子位
K
Kaspersky official blog
I
InfoQ
W
WeLiveSecurity
Engineering at Meta
Engineering at Meta
Scott Helme
Scott Helme
U
Unit 42
Cyberwarzone
Cyberwarzone
L
Lohrmann on Cybersecurity
Cisco Talos Blog
Cisco Talos Blog
T
Troy Hunt's Blog
Stack Overflow Blog
Stack Overflow Blog
WordPress大学
WordPress大学
Jina AI
Jina AI
Recent Announcements
Recent Announcements
Exploit-DB.com RSS Feed
Exploit-DB.com RSS Feed
C
Cybersecurity and Infrastructure Security Agency CISA
H
Heimdal Security Blog
aimingoo的专栏
aimingoo的专栏
H
Help Net Security
Security Latest
Security Latest
B
Blog RSS Feed
Project Zero
Project Zero
C
Cisco Blogs
S
Securelist
V
Visual Studio Blog
Hugging Face - Blog
Hugging Face - Blog
G
GRAHAM CLULEY
N
Netflix TechBlog - Medium
T
Tor Project blog
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
GbyAI
GbyAI
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
F
Fortinet All Blogs

音视频开发进阶

音视频教程-第三节 音视频教程-第二节 真的,AI 可能就是新时代的信息差 充值 Cursor 之后,工作有了哪些变化?🤔 个人'蒸馏'大模型能做哪些有意思的事情 DeepSeek 大模型在 Mac 上的部署和运行 音视频教程-第一节 【WebRTC 专栏】-- Android 开发集成 WebRTC 库的几种方式 【WebRTC 专栏】-- 在 Mac M1 等系列芯片编译和开发 WebRTC-Android 库 Meta Llama3 大模型在 Mac 上的部署和运行 iOS VideoToolBox 解码 HEVC Open-GOP 视频的问题排查 Flutter 状态管理之 InheritedWidget 使用和分析 用 ChatGPT 回答技术问题怎么样 ? 音视频开发系统入门大致路线 UE 4.27 添加自定义 ShadingModel 用 UE4 虚幻引擎做个捏脸小功能~~ UE4 材质练习 之 凹凸贴图偏移的使用 UE4 材质练习系列基础 OpenGL上下文创建以及共享机制 007 | 播放器系列专栏-解析 MP4 文件读取信息 006 | 播放器系列专栏-在 Mac 上查看 MP4 格式信息 干货 | 快速抽取缩略图是怎么练成的? 关于直播、WebRTC、FFmpeg 的那些事 005 | 播放器系列专栏-在 Windows 上查看 MP4 格式信息 将音视频中的花屏、绿屏、黑屏问题一网打尽 关于音视频里面的解码帧率和渲染帧率 004 | 播放器系列专栏-认识MP4视频(下) 003 | 播放器系列专栏-认识MP4视频(上) 入门或者转行音视频,应该要怎么做? H264视频文件如何缩放分辨率 002 | 播放器系列专栏-FFmpeg依赖库的配置 001 | 播放器系列专栏-关于播放器项目的一个小实践 Seek策略以及在有B帧情况下的处理 目前流媒体开发工程师工作内容主要是什么? 一个音视频领域专业问答的小圈子 干货收藏 || Vulkan Game Engine 视频教程 音视频春节假期内卷指南(实操) Vulkan 在 FFmpeg 中的支持 Windows 下 FFmpeg 和 LibX264 的编译和配置 Metal 开发 | 使用 C++ 进行接口调用 音视频开发工作经验分享 || 视频版 FFmpeg 调用 MediaCodec 硬解码到 Surface 上 代码吸猫 | 用 OpenGL 图像渲染的养猫计划 百倍变速--解码到底能不能丢 非参考帧 ?FFmpeg 有话说!!! 老生常谈-FFmpeg 的编译问题轻松搞定 FFmpeg 调用 Android MediaCodec 进行硬解码(附源码) 【WebRTC 专栏】--创建相机预览 Unity Shader 光照基础之 Half Lambert 光照模型 Unity Shader 光照基础之Lambert光照模型 Unity Shader 光照基础内容 Unity Shader 显示一张图片纹理 UnityShader 的基本概念 Unity 物体的基本操作 C++ 模板系列小结07-尾置返回类型 C++ 模板系列小结06-可变参数模板特性 C++ 中的多线程的使用和线程池建设 C++ 模板系列小结05-模板类型作为模板参数 C++ 模板系列小结04-类模板中的成员模板 C++ 模板系列小结03-在模板中指定变量类型 C++ 模板系列小结02-非类型模板参数 C++ 模板系列小结01-函数模板和类模板 从零打造渲染引擎系列01-什么是渲染引擎 iOS开发 - 在 Swift 中去调用 C/C++ 代码 2021 技术新番 - 从零打造渲染引擎系列 iOS 音视频开发的一些基础准备工作 音视频交流群又来啦~~~ 【WebRTC 专栏】WebRTC & Android 开发学习环境搭建~ 【喜大普奔】域名终于备案通过啦 Shader 优化 | OpenGL 绘制网格效果 【音视频连载-011】第二季 FFmpeg 一层一层获取文件信息 KodeLife | Shader 实时编辑预览的强大工具使用实践 推荐几个堪称教科书级别的 Android 音视频入门项目 【音视频连载-010】第二季 FFmpeg 日志打印 【音视频连载-008】基础学习篇-SDL 播放 PCM 音频文件(下) 【音视频连载-007】基础学习篇-SDL 播放 PCM 音频文件(上) 【音视频连载-006】基础学习篇-SDL 播放 YUV 视频文件 【音视频连载-005】基础学习篇-SDL 加载 YUV 文件并显示 【音视频连载-004】基础学习篇-SDL 加载图片并显示 【音视频连载-003】基础学习篇-SDL 消息循环和事件响应 【音视频连载-002】基础学习篇-SDL 创建窗口并显示颜色 【音视频连载-001】基础学习篇- SDL 介绍以及工程配置 LearnOpenGL 源码在 MAC 上的编译与调试 2019 年终总结与回顾 Android NDK 开发的免费技术视频来啦~~ OpenGL 实现视频编辑中的转场效果 OpenGL 实践之贝塞尔曲线绘制 图像库 libjpeg-turbo 编译与实践 图像库 libpng 编译与实践 rust 开发编译 Android 动态库实践 Android NDK 开发 —— 从 Assets 文件夹加载图片并上传纹理 简单易用的图像解码库介绍 —— stb_image 博客图床迁移记 进击的 Vulkan 移动开发之 SwapChain 进击的 Vulkan 移动开发之 Command Buffer 进击的 Vulkan 移动开发之 Instance & Device & Queue 进击的 Vulkan 移动开发(一)之今生前世 Java 显式锁 Lock 与条件队列 C++ 标准容器库小结 一文读懂 YUV 的采样与格式 《OpenGL ES 3.x 游戏开发》碰撞检测之 AABB 包围盒
OpenGL ES 2.0 着色器语言 GLSL 学习 Mark
音视频开发进阶 · 2018-09-09 · via 音视频开发进阶

一个专注音视频领域的小圈子

要想发挥 OpenGL ES 自定义渲染管线的功能,就得学会写 GLSL 着色器脚本。 本文中的内容来自于 《Android 3D 游戏开发技术宝典 OpenGL ES 2.0》。

数据类型

OpenGL ES 着色器语言和 C/C++ 语法相近,但还是有很大不同,比如 GLSL 不支持 double、byte、short、long、union、enum、unsigned 等。

GLSL 的数据类型可以分为标量、向量、矩阵、采样器、结构体以及数组等几类。

标量

标量也被称为 “无向量”,其值只有大小,并不具有方向。

标量之间的运算遵循简单的代数法则。

GLSL 支持的的变量类型有如下:

  • 布尔型 bool
  • 整型 int
  • 浮点型 float

向量

在 GLSL 中,向量可以看做是同样类型的标量组成的,其基本类型也分为 bool、int 及 float 3 种。

每个向量可以由 2 个、3 个或者 4 个相同的标量组成。

向量类型 说明 向量类型 说明
vec2 包含了 2 个浮点数的向量 ivec4 包含了 4 个整数的向量
vec3 包含了 3 个浮点数的向量 bvec2 包含了 2 个布尔数的向量
vec4 包含了 4 个浮点数的向量 bvec3 包含了 3 个布尔数的向量
ivec2 包含了 2 个整数的向量 bvec4 包含了 4 个布尔数的向量
ivec3 包含了 3 个整数的向量

矩阵

矩阵按尺寸分为 22 矩阵、33 矩阵以及 4*4 矩阵。

矩阵类型 说明
mat2 2x2 的浮点数矩阵
mat3 3x3 的浮点数矩阵
mat4 4x4 的浮点数矩阵

采样器

采样器是专门进行纹理采样的相关操作。

采样器类型 说明 采样器类型 说明
sampler2D 用于访问二维纹理 sampleCube 用于访问立方贴图纹理
sampler3D 用于访问三维纹理

结构体

使用 struct 关键字声明结构体。

struct info{
	vec3 color;
	vec3 position;
	vec2 textureCoor;
}

info CubeInfo;

数组

在 GLSL 中,可以声明任何类型的数组。声明数组的方式主要有两种,具体如下:

  • 在声明数组的同时,指定数组大小。
  • 在声明数组时,也可以不指定数组的大小,但必须符合下列两种情况之一:

引用数组之前,要再次使用第一种声明方式来声明该数组

vec3 position[];
vec3 position[5];

代码中访问数组的下标都是编译时常量(如:字面常量),这时编译器会自动创建适当大小的数组,使得数组尺寸组织存储编译器看到的最大索引值对应的元素。

vec3 position[];
position[3] = vec3(3.0); // 需要一个大小为 4 的数组
position[20] = vec3(6.0); // 需要一个大小为 21 的数组

空类型

空类型使用 void 表示,仅用来声明不返回任何值的函数,比如着色器中的 main 函数就是一个返回值为 void 类型的函数。

限定符

着色器对变量由很多可选的限定符,这些限定符中大部分只能用来修饰全局变量,如下表:

限定符 说明
attribute 一般用于每个顶点都各不相同的量,如顶点位置、颜色等
uniform 一般用于对同一组顶点组成的单个 3D 物体中所有顶点都相同的量,如当前的光源位置
varying 用于从顶点着色器传递到片元着色器的量
const 用于声明常量
uniform mat4 uMVPMatrix;
attribute vec3 aPosition;
varying vec4 aaColor;
const int lightsCount = 4;

限定符的使用应该放在变量前面,且使用 attribute、uniform 以及 varying 限定符修饰的变量必须为全局变量。

着色器语言中没有默认限定符的概念,因此如果有需要,必须为全局变量明确指定需要的限定符。

  • attribute 限定符

attribute 限定符顾名思义为属性限定符,其修饰的变量用来接收渲染管线传递进顶点着色器的当前待处理顶点的各种属性值。这些属性值每个顶点各自拥有独立的副本,用于描述顶点的各项特征,如顶点坐标、法向量、颜色、纹理坐标等。

用 attribute 限定符修饰的变量其值是由应用程序批量传入渲染管线的,管线进行基本处理后再传递给顶点着色器。数据中有多少个顶点,管线就调用多少次顶点着色器,每次将一个顶点的各种属性数据传递给顶点着色器中对应的 attribute 变量。因此,顶点着色器每次执行将完成对一个顶点各项属性数据的处理。

attribute 限定符只能用于顶点着色器中,不能再片元着色器中使用。而且,attribute 限定符只能用来修饰浮点数标量、浮点数向量以及矩阵变量,不能用来修饰其他类型的变量。

  • uniform 限定符

uniform 为一致变量限定符,一致变量指的是对于同一组顶点组成的单个 3D 物体中所有顶点都相同的量。

uniform 变量可以用在顶点着色器中或片元着色器中,其支持用来修饰所有的基本数据类型,与 attribute 变量类似,一致变量的值也是从应用程序传入的。

  • varying 限定符

要想将顶点着色器中的信息传入到片元着色器,则必须使用 varying 限定符。用 varying 限定符修饰的全局变量又称为易变变量,易变变量可以看成是顶点着色器以及片元着色器之间的动态接口,方便顶点着色器与片元着色器之间信息的传递。

物体在渲染管线中会进行光栅化,光栅化之后会产生许多个片元,有多少个片元,就会插值计算出多少易变变量,同时,渲染管线就会调用多少次片元着色器。

一般来说,渲染一个 3D 物体,片元着色器执行的次数会大大超过顶点着色器,因此,GPU 硬件配置中片元着色器的硬件数量往往多余顶点着色器硬件数量。

  • const 限定符

用 const 限定符修饰的变量其值是不可以变的,也就是常量,又称为编译时常量。

编译时常量在声明的时候必须进行初始化,同时这些常量在着色器外部是完全不可见的。

函数声明与使用

GLSL 可以开发自定义的函数:

 <返回类型> 函数名称 ([<参数序列>]) {/*函数体*/}

在参数序列中,除了可以指定类型外,还可以指定用途,具体方法为用参数用途修饰符进行修饰,常用的参数用途修饰符如下:

  • in 修饰符,用其修饰的参数为输入参数,仅供函数接收外界传入的值。若某个参数没有明确给出用途修饰符,则等同于使用了 in 修饰符。
  • out修饰符,用其修饰的参数为输出参数,在函数体中对输出参数赋值可以将值传递到调用其的外界变量中。对于输出参数,要注意的是在调用时不可以使用字面常量。
  • inout 修饰符,用其修饰的参数为输入输出参数,具有输入与输出两种参数的功能。

顶点着色器中的内建变量

顶点着色器中的内建变量主要是输出变量,包括 gl_Position、gl_PointSize 等。

在顶点着色器中应该根据需要给这些内建变量赋值,以便由渲染管线中的图元装配与光栅化等后续固定功能阶段进行进一步的处理。

  • gl_Position

物体的顶点位置经过平移、旋转、缩放等数学变换后,生成新的顶点位置。新的顶点位置通过在顶点着色器中写入 gl_Position 传递到渲染管线的后续阶段继续处理。

gl_Position 的类型是 vec4 ,写入的顶点位置数据也必须与其类型一致。

  • gl_PointSize

顶点着色器中可以计算一个点的大小(单位为像素),并将其赋值给 gl_PointSize(标量 float 类型)以传递给渲染管线,默认为 1 。

gl_PointSize 的值一般只有在采用了点绘制方式后才有意义。

片元着色器中的内建变量

片元着色器中的内建变量分为输入变量以及输出变量两种。

内建输入变量

内建输入变量主要有 gl_FragCoordgl_FrontFacing,这两个都是只读的,由渲染管线中片元着色器之前的阶段生成。

  • gl_FragCoord

内建变量 gl_FragCoord (vec4 类型)中含有当前片元相对于窗口位置的坐标值 x、y、z 与 1/w 。

其中 x 与 y 分别为片元相对于窗口的二维坐标,如果窗口的大小为 800 * 480(单位为像素),那么 x 的取值范围为 0 ~ 800,y 的取值范围为 0 ~ 480,z 部分为该片元的深度值。

通过该内建变量可以实现与窗口位置相关的操作,例如,仅绘制窗口中指定区域内容等。

  • gl_FrontFacing

gl_FrontFacing 是一个布尔类型的内建变量,通过读取该内建变量的值可以判断正在处理的片元是否属于在光栅化阶段生成此片元的对应图元的正面。如果属于正面,gl_FrontFacing 的值为 true,反之为 false 。

内建输出变量

内建输出变量主要有 gl_FragColorgl_FragData,在片元着色器中根据具体情况需要给这两个内建变量写入值。

  • gl_FragColor

gl_FragColor(vec4 类型)内建变量用来由片元着色器写入计算完成的片元颜色值,此颜色值将送入渲染管线的后继阶段进行处理。

  • gl_FragData

gl_FragData 内建变量本身是一个 vec4 类型的数组,写入时要给出下标,如 gl_FragData$[0$],通过其写入的信息将供渲染管线的后继过程使用。

在实际开发中,对上述两个内建输出变量选用其中一个就好了,不用两个都赋值,若执行了 discard 操作,则两个内建变量都不需要写入值了。

内置函数

OpenGL ES 着色器语言提供了很多内置函数,这些函数大都已经被重载,一般具有 4 种变体,分别用来接收和返回 genTypegenITypegenUTypegenBType类型的值。

四种变体如下:

变体类型 说明 变体类型 说明
genType float,vec2,vec3,vec4 genUType uint,uvec2,uvec3,uvec4
genIType int,ivec2,ivec3,ivec4 genBType bool,bvec2,bvec4,bvec4

从表中可以看到,genType、genIType、genUType、genBType 分别代表的是浮点型类型、整型类型、无符号整型类型和布尔型类型。

内置函数通常是以最优的方式来实现的,有部分函数甚至由硬件直接支持。

内置函数按照设计目的分为 3 个类别:

  • 提供独特硬件功能的访问接口,如纹理采样系列函数
  • 简单的数学函数,如 abs(求绝对值)、floor(向下取整) 等
  • 一些复杂的函数,如三角函数等

角度转换和三角函数

角度转换与三角函数同时适用于顶点着色器与片元着色器,并且每个角度转换与三角函数都有 4 种重载变体。

上述表中 genType 代表的数据类型有 float、vec2、vec3 以及 vec4 。其中 float 指的是浮点数标量,vec2、vec3 和 vec4 指的是浮点数向量。

指数函数

指数函数同样适用于顶点着色器和片段着色器。

上述表中 genType 代表的数据类型有 float、vec2、vec3 以及 vec4 。

常见函数

常见函数也可同时用于顶点着色器和片段着色器。

genType 、 genIType 、genUType 代表的数据类型参考上面提到的类型。

几何函数

几何函数适用于顶点着色器和片段着色器,主要用于对向量进行操作。

矩阵函数

矩阵函数目前只有一个,可以用于顶点着色器,也可以用于片段着色器。

向量关系函数

向量关系函数主要功能为将向量的各分量进行关系比较运算。

纹理采样函数

纹理采样函数主要用于根据指定的纹理坐标从采样器对应的纹理中进行采样,返回采样得到的颜色值。

大部分纹理采样函数即可以用于顶点着色器也可以用于片段着色器,但又个别的仅适用于片元着色器。

小结

关于 OpenGL ES 2.0 的语法就先认识到这吧,主要还是在日后的开发中多去实践,在实践中更好地去运用。

参考

  1. 《Android 3D 游戏开发技术宝典 OpenGL ES 2.0》

原创文章,转载请注明来源:    OpenGL ES 2.0 着色器语言 GLSL 学习 Mark