惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

T
Tailwind CSS Blog
博客园 - Franky
博客园 - 司徒正美
Stack Overflow Blog
Stack Overflow Blog
GbyAI
GbyAI
Y
Y Combinator Blog
Microsoft Azure Blog
Microsoft Azure Blog
Blog — PlanetScale
Blog — PlanetScale
博客园 - 叶小钗
罗磊的独立博客
The GitHub Blog
The GitHub Blog
H
Help Net Security
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
Engineering at Meta
Engineering at Meta
Martin Fowler
Martin Fowler
Spread Privacy
Spread Privacy
Google DeepMind News
Google DeepMind News
AWS News Blog
AWS News Blog
N
Netflix TechBlog - Medium
T
The Exploit Database - CXSecurity.com
云风的 BLOG
云风的 BLOG
小众软件
小众软件
aimingoo的专栏
aimingoo的专栏
Cyberwarzone
Cyberwarzone
T
Threatpost
T
Threat Research - Cisco Blogs
Recent Announcements
Recent Announcements
T
Tor Project blog
D
Darknet – Hacking Tools, Hacker News & Cyber Security
Last Week in AI
Last Week in AI
L
Lohrmann on Cybersecurity
量子位
V
V2EX
V
Vulnerabilities – Threatpost
L
LINUX DO - 热门话题
www.infosecurity-magazine.com
www.infosecurity-magazine.com
P
Proofpoint News Feed
I
Intezer
Schneier on Security
Schneier on Security
雷峰网
雷峰网
B
Blog RSS Feed
Jina AI
Jina AI
爱范儿
爱范儿
Attack and Defense Labs
Attack and Defense Labs
Google DeepMind News
Google DeepMind News
M
MIT News - Artificial intelligence
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
P
Palo Alto Networks Blog
美团技术团队
博客园 - 【当耐特】

音视频开发进阶

音视频教程-第三节 音视频教程-第二节 真的,AI 可能就是新时代的信息差 充值 Cursor 之后,工作有了哪些变化?🤔 个人'蒸馏'大模型能做哪些有意思的事情 DeepSeek 大模型在 Mac 上的部署和运行 音视频教程-第一节 【WebRTC 专栏】-- Android 开发集成 WebRTC 库的几种方式 【WebRTC 专栏】-- 在 Mac M1 等系列芯片编译和开发 WebRTC-Android 库 Meta Llama3 大模型在 Mac 上的部署和运行 iOS VideoToolBox 解码 HEVC Open-GOP 视频的问题排查 Flutter 状态管理之 InheritedWidget 使用和分析 用 ChatGPT 回答技术问题怎么样 ? 音视频开发系统入门大致路线 UE 4.27 添加自定义 ShadingModel 用 UE4 虚幻引擎做个捏脸小功能~~ UE4 材质练习 之 凹凸贴图偏移的使用 UE4 材质练习系列基础 OpenGL上下文创建以及共享机制 007 | 播放器系列专栏-解析 MP4 文件读取信息 006 | 播放器系列专栏-在 Mac 上查看 MP4 格式信息 干货 | 快速抽取缩略图是怎么练成的? 关于直播、WebRTC、FFmpeg 的那些事 005 | 播放器系列专栏-在 Windows 上查看 MP4 格式信息 将音视频中的花屏、绿屏、黑屏问题一网打尽 关于音视频里面的解码帧率和渲染帧率 004 | 播放器系列专栏-认识MP4视频(下) 003 | 播放器系列专栏-认识MP4视频(上) 入门或者转行音视频,应该要怎么做? H264视频文件如何缩放分辨率 002 | 播放器系列专栏-FFmpeg依赖库的配置 001 | 播放器系列专栏-关于播放器项目的一个小实践 Seek策略以及在有B帧情况下的处理 目前流媒体开发工程师工作内容主要是什么? 一个音视频领域专业问答的小圈子 干货收藏 || Vulkan Game Engine 视频教程 音视频春节假期内卷指南(实操) Vulkan 在 FFmpeg 中的支持 Windows 下 FFmpeg 和 LibX264 的编译和配置 Metal 开发 | 使用 C++ 进行接口调用 音视频开发工作经验分享 || 视频版 FFmpeg 调用 MediaCodec 硬解码到 Surface 上 代码吸猫 | 用 OpenGL 图像渲染的养猫计划 百倍变速--解码到底能不能丢 非参考帧 ?FFmpeg 有话说!!! 老生常谈-FFmpeg 的编译问题轻松搞定 FFmpeg 调用 Android MediaCodec 进行硬解码(附源码) 【WebRTC 专栏】--创建相机预览 Unity Shader 光照基础之 Half Lambert 光照模型 Unity Shader 光照基础之Lambert光照模型 Unity Shader 光照基础内容 UnityShader 的基本概念 Unity 物体的基本操作 C++ 模板系列小结07-尾置返回类型 C++ 模板系列小结06-可变参数模板特性 C++ 中的多线程的使用和线程池建设 C++ 模板系列小结05-模板类型作为模板参数 C++ 模板系列小结04-类模板中的成员模板 C++ 模板系列小结03-在模板中指定变量类型 C++ 模板系列小结02-非类型模板参数 C++ 模板系列小结01-函数模板和类模板 从零打造渲染引擎系列01-什么是渲染引擎 iOS开发 - 在 Swift 中去调用 C/C++ 代码 2021 技术新番 - 从零打造渲染引擎系列 iOS 音视频开发的一些基础准备工作 音视频交流群又来啦~~~ 【WebRTC 专栏】WebRTC & Android 开发学习环境搭建~ 【喜大普奔】域名终于备案通过啦 Shader 优化 | OpenGL 绘制网格效果 【音视频连载-011】第二季 FFmpeg 一层一层获取文件信息 KodeLife | Shader 实时编辑预览的强大工具使用实践 推荐几个堪称教科书级别的 Android 音视频入门项目 【音视频连载-010】第二季 FFmpeg 日志打印 【音视频连载-008】基础学习篇-SDL 播放 PCM 音频文件(下) 【音视频连载-007】基础学习篇-SDL 播放 PCM 音频文件(上) 【音视频连载-006】基础学习篇-SDL 播放 YUV 视频文件 【音视频连载-005】基础学习篇-SDL 加载 YUV 文件并显示 【音视频连载-004】基础学习篇-SDL 加载图片并显示 【音视频连载-003】基础学习篇-SDL 消息循环和事件响应 【音视频连载-002】基础学习篇-SDL 创建窗口并显示颜色 【音视频连载-001】基础学习篇- SDL 介绍以及工程配置 LearnOpenGL 源码在 MAC 上的编译与调试 2019 年终总结与回顾 Android NDK 开发的免费技术视频来啦~~ OpenGL 实现视频编辑中的转场效果 OpenGL 实践之贝塞尔曲线绘制 图像库 libjpeg-turbo 编译与实践 图像库 libpng 编译与实践 rust 开发编译 Android 动态库实践 Android NDK 开发 —— 从 Assets 文件夹加载图片并上传纹理 简单易用的图像解码库介绍 —— stb_image 博客图床迁移记 进击的 Vulkan 移动开发之 SwapChain 进击的 Vulkan 移动开发之 Command Buffer 进击的 Vulkan 移动开发之 Instance & Device & Queue 进击的 Vulkan 移动开发(一)之今生前世 Java 显式锁 Lock 与条件队列 C++ 标准容器库小结 MediaCodec 硬编码之相机内容编码成 H264 文件 一文读懂 YUV 的采样与格式 《OpenGL ES 3.x 游戏开发》碰撞检测之 AABB 包围盒
Unity Shader 显示一张图片纹理
音视频开发进阶 · 2021-08-23 · via 音视频开发进阶

一个专注音视频领域的小圈子

用 Unity 去显示一张图片纹理比用 OpenGL 代码去显示图片要简单多了,而这正是因为 Unity 在背后做了很多封装工作。 要显示的图片如下所示: 它的分辨率是 2560x1600 ,也就是矩形图片,并非正方形。

UnityShader 编写

前面已经学习了 UnityShader 的整体结构,在 Properties 块中定义属性,可以在参数面板中调节对应的值;在 SubShaderPass 块中编写具体的渲染代码。

实现图片纹理要写一个顶点/片元着色器,不同于 OpenGL 需要两个 Shader 文件,Unity 一个 Shader 文件就可以了。

通过如下宏定义来标识后续的顶点和片元着色器对应哪个函数:

#pragma vertex vert
#pragma fragment frag

顶点着色器

按照写 OpenGL Shader 的经验,在顶点着色器中需要处理外界传过来的顶点坐标和纹理坐标。

而在 Unity 中这些东西都假设给你传好了,只要自己去接收就行。

比如需要顶点坐标,那么就定义在 POSITION 中;需要纹理坐标,就定义在 TEXCOORD0 中;需要法向量,就定义在 NORMAL 中 。

显示图片纹理,当然需要顶点坐标和纹理坐标,那么代码如下:

float4 vertex : POSITION;
float2 uv : TEXCOORD0;

定义了 vertex 和 uv 两个变量,类型分别是 float4 和 float2 ,代表不同个数的浮点数,后面就指定了这个变量要接收 Unity 传过来的数据含义。

在顶点着色器中就需要上面的数据作为函数参数,Unity 中可以定义一个结构体来包装上面的数据统一作为顶点着色器的参数。

struct appdata
{
    float4 vertex : POSITION;
    float2 uv : TEXCOORD0;
};

说完了顶点着色器的参数,接下来就是顶点着色器函数的返回值,除了需要把经过 MVP 坐标转换后的顶点坐标返回出去,还需要把纹理采样坐标返回出去,在 OpenGL Shader 中可以通过 varying 关键字来实现。

在 Unity 中通过 SV_POSITION 关键字来定义着色器之间传递的顶点坐标。而着色器之间传递纹理坐标并没有直接的定义了,可以用符合自己要求的数据结构来表示。

具体代码如下:

float4 vertex : SV_POSITION;
// 传递纹理坐标可以用 COLOR 也可以用 TEXCOORD0 
float2 uv : COLOR;
// float2 uv : TEXCOORD0;

传递纹理坐标,用 COLOR 和 TEXCOORD0 都是一样的,不过都是用到前面两位的数据。

同样,也可以用结构体将上面的数据包装起来:

struct v2f 
{
float4 vertex : SV_POSITION;
float2 uv : COLOR;
};

这样,就可以定义顶点着色器的函数了,大致框架如下:

v2f vert(appdata v)
{
    // 函数执行内容
}

函数输入参数和输出内容都是上面提到过的数据,至于具体的执行内容就和 OpenGL Shader 差不多了,要将顶点坐标经过一系列的转换,另外也要将纹理坐标经过一些转换,不同的是 Unity 中有一些辅助函数帮忙做这些操作。

v2f vert (appdata v)
{
    v2f o;
    o.vertex = mul(UNITY_MATRIX_MVP, v.vertex);
    o.uv = v.uv * _MainTex_ST.xy + _MainTex_ST.zw;
    
    // 使用 unity 内置更便捷的函数
    // o.vertex = UnityObjectToClipPos(v.vertex);
    // o.uv = TRANSFORM_TEX(v.uv, _MainTex);
    return o;
}

unity 中通过 UNITY_MATRIX_MVP 变量指定了坐标转换的 MVP 矩阵,通过 mul 函数进行相乘。

另外,纹理坐标也经过了一些操作,实际上也可以不操作,直接传递 uv 值就行,多了的这些操作是方便对纹理进行调节,这会在后面内容提到。

除了自己计算之外,还可以直接用 unity 中现成的函数,简单方便。

UnityObjectToClipPos 函数实现将坐标转换到裁剪空间,TRANSFORM_TEX 函数实现纹理的偏移操作,这些函数都是在 UnityCG.cginc 中定义的,所以在 Pass 中要它们 inlucde 进来。

另外,要在 Shader 中使用纹理,还得在 Properties 块中定义一个纹理属性,这样参数面板中就可以选择不同的图片作为纹理。而 Pass 中使用 Properties 定义的纹理还需要再定义一遍才行,如下代码所示:

Properties 
{    
    _MainTex ("Texture"2D) = "white" {}
SubShader{
    Pass{
        sampler2D _MainTex;
        float4 _MainTex_ST;
    }
}
}

片段着色器

完成了顶点着色器之后,就是片段着色器了,它要输出一个最终的颜色,而 unity 中通过 SV_Target 来标识输出颜色,如下所示:

fixed4 frag (v2f i) : SV_Target
{
    //  执行代码
}

片段着色器的输出就是一个 fixed4 类型的颜色值,而输入就是顶点着色器的输出,具体的指定内容就很简单了,和 OpenGL Shader 一样,采样坐标点的颜色值即可。

fixed4 frag (v2f i) : SV_Target
{
    fixed4 col = tex2D(_MainTex,  i.uv);
    return col;
}

完整代码

通过如上的学习就可以显示图片纹理了,完整代码如下:

Shader "Custom/Shader-1"
{
    Properties
    {
        _MainTex ("Texture"2D) = "white" {}
    }
    SubShader
    {
        Pass
        {
            CGPROGRAM
            #pragma vertex vert
            #pragma fragment frag
            #include "UnityCG.cginc"
            struct appdata
            {
                float4 vertex : POSITION;
                float2 uv : TEXCOORD0;
            };
            struct v2f
            {
                float2 uv : COLOR;
                float4 vertex : SV_POSITION;
            };
            sampler2D _MainTex;
            float4 _MainTex_ST;
            v2f vert (appdata v)
            {
                v2f o;
   
                o.vertex = mul(UNITY_MATRIX_MVP,v.vertex);
                o.uv = v.uv * _MainTex_ST.xy + _MainTex_ST.zw;
                // o.vertex = UnityObjectToClipPos(v.vertex);
                // o.uv = TRANSFORM_TEX(v.uv, _MainTex);
                
                return o;
            }
            fixed4 frag (v2f i) : SV_Target
            {
                fixed4 col = tex2D(_MainTex1.0 -  i.uv);
                return col;
            }
            ENDCG
        }
    }
}

显示效果如下:

纹理设置

另外,参数面板上还有两个参数可以让我们调节纹理显示效果的,分别是 TilingOffset

这两个参数和纹理的设置有关,选中纹理图片,可以看到纹理的平铺模式。

平铺模式决定纹理坐标超过 [0,1] 之后是重复还是使用边界值。

而 Tiling 值就是调节纹理的选取范围的,正常是 [0,1] 选取整个图片,也可以 [0.5,0.5] 选取四分之一图片。

而 Offset 就是决定纹理坐标原点的偏移量的,正常是从 [0,0] 开始,也可以从 [0.5,0.5] 中心点开始。

事实上 Tiling 和 Offset 共同决定了纹理的选择范围。要使这两个参数生效,就得在代码中乘以这两个参数,在上面的代码中也有 提到。

o.uv = v.uv * _MainTex_ST.xy + _MainTex_ST.zw;
// 或者下面这种
// o.uv = TRANSFORM_TEX(v.uv, _MainTex);

小结

以上就是 Unity Shader 显示一张图片纹理的操作,和 OpenGL 理论上都一样的,但流程更简单了,可以更快捷的看到 Shader 效果。

流程介绍的比较详细,后面熟悉这个流程,就可以更快速的学习实践了。

原创文章,转载请注明来源:    Unity Shader 显示一张图片纹理