最近gpt带来的轰动效应大家有目共睹，大家应该好奇它回复消息时的“打字”效果，为什么这么快，而且没有建立很多http连接，是定时轮询的吗，当然不是。它使用的就是浏览器基于http协议的Server Sent Events（SSE）协议，采用消息流的方式，共享同一个连接，自然就能提升性能，效果丝滑。那么自己部署了相关的LLM模型后，需要公开域名或者网站到外网使用的话，为了安全默认frp都是经过nginx转发一次，nginx上需要做一些设置，才能正确转发流经frp的SSE消息流：
server {
listen 80;
server_name *.mygpt.com;
client_header_buffer_size 32k;
location / {
proxy_pass http://127.0.0.1:7001;
proxy_set_header Host $host;
proxy_pass_header Set-Cookie;
proxy_redirect http://$host/ http://$http_host/;
proxy_ssl_server_name on;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header Upgrade $http_upgrade;
#proxy_set_header Connection "upgrade";
#proxy_connect_timeout 7d;
#proxy_send_timeout 7d;
#proxy_read_timeout 7d;
proxy_set_header Connection 'upgrade';//WS/WSS协议支持
proxy_http_version 1.1;
chunked_transfer_encoding off;
proxy_buffering off;
proxy_cache off;
}
}
其中最后5行是新增的配置，转发到frp的7001口上去，修改重启ng，frp网站就可以享受 “打字”效果了，此配置同样支持WS或者WSS的Socket，比如SignalR。
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。