使用大模型的时候，模型客户端只需要创建一个，这就要用到单例模式。
通过类变量保存唯一的实例对象，确保全局只有一个实例。
class ModelClientManager:
_instance = None # 类变量，用于存储唯一实例
def __new__(cls):
if cls._instance is None:
cls._instance = super().__new__(cls)
cls._instance.client = cls._create_model_client()
return cls._instance
@staticmethod
def _create_model_client():
# 创建模型客户端的逻辑
return OpenAIChatCompletionClient(
model=os.getenv("MODEL", "glm-4.7"),
base_url=os.getenv("BASE_URL", "https://open.bigmodel.cn/api/paas/v4/"),
api_key=os.getenv("API_KEY"),
)
def get_client(self):
return self.client
说明：
如果需要支持多线程环境，可以引入锁机制保证线程安全。
import threading
class ThreadSafeModelClientManager:
_instance = None
_lock = threading.Lock() # 线程锁
def __new__(cls):
if cls._instance is None:
with cls._lock:
if cls._instance is None:
cls._instance = super().__new__(cls)
cls._instance.client = cls._create_model_client()
return cls._instance
@staticmethod
def _create_model_client():
return OpenAIChatCompletionClient(
model=os.getenv("MODEL", "glm-4.7"),
base_url=os.getenv("BASE_URL", "https://open.bigmodel.cn/api/paas/v4/"),
api_key=os.getenv("API_KEY"),
)
def get_client(self):
return self.client
说明：
通过装饰器简化单例模式的实现
def singleton(cls):
instances = {}
def get_instance(*args, **kwargs):
if cls not in instances:
instances[cls] = cls(*args, **kwargs)
return instances[cls]
return get_instance
@singleton
class DecoratorModelClientManager:
def __init__(self):
self.client = self._create_model_client()
@staticmethod
def _create_model_client():
return OpenAIChatCompletionClient(
model=os.getenv("MODEL", "glm-4.7"),
base_url=os.getenv("BASE_URL", "https://open.bigmodel.cn/api/paas/v4/"),
api_key=os.getenv("API_KEY"),
)
def get_client(self):
return self.client
说明：
将实例定义在模块级别，天然具备单例特性。
# model_client_manager.py
import os
from autogen_ext.models.openai import OpenAIChatCompletionClient
class ModelClientManager:
def __init__(self):
self.client = self._create_model_client()
@staticmethod
def _create_model_client():
return OpenAIChatCompletionClient(
model=os.getenv("MODEL", "glm-4.7"),
base_url=os.getenv("BASE_URL", "https://open.bigmodel.cn/api/paas/v4/"),
api_key=os.getenv("API_KEY"),
)
def get_client(self):
return self.client
# 模块级单例实例
model_client = ModelClientManager()
说明：
无论采用哪种方式，调用时均通过单例获取客户端：
# 获取模型客户端 client = ModelClientManager().get_client() # 或者（模块级单例） from model_client_manager import model_client client = model_client.get_client()
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。