我写了一段代码，解析发票，就是通过 pdfminer 将 pdf 发票里的每个字符串的位置信息一起带进来，传给 llm ，提示词类似于下面：

prompt = f"""
    你是一个擅长识别发票内容的 AI ，请从以下多个发票的 OCR 块中，提取结构化的发票信息。输出内容为 json 格式，不输出解释、思考或额外说明。
    
    每张发票以“ [文件: xxx.pdf ] ”标识其来源。请为每个文件分别返回结构化信息，输出如下 JSON 格式：
    
    {{
      "invoice001.pdf": {{
        "发票代码": "...",
        "发票号码": "...",
        "开票日期": "...",
        "购买方名称": "...",
        "销售方名称": "...",
        "价税合计": "...",
        "明细": [
          {{
            "名称": "...",
            "数量": "...",
            "单价": "...",
            "金额": "..."
          }}
        ]
      }},
      ...
    }}
    
    以下是多个文件的 OCR 文本及其坐标：
    {'\n'.join(all_text_blocks)}
        """.strip()

对接 gpt 和 deepseek 公有模型都好使，但是对接私有模型，比如 deepseek-r1-distill-qwen-32b ，deepseek-prover-v2-671b ， 还有最新的 qwen3-30b-a3b ，效果都很差，基本上解析不了 json 格式。这是什么原因呢，需要怎么调试。

使用的是 langchain 框架，私有模型用的是 gpustack 在 macstudio m3ultra 上部署的。

第 1 条附言  ·  2025 年 6 月 13 日

是我的问题，对接 deepseek/qwen 这类私有模型，langchain 应该用 llm.stream(messages)，然后再一个 chunk 一个 chunk 读出来就 ok 了，这样 32b 也能取得比较好的效果。用 llm.invoke 容易显示不全