python

from langchain_community.document_loaders import BiliBiliLoader
SESSDATA =""
BUVID3 = ""
BILI_JCT = ""
bv_id = "BV1iGpueKE26"
loader = BiliBiliLoader(
    [
        f"https://www.bilibili.com/video/{bv_id}",
    ],
    sessdata=SESSDATA,
    bili_jct=BILI_JCT,
    buvid3=BUVID3,
)
docs = loader.load()
print(docs[0].__dict__)

python

from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_community.vectorstores.utils import filter_complex_metadata

text_splitter = RecursiveCharacterTextSplitter(
  chunk_size=1000,
  chunk_overlap=20
)
# 分割 bilbili documents
#docs为上面获取的bilbili documents
documents = text_splitter.split_documents(docs)
#二次过滤
docs_sec = filter_complex_metadata(documents=documents)

python

from langchain_huggingface import HuggingFaceEmbeddings
embed_model = HuggingFaceEmbeddings(
    #模型路径
    model_name = "model_path",
    #运行embeding模型的device,可选参数:['cuda','cpu',"mps", "npu"]
    model_kwargs = {'device': 'cuda'},
    encode_kwargs = {'normalize_embeddings': False}

)

from langchain.vectorstores import Chroma
#文档转化为向量值，并存储到chroma中
docsearch = Chroma.from_documents(docs_final, embed_model)

python

default_prompt ="""请根据视频内容提炼并总结以下关键信息：
1. 视频的核心观点或论述（概述视频所传达的主要思想或立场）,
2. 关键人物或事件（突出视频中涉及的重要角色或事件）,
3. 视频的主线内容（梳理视频的整体逻辑和发展脉络，重点描述重要的情节或讨论的主题）,
4.在总结的最后，提供你个人对视频内容的看法，包括你的评价、支持或质疑的原因，并简要解释为何持有此观点。
输出格式如下：
核心观点：
关键人物/事件：
主线内容：
个人看法：
"""

python

from langchain_core.runnables import RunnablePassthrough
from langchain_core.output_parsers import StrOutputParser
from langchain_core.prompts import ChatPromptTemplate
api_key = ""
api_base = ""
llm = ChatOpenAI(api_key=api_key,base_url = api_base,temperature=0, model_name="gpt-4")
#RAG文档抽取模板
RAG_TEMPLATE = """
   You are an assistant for question-answering tasks. Use the following pieces of retrieved context to answer the question. If you don't know the answer, just say that you don't know. Use three sentences maximum and keep the answer concise.
            <context>
            {context}
            </context>
            Answer the following question:
            {question}
"""

default_prompt ="""请根据视频内容提炼并总结以下关键信息：
1. 视频的核心观点或论述（概述视频所传达的主要思想或立场）,
2. 关键人物或事件（突出视频中涉及的重要角色或事件）,
3. 视频的主线内容（梳理视频的整体逻辑和发展脉络，重点描述重要的情节或讨论的主题）,
4.在总结的最后，提供你个人对视频内容的看法，包括你的评价、支持或质疑的原因，并简要解释为何持有此观点。
输出格式如下：
核心观点：
关键人物/事件：
主线内容：
个人看法：
"""

def format_docs(docs):
        # 格式化文档列表，将每个文档的页面内容连接成一个字符串
        return "\n\n".join(doc.page_content for doc in docs)

# 加载提示模板
rag_prompt = ChatPromptTemplate.from_template(RAG_TEMPLATE)
# 创建检索链
rag_chain = (RunnablePassthrough.assign(context=lambda input: format_docs(input["context"]))
            | rag_prompt
            | llm
            | StrOutputParser()
        )
# 设置提问提示词
question_prompt = default_prompt
# 非流式处理
ans = rag_chain.invoke({"context": docs_final, "question": question_prompt})
print(ans)

cmd

#启动FastAPI服务
uvicorn main:app --host 0.0.0.0 --port 3010

#启动Streamlit服务
streamlit run streamlit_ui/summary_ui.py

json

{
    "bv_id":"BV1Wd4YeZEqG"
}

json

{
    "avid": 113115312168779,
    "bvid": "BV1Wd4YeZEqG",
    "cid": 25640244589,
    "title": "国足1:2不敌沙特，天胡开局也能崩盘？",
    "url": "https://www.bilibili.com/video/BV1Wd4YeZEqG",
    "answer": "核心观点：\n视频主要讨论了中国足球队在与沙特队的比赛中，尽管开局有利，但最终以1:2不敌沙特，引发了关于教练伊万和中国足球未来的讨论。\n\n关键人物/事件：\n1. 伊万（教练）\n2. 中国队与沙特队的比赛\n3. 马图伊迪哈（法国世界杯冠军成员，观看比赛）\n\n主线内容：\n视频首先介绍了比赛前的氛围和球场的特点，随后详细描述了比赛的过程，包括中国队开局的有利情况和沙特队的红牌事件。接着，视频记录了比赛中的关键瞬间和球迷的反应，最终中国队被绝杀，赛后球场响起了要求教练下课的声音。\n\n个人看法：\n视频内容反映了足球比赛的不确定性和球迷的情感波动。尽管中国队开局有利，但最终失利，这凸显了足球比赛的不可预测性。个人认为，视频成功捕捉了比赛的紧张氛围和球迷的热情，但也暴露了中国足球在技术和战术上的不足。支持这一观点的原因是，视频中的比赛结果和球迷反应都指向了中国足球需要改进的方面。"
}

json

{
    "bv_id":"BV1kE4HesEUP",
    "stream":true
}