惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Spread Privacy
Spread Privacy
P
Palo Alto Networks Blog
P
Proofpoint News Feed
AI
AI
Help Net Security
Help Net Security
S
Securelist
T
Troy Hunt's Blog
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
C
Cisco Blogs
Scott Helme
Scott Helme
Hacker News - Newest:
Hacker News - Newest: "LLM"
Vercel News
Vercel News
Exploit-DB.com RSS Feed
Exploit-DB.com RSS Feed
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
B
Blog
GbyAI
GbyAI
Recent Commits to openclaw:main
Recent Commits to openclaw:main
D
Darknet – Hacking Tools, Hacker News & Cyber Security
P
Proofpoint News Feed
S
Security Affairs
Cisco Talos Blog
Cisco Talos Blog
AWS News Blog
AWS News Blog
T
Tenable Blog
H
Help Net Security
NISL@THU
NISL@THU
F
Fortinet All Blogs
博客园_首页
G
GRAHAM CLULEY
L
LINUX DO - 最新话题
P
Privacy International News Feed
G
Google Developers Blog
博客园 - Franky
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
Security Archives - TechRepublic
Security Archives - TechRepublic
The Register - Security
The Register - Security
L
LangChain Blog
aimingoo的专栏
aimingoo的专栏
T
Tor Project blog
P
Privacy & Cybersecurity Law Blog
量子位
C
Cyber Attacks, Cyber Crime and Cyber Security
Forbes - Security
Forbes - Security
S
Secure Thoughts
Simon Willison's Weblog
Simon Willison's Weblog
D
Docker
Recorded Future
Recorded Future
博客园 - 三生石上(FineUI控件)
L
Lohrmann on Cybersecurity
T
Tailwind CSS Blog

自然语言处理

Humanize-Text 4 步把 AI 文本变成人类写作: DeepSeek×2 + Google + Niutrans cpu/gpu 高性能中英粤文本转语音 TTS 有人能编译跑通 seamlessM4t 吗? - V2EX 上海某私募 招聘量化研究员(算法模型,深度学习算法,语音算法, nlp, cv,强化学习等方向) 如何快速接入一个有 MCP 能力的 LLM? - V2EX 有朋友正在学习 nlp 吗? - V2EX 国内的翻译平台似乎有一个普遍的 bug - V2EX [请教] [可有偿] 请问有没有懂自然语言处理的大佬,想请教几个问题 - V2EX 高质量数据集对模型开发和 fine-tune 的重要性 - V2EX 请教下本地部署的语音转文字应用 - V2EX 有没有什么语法检查的模型啊? - V2EX 我是国内的 NLP 从业者,大模型这一波风吹过来了,在公司做大模型感觉前途未卜的样子 [求助]kaggle 中训练模型遇到的一些问题 - V2EX 请问有哪些文章改写润色的开源实现啊 - V2EX 有没有文本内容标注的成熟项目。 - V2EX NLP 有没有这样的模型,比如搜索 fetch 请求,自动帮你把 fetch/xhr/request 的数据相关性较高的内容展示出来的 深度学习如何运用到区块链中? - V2EX Vecuna 7b 部署与实践 - V2EX 请教一下此类场景在 NLP 中属于哪个功能分支,可否通过 NLP 相关模型实现 - V2EX 如何根据浏览记录关键词对用户做聚类分析? - V2EX 诚招语言模型训练实习生 - V2EX 有什么办法能获取一个城市下的地名? - V2EX 博客根据文章内容跑自然语言分析自动识别关键字,有什么廉价的实现方法吗? - V2EX 请教一个 NLP 的问题 - V2EX 使用 NLP 从书中提取各个角色的台词 - V2EX Feishu(飞书) 聊天机器人应用 - 定制对话,实现知识库、信息查询、意图识别、多轮对话 - V2EX Snowboy 离线唤醒 2021 年开始就停止维护,有没有其他大厂的产品可以替代使用? - V2EX 2070s 跑不了 gpt2 - V2EX 深度学习工程师, 80-200W,杭州,幻方 AI Lab - V2EX [周三(10.21)分享日] 百度 AI 语音识别应用与场景案例分享 - V2EX nlp 求教,例如这段文字,如何通过机器学习做到是新冠相关的新闻? - V2EX 主题模型使用经验 - V2EX 工作么找不到,大家来聊聊你用 Sentiment analysis 做过哪些有趣的事 - V2EX 有检测合同合法性的实战教程么? - V2EX 针对中文无监督文本切分的优质路子有哪些? - V2EX Bert 实践遇坑 - V2EX 抓到了一个 ML 新闻训练爬虫网站? - V2EX 求推荐好的知识图谱研究领域的相关教程、书籍或视频教程? - V2EX 一款语料处理 Python 辅助工具,能自动计算标注偏移量,各位看看是否有帮助 - V2EX 自然语言处理实习生 - V2EX [百度智能驾驶事业群车联网] 求自然语音处理架构师,负责车联网负载智能语音助手语义产品的架构和算法整体设计, base 深圳,简历至 linmiaoxuan@baidu.com - V2EX 三篇关于 BERT/ERNIE 源码解析的博文 - V2EX 有将自然语言转为对应命令的服务或开源项目吗 - V2EX 关于短信内容二分类,请指点一下 - V2EX V 站的中分分词怎么能做到如此之快的 - V2EX 中文分词在线接口 API 需求调查 - V2EX 电商环境下如何定义两个类别是否相似 - V2EX Poplar - 基于 Web 技术的 NLP 文本标注工具 - V2EX 求 [自然语言处理算法工程师]18-30K 坐标北京朝阳 硕士及以上 - V2EX MicroTokenizer: 一个面向教学的微型中文分词引擎 - V2EX
GPT 用于知识图谱构建的 NER 和 RE - V2EX
hanh1985 · 2023-06-07 · via 自然语言处理

这是一个创建于 1103 天前的主题,其中的信息可能已经有所发展或是发生改变。

最近计划构建疾病主题的知识图谱,想到使用 gpt 等大语言模型从文本中直接提取相关的实体和关系,这样的优势是不用针对特定领域进行模型的训练和优化,开箱即用。尝试的思路有:

  1. 专门用 LLM 来执行 NLP 任务的项目 https://github.com/promptslab/Promptify
  2. 创作角色和技能 https://github.com/yzfly/LangGPT

chatgpt 上自己做一些提示词的测试,gpt-4 的表现优于 gpt-3.5 ,能够得出更接近预期的答复。但是也有几个问题:

  • 生成结果的一致性差,gpt 容易进行创作发挥(gpt4 与 3.5 都有类似的问题);
  • gpt-4 api 目前还没有申请到,即便申请到也比较贵,很难进行大规模的文本的处理

目前的设想是基于 gpt-3.5 ,结合提示词的优化达到尽可能高的效果,结合人工矫正后的例子来更好地帮助模型理解。如果有朋友做类似的工作,希望一起交流探讨一下。

第 1 条附言  ·  2024 年 6 月 7 日

最近关于 Knowledge Graph 和 RAG 的讨论多了起来,说明当初设想的大方向没错。

找到网上的一个工具,使用 labeling 工具比如 label studio 来辅助构建领域知识图谱
https://github.com/open-prophetdb/prophet-studio

受此启发,我设想的工作流是定制 label studio 的标注流程,使得 LLM 或者 NLP 能够对文本进行预标注,最后由人工审核和提交,提交的结果以后还可以直接注入 neo4j 图数据库。尝试过让 LLM 或者 NLP 工具从文本抽取实体和关系,但是结果总有一些奇怪,而且有些实体还需要在原文文字上进行调整,不见得能直接在 label studio 里面鼠标选中确认。目前尝试替代的思路,希望能有一个好结果。

hansjimo

1

hansjimo      2023 年 6 月 7 日

前一阵试着用大模型构建了一个简单的领域知识图谱,gpt 是可以直接输出实体、关系和属性的,大部分基础知识输出质量还不错,从一些文本中提取实体和关系并进行格式化信息也没什么问题。过程中一度产生有了大模型还要知识图谱干嘛的困惑。不过现阶段大模型确实还存在一些问题,也需要很多手工修正工作,还需要结合爬虫等其它工具进行一些后续工作。

hanh1985

2

hanh1985      2023 年 6 月 7 日

@hansjimo 感谢兄弟的分享。

LLM 对 KG 的影响在 youtube 上有一些讨论,我记得大意 LLM 本质是神经网络,而 KG 还有数据库的直接检索在性能和资源消耗是远优于 LLM 的;而 LLM 可以更好地支持知识的提取。所以现有的 KG 或者图数据库可以是一个高准确度高效率的知识存储方案,而 LLM 支持知识的获取以及后期的推理,总结。

请问你用的是 gpt-4 么?如何对实体和关系进行格式化呢,是不是直接限定实体和关系的类别。有没有什么框架可以辅助大模型对 KG 的构建呢?

hansjimo

3

hansjimo      2023 年 6 月 8 日

是的,知识图谱肯定在具体的工程应用中暂时还是无法替代的。
用的是 gpt-4 、Claude ,没用 api ,我是试着直接让 gpt-4 输出知识图谱的。先问应该定义哪些实体和关系类别,然后分级输出各层级概念,再给他规定要输出的实体属性格式后,给他概念让他自动把所有属性和关系补全并按格式输出。
不过确实如果是大模型训练语料中已经有的通用知识,输出效果还是不错的,不过比如一些国内特有的或者实例词级别的输出结果就不准确了,开始胡编乱造了。
后来还找到了国外比较专业的领域网站,网站的内容基本已经按照知识体系组织的很完整了,又从上面采集了很多信息吗,再扔给 gpt 帮着补全些关系。
我是有点觉得用大模型做实体识别和关系提取有点大材小用的感觉,目前的能力应该能直接输出很多实体和关系了,不过可能针对像国内医疗领域,又有很多新概念的情况下,还是需要用语料训练下的。

lilin3035

5

lilin3035      2023 年 7 月 6 日

LLM 的知识库是参数化的,更新周期太长,而且垂直领域的回答也不一定可靠,有胡编乱造的问题。听人说有 LLM 嵌入 KG 的方法,但只是听说。目前 langchain 和 llama_index 都是文本向量化然后和查询词交互提取 top k.另外有看到有人说 LLM 输入 KG,输出 KG 的。之前风向对 KG 都不看好,重要原因之一就是 KG 的构建自动化程度低。目前的 gpt 在知识图谱构建的实体识别、关系抽取、属性抽取方面表现得很好。可以试试互相迭代。使用 LLM 辅助构建 KG ,用 KG 向量化如 Tekgen 作为数据集对 LLM 的预训练。
另外 prompt 工程,比如 github 项目 Mr.Ranedeer ,教师模式挖掘 LLM 知识库,辅助教学,也是一个方向。
llama_index 用于把项目文档向量化,帮助用户通过聊天的形式查询项目问题,都是比较适合的方向把。

hanh1985

6

hanh1985      2023 年 7 月 11 日

@lilin3035 我也在构想用 LLM 来辅助 KG 的方案。看看是不是能整合到 label studio 里,做一个抽取,校验,训练的闭环?

shm7

7

shm7      2023 年 9 月 7 日

@hanh1985 闭环不闭环我不知道,但是方案和专业测评 3 月份就有了。

clockwise9

9

clockwise9      2023 年 12 月 24 日

Schema 还是很重要的。大模型对于关系( relationship/predicate )有自己的理解,而知识图谱中的关系可能是根据行业知识甚至应用场景来定义的,两者可能不总是精确匹配。一个无用但容易理解的例子,“配偶”关系可能有很多不同的情况需要判断:前夫前妻,同性伴侣(不管是否合法登记),已经订婚但还没办婚礼没登记的,等等。

xdlailai

10

xdlailai      2025 年 4 月 23 日

有进展不,兄弟

hanh1985

11

hanh1985      2025 年 4 月 30 日

@xdlailai 最近上 V2EX 比较少。两三个月前用 chatgpt 试过对材料的结构化输出,感觉正确率已经非常高了。知识图谱和知识库的技术也在快速更新,之前是 GraphRAG ,最近又是 Graphiti 。我现在想法有些改变,使用 LLM 来构建 KG 这个技术点可能得放在业务场景里面来看有多大的附加价值,而不是为了构建而构建。