一段话总结
本文介绍了TxGemma，这是一套为治疗学开发的高效通用大语言模型。它基于Gemma-2进行微调，涵盖2B、9B和27B参数模型，能处理多种治疗学相关任务。在66个治疗开发任务中，TxGemma在64个任务上表现优于或与通用模型相当，在50个任务上优于或与专业模型相当，且在临床不良事件预测等任务中展现出数据高效性。TxGemma-Chat具备推理和解释能力，可与科学家进行自然语言交互。此外，Agentic-Tx系统借助Gemini 2.0，整合TxGemma等工具，在复杂推理任务中表现出色，超越了之前的领先模型。TxGemma以开放模型发布，推动治疗学研究发展。
## **TxGemma开发背景**
- 治疗开发面临高失败率、高成本和长周期挑战
- 机器学习和LLMs为解决挑战提供可能
## **TxGemma模型介绍**
- 基于Gemma-2微调，有2B、9B、27B参数模型
- 能处理多类型数据，涵盖多种治疗学任务
## **模型训练与评估**
- 使用TDC数据转化的指令调优格式数据训练
- 用多种指标评估，对比多种基线模型
## **模型性能表现**
- 在66个任务中，与通用和专业模型相比优势明显
- TxGemma-Chat在对话和推理能力上表现良好
## **Agentic-Tx系统**
- 基于Gemini 2.0，含18种工具，能处理复杂任务
- 在多个基准测试中超越先前模型，效率高
## **研究结论与展望**
- 推动治疗AI发展，数据高效且模型开源
- 需湿实验验证，未来应结合通用和专业模型优势
详细总结
- 研究背景：制药行业在新药研发上面临高失败率、长周期和高成本的挑战。计算方法如机器学习可助力解决这些问题，而大语言模型（LLMs）的发展为利用现有数据集、改善治疗开发流程提供了机会。
- TxGemma模型
- 数据：利用治疗数据 Commons（TDC）的66个数据集，涵盖多种生物医学实体和任务类型，将其转化为指令调优格式数据进行训练。
- 建模：基于Gemma-2构建，包括预测模型TxGemma-2B-Predict、TxGemma-9B-Predict、TxGemma-27B-Predict和对话模型TxGemma-9B-Chat、TxGemma-27B-Chat，通过在治疗指令调优数据和通用指令调优数据上微调得到。
- 评估：使用10-shot提示策略，根据不同任务选择合适指标评估性能，并与专业和通用基线模型对比。
- 模型性能
- 预测性能：在66个治疗开发任务中，TxGemma-27B-Predict在64个任务上表现优于或与通用模型相当（45个任务超越），在50个任务上优于或与专业模型相当（26个任务超越）。在小分子任务上，与专门模型表现相当。
- 对话能力：TxGemma-Chat在MMLU基准测试中表现良好，能在治疗任务中提供推理和解释，弥补了预测模型对话能力的不足。
- Agentic-Tx系统
- 系统架构：基于Gemini 2.0，采用ReAct框架，配备18种工具，可解决复杂多步骤问题。
- 性能表现：在多个基准测试中超越先前模型，如在Humanity’s Last Exam基准测试（化学与生物学任务）上相对o3-mini (high)有9.8%的提升，且推理时间适合实时交互。
- 其他分析
- 数据污染与效率：数据污染对结果影响小，TxGemma在微调时数据效率高，在临床不良事件预测任务中，使用较少训练数据就能达到较好性能。
- 模型大小与特征影响：模型大小影响性能，任务中结合SMILES字符串和文本特征可提升性能。
- 研究结论：TxGemma在治疗学任务中表现出色，推动了治疗AI的发展，且数据高效、模型开源。但模型性能还需在真实湿实验中验证，未来应探索通用和专业模型的协同应用。
- 关键数据对比
|对比项目|详情|
|---|---|
|TxGemma与通用模型对比|在66个任务中，TxGemma在64个任务上表现优于或与通用模型相当，45个任务超越通用模型|
|TxGemma与专业模型对比|在66个任务中，TxGemma在50个任务上优于或与专业模型相当，26个任务超越专业模型|
|Agentic-Tx性能提升|在Humanity’s Last Exam基准测试（化学与生物学任务）上相对o3-mini (high)提升9.8%，在ChemBench-Preference上相对o3-mini (high)提升5.6%|
关键问题
- TxGemma与其他治疗学相关模型相比，优势体现在哪些方面？
- 答案：TxGemma是通用模型，能处理多种治疗学任务，在66个治疗开发任务中，在64个任务上表现优于或与通用模型相当，在50个任务上优于或与专业模型相当。它还具有数据高效性，在临床不良事件预测等任务中，使用较少训练数据就能达到较好性能。TxGemma-Chat具备推理和解释能力，可与科学家自然语言交互，弥补了其他模型在这方面的不足。Agentic-Tx系统基于Gemini 2.0，整合多种工具，在复杂推理任务中表现出色，超越了之前的领先模型。
- TxGemma的训练数据来源和处理方式是怎样的？
- 答案：TxGemma的训练数据主要来源于治疗数据Commons（TDC），包含66个AI就绪数据集，涵盖药物发现和开发流程，有超过1500万个数据点。这些数据被转化为指令调优格式，每个数据点包含指令、上下文、问题和答案。在训练过程中，采用了70%零样本和30%少样本提示策略，少样本提示时从训练集中随机采样示例。
- Agentic-Tx系统如何实现复杂任务的处理？
- 答案：Agentic-Tx系统基于Gemini 2.0，采用ReAct框架，能将推理步骤与工具使用相结合。它配备了18种工具，涵盖TxGemma - 基于的工具、通用工具、分子工具和基因与蛋白质工具。当接收到任务或问题时，系统会根据当前上下文迭代采取行动，使用相应工具获取观察结果，经过推理、行动和更新上下文的过程，动态调整方法，最终整合信息并生成用户友好的响应，从而实现复杂任务的处理。
