栏目分类
发布日期：2025-01-16 18:27 点击次数：108
GraphAgent团队 投稿想干就去吻
量子位 | 公众号 QbitAI
论文能不成中？不错用AI提前展望～
港大黄超解说团队建议多智能体自动化框架GraphAgent，能自动构建妥协析学问图谱中的复杂语义网罗，搪塞各种展望和生成任务。
GraphAgent通过图生成、任务筹划和任务践诺三大中枢智能体的协同运作，交融大说念话模子与图说念话模子的上风，成功联结了结构化图数据与非结构化文本数据，在文本回首与关系建模方面完结了显明普及。
实验中，在展望性任务（如节点分类）和生成性任务（如文本生成）上，GraphAgent均得回杰出戒指，仅以8B参数限度便达到了与GPT-4、Gemini等大限度闭塞源模子终点的性能水平。
特殊在零样本学习和跨域泛化等场景中，GraphAgent展现出权贵上风。
有兴味的是，团队将GraphAgent应用到了学术论文评审场景。
在实际投稿经由中，作家时常需要把柄评审意见准备Rebuttal回话，而GraphAgent仅基于论文评审意见（Reviews）就能匡助作家更好地评估论文的登第可能。
GraphAgent长啥样？
现实寰球的数据呈现双重性情：一方面是结构化的图联结数据，另一方面黑白结构化的文本与视觉信息。
这些数据中蕴含的关系网罗也分为两类：显式的联结关系（如酬酢网罗互动），以及隐式的语义依赖（常见于学问图谱）。
这种复杂性带来了三大中枢挑战：
异构数据交融：系统需要整合多种形势的信息。以学术网罗为例，论文间的援用组成了图结构关系，而标题、节录等文本则承载着丰富的语义信息。灵验整合这些异构信息可提拔学问回首、科学问答等应用。多档次关系和会：实际场景中时常存在多维度的关联。举例电商平台中，用户-商品交互组成行为图谱，居品计议则形谚语义网罗。深切和会这些多层关系有助于普及用户-商品交互展望的准确性。任务多元化：应用场景条目系统具备平庸的处明智商。展望类任务包括节点分类、贯穿推断等图分析；生成类任务触及图增强文本生成、学问图谱问答等。这需要系统概况生动相宜不同任务性情，并充分利用数据中的结构化与语义信息。
为搪塞上述挑战，预计团队建议多智能体自动化框架GraphAgent。
该框架通过三大中枢智能体的协同融合，完结了图结构与语义信息的深度交融，可同期提拔展望型（图分析、节点分类）和生成型（文本创作）等各种化任务。
其中枢架构包括：
图生成智能体（Graph Generator Agent）任务筹划智能体（Task Planning Agent）任务践诺智能体（Task Execution Agent）三大智能体通过协同机制紧密融合，交融大说念话模子与图说念话模子的上风，灵验挖掘数据中的关系网罗与语义依赖。
底下详备先容各个智能体的中枢功能：
图生成智能体
图生成智能体崇拜构建语义学问图谱（Semantic Knowledge Graph， SKG），通过立异的双阶段迭代机制完结深层语义信息的提真金不怕火与整合。
该智能体的责任经由分为两个中枢阶段：
1）学问节点提真金不怕火阶段
该阶段采选自相宜的分层战略，从非结构化文本中识别多维度的学问实体：
通过定制化的系统领导，调用大说念话模子（LLM）处理输入文本利用迭代式识别时间，同期拿获宏不雅规模见解（如”Machine Learning”）和微不雅时间细节（如”Self-Supervised Learning”）基于多轮迭代构建档次化学问结构，确保学问体系的完好意思性与连贯性2）学问态状增强阶段
这一阶段预防普及学问暗示的丰富度与准确性：
为每个识别的节点生成详确的语义态状整合相关波折文信息，构建完好意思的学问辩论采选动态迭代更新机制：i) 将每轮态状算作下轮优化的基础；ii) 不绝深化和拓展学问内容；iii) 通过多轮迭代交融，最终形谚语义完备的学问图谱任务筹划智能体任务筹划智能体算作框架的决策中枢，通过精密的三阶段处理机制完成复杂任务的筹划与分解。
其责任经由包括：
1）意图识别与任务制定
该阶段专注于准确和会用户需求并细则处理战略：
深度阐明用户查询，提真金不怕火核情意图将任务分类为三大类型：预界说图展望（Predictive_predefined），处理已知结构的图分析；怒放图展望（Predictive_wild），搪塞未知结构的图推理；摆脱生成任务（Open_generation），践诺生动的创作需求。2）图结构步伐化处理
此阶段完结不同类型图数据的归拢抒发：
利用专科图构建器用（GBW_Tool）进行结构更动同步处理显式关系图（G_exp）与语义学问图（G_skg）建造步伐化的异构图暗示体系，确保处理一致性3）图文特征交融
这一阶段预防完结信息的深度整合：
结合预磨真金不怕火文本编码器与图神经网罗，构建双层编码体系生成文本语义与图结构的聚拢暗示为卑鄙任务提供丰富的特征提拔，奠定践诺基础图动作智能体图动作智能体是框架的中枢践诺单位，通过立异的三维处理架构，完结了任务的精确践诺与性能优化。
其责任机制包括：
1）智能化任务处理机制
针对不同类型任务采选互异化处理战略：
展望类任务：联想专属系统领导，指导模子进行精确展望生成类任务：交融语义学问图谱，普及文本生成的质地与相关性自相宜优化：把柄任务性情动态疗养处理经由，确保践诺效用2）深度图指示对都时间
立异性地完结了多档次的模态对都：
同类型图结构对都：增强模子对特定图时势的和会智商跨类型学问交融：普及处理异构图关系的准确性双向增强机制：权贵普及模子在各种化场景下的泛化推崇3）渐进式学习战略
采选先进的课程学习方法：
基于难度梯度的任务编排：从基础到进阶的平滑过渡开阔化的磨真金不怕火序列联想：确保学问累积的连气儿性全场地性能调优：在各种任务中保持褂讪的高水平推崇实验数据集建树实验评估采选了六个各具特色的基准数据集，涵盖了不同场景和任务类型。
如Table 1所示，这些全心遴荐的数据集在限度、结构和应用规模等方面展现出权贵互异，为全面考据框架性能提供了理念念的测试基础。
为全面评估GraphAgent的通用性能，本预计精选了六个具有代表性的基准数据集开展系统实验。这些数据集按照任务特征可远隔为三大类：
结构化图数据集: 采选了两个经典的节点分类数据集IMDB和ACM。其中IMDB数据集包含11，616个节点，ACM数据集涵盖10，942个节点，这两个数据集都具有了了的图结构特征，为评估模子在结构化数据处理方面的智商提供了可靠基准。
文本处理数据集: 遴荐了Arxiv-Papers和ICLR-Peer Reviews两个具有代表性的数据集。Arxiv-Papers构建了包含153，555个SKG节点的语义学问图，用于评估文档分类性能；ICLR-Peer Reviews则包含161，592个SKG节点，特意用于论文委派展望任务，这些数据集体现了模子处理复随笔本及语义关系的智商。
智能生成数据集: 引入了Related Work Generation和GovReport回首两个具有挑战性的数据集。Related Work Generation基于多篇论文构建，包含875，921个SKG节点，用于考据模子的相关责任生成智商；GovReport包含15，621个SKG节点，针对长文档节录生成任务，这两个数据集都对模子的生成智商建议了较高条目。
实验效果分析结构化数据展望性能分析
为深切评估GraphAgent在结构化图任务中的零样本学习智商，预计团队联想了一组的对比实验。
实验采选IMDB数据集进行模子磨真金不怕火，分别在1-shot和40-shot两种低资源场景下考据模子性能，并在ACM数据集的1，000个未见节点上开展迁徙测试，以评估模子的泛化智商。
实验戒指标明：GraphAgent在所相关键目的上都权贵优于现时开头进的图说念话模子HiGPT，平均性能普及当先28%。模子在40-shot建树下得回了权贵性能普及：Micro-F1和Macro-F1均达74.98%（普及48.5%/63.5%），AUC达80.90%（普及27.2%）。
GraphAgent的特殊性能主要源于三项中枢时间立异：
早先，智能图生成机制通过自动构建语义学问图谱（SKG）为模子注入丰富的补充信息，权贵增强了复杂语义关系的和会智商；
其次，精确的任务筹划机制使模子概况准确和会和分解用户意图，并为不同应用场景制定最优践诺战略；
终末，立异性的双重优化战略结合了图文对都和任务微调机制，不仅普及了模子的基础性能，还增强了迁徙学习智商，使模子即使在1-shot等低资源场景下仍能保持褂讪的高性能推崇。
语义和会智商分析
为深切评估GraphAgent在复杂语义关系处理方面的性能，预计团队基于两个典型数据集开展了系统实验：利用Arxiv-Papers数据集进行论文分类考据，并通过ICLR-Peer Reviews数据集测试论文委派展望智商。
通过严格的实验评估，GraphAgent在处理隐式语义依赖关系时展现出如下杰出上风：
实验戒指突显了GraphAgent的三大中枢上风：
在参数限度优化方面，仅有8B参数的GraphAgent凭借其私有的语义学问图谱架构，成功完结了对复杂语义依赖关系的精确把抓，通过多档次语义信息的局部与全局整合，在各项评估目的上权贵卓绝了Llama3-70b和Qwen2-72b等大限度模子，平均性能普及达31.9%。
在泛化智商推崇上，GraphAgent展现出特殊的跨任务学习后劲。其多任务版块GraphAgent-General在Arxiv-Papers数据集的推崇致使优于特意优化的单任务版块。
特殊值得守护的是，8B限度的GraphAgent在零样本场景下也能达到Deepseek-Chat-V2等大型闭源模子的性能水平。
在架构效用方面，GraphAgent通过立异性地整合语义学问图谱和结构化学问暗示，比较传统的监督微调方法和GraphRAG系统，不仅权贵普及了模子性能，还灵验缩短了输入支拨，同期成功缓解了大说念话模子常见的幻觉问题。
文本生成任务
GraphAgent在图增强文本生成任务中展现出特殊推崇，通过性能评估、模子对比和架构分析三个维度的系统实验，充分考据了其杰出上风。
基于Llama3-70b和Qwen2-72b的双重对比考据标明，GraphAgent在困惑度（PPL）等中枢目的上权贵优于基线模子。不同于传统的监督微调（SFT）和GraphRAG方法，GraphAgent通过智能构建语义学问图谱，从压根上普及了模子的推理和会智商，灵验处置了惯例微斡旋学问注入方法在处理复杂推理时势时的固有局限。
在架构立异和性能对标方面，GraphAgent展现出杰出上风。
以GPT-4为评判基准的实验骄气，GraphAgent比较Llama3-8b和Llama3-70b分别完结了114%和45%的性能普及，在67%的测试案例中当先同等限度模子，58%的情况下卓绝主流开源决策。
尤为权贵的是，GraphAgent仅以8B的参数限度和极低的估计支拨便达成这些特殊戒指，充分考据了基于语义学问图谱的架构联想在增强文本生成智商方面的权贵效果。
消融实验通过系统化的消融实验（Ablation Study），预计团队深切评估了GraphAgent架构中三个中枢组件的性能孝顺，预计戒指揭示了以下要道发现：
语义学问图谱（SKG）的基础撑持作用：移除SKG组件导致模子性能权贵缩短15.2%，充分阐述了自动构建的语义学问图谱在提供要道补充信息方面的不可替代性。这一发现强调了结构化学问暗示对模子全体性能的决定性影响。
图文对都机制的遑急性：实验标明，缺失图文对都机制变成了最权贵的性能耗费，困惑度（PPL）加多达11.282。这杰出标明深档次的图文和会智商关于需要复杂推理的生成任务至关遑急，是保险模子高质地输出的要道要领。
课程学习战略的优化效果：固然相较其他组件影响相对较小（展望任务缩短4.0%，生成任务PPL加多0.503），但课程学习战略的缺失仍对双任务性能产生显明负面影响。这考据了渐进式学习旅途在优化模子磨真金不怕火效果方面的积极作用。
终末预计团队败露了他们的明天预计主张，包括：
多模态智商拓展：筹划将现时框架的处明智商扩张至视觉信息规模，建造提拔关系型数据、文本内容和视觉元素的空洞处理机制。这一拓展不仅包括多模态信息的和会与交融，还将重心征战跨模态学问暗示和生成智商，从而完结更丰富的智能交互场景。特殊护理视觉-文本-关系的协同建模，为多模态智能系统开辟新的预计主张。
模子性能优化：发奋于普及模子在复杂现实场景中的泛化推崇，重心预计如安在保持或普及性能的同期完结模子压缩。这触及立异的模子架构联想、高效的参数分享机制以及先进的学问蒸馏时间。同期，将探索估计资源优化战略，提高模子在实际部署环境中的效用，为大限度应用奠定基础。
av美女应用场景扩张：积极探索框架在多个实际规模的落地应用，重心护理科学预计辅助和买卖智能分析等高价值场景。在科研规模，将征战特意的文件分析和学问发现器用；在买卖规模，预防构建面向决策提拔的智能分析系统。同期，密切护理新兴时间趋势，探索在医疗健康、金融科技等规模的应用场景。
名目地址：https://github.com/HKUDS/GraphAgent论文贯穿：https://arxiv.org/abs/2412.17029实验室主页: https://sites.google.com/view/chaoh
— 完 —
量子位 QbitAI · 头条号签约
护理咱们想干就去吻，第一时辰获知前沿科技动态