ACL是自然语言处理领域影响力最大的国际学术组织( 三 ) 近期

文章图片
7、CluSTeR：认知启发的时序知识图谱两阶段推理模型
SearchfromHistoryandReasonforFuture:Two-stageReasoningonTemporalKnowledgeGraphs
基于时序知识图谱的未来事件推理任务试图根据过去发生的事件来预测未来事件，可以为下游任务如消费意图挖掘、社会行为分析、金融分析、辅助决策和快速事件反应等提供技术支持，从而具有很强的研究价值。本文受到认知中决策双系统理论的启发，将未来事件推理分解成由直觉系统主导的线索搜索阶段和理性系统主导的时序推理阶段。在线索搜索阶段，模型使用基于随机束搜索的强化学习方法快速搜索历史，归纳导致事件发生的线索，得到直觉上的候选答案。在时序推理阶段，模型深入到第一阶段得到的线索中，按照线索发生时间重组线索并使用基于多关系图神经网络的序列模型进行时序演绎，从而得到精准答案。本文在三个实体推理数据集上取得了最好的效果，其中MRR最多提升7.1% 。同时，模型推理过程中发现的显式线索也为模型推理结果提供了依据和可解释性。

文章图片

文章图片
8、基于图表示的多元关系链接预测
LinkPredictiononN-aryRelationalFacts:AGraph-basedApproach
知识图谱上的链接预测是典型的知识推理任务，近年来受到了学术界和工业界的广泛关注。现有的链接预测算法大多针对知识图谱中的二元关系而设计，无法处理其中普遍存在的多元关系。为此，本文创新性地提出了一种基于异构图表示的多元关系学习算法（GRAN），能够针对知识图谱中的多元关系进行有效的链接预测。GRAN首先将多元关系陈述表示为异构图，同时利用拓扑结构感知的自注意力机制对异构图进行建模，实现多元关系的学习与推理。实验表明， GRAN能够保留多元关系陈述的完整语义，同时有效建模其元素间的丰富交互以增强模型的推理能力，在众多多元关系链接预测标准数据集上全面大幅超越现有方法。

文章图片

文章图片
9、MLM-phonetics:基于语音语义的预训练纠错模型
CorrectingChineseSpellingErrorswithPhoneticPre-training
在日常工作中经常会出现拼写错误，而错误传递会导致下游任务（如检索、翻译、理解等）的效果下降，因此文本拼写纠错非常重要。对于中文来说，常用的输入方式有拼音输入、语音输入等，使得拼写错误大多来自于对近音字的混淆。因此我们提出了MLM-phonetics ，一个基于语音和语义的预训练语言模型。不同于传统预训练中的掩码语言模型（MaskedLanguageModel）,MLM-phonetics的预训练目标加入了从近音字及其拼音中恢复出正确字的任务，这使预训练模型具备了纠错能力。基于MLM-phonetics ，我们提出了一个端到端的中文纠错模型，它包含一个检测模块和一个纠错模块。给定一段文本，检测模块首先检查该文本中的错字，然后以每个字的错误概率为权重融合原始字符与其拼音的编码，之后纠错模块基于新的编码进行纠错。两个模块共享以MLM-phonetics初始化的编码器，并在端到端的模型中被同时优化。我们的模型在SIGHAN中文纠错测试集上达到SOTA ，这项技术可应用于文本写作纠错、语音识别结果纠错、翻译译前纠错等场景。

文章图片

文章图片
10、PAIR:基于以段落为中心的相似度关系提升稠密段落检索