作者文章归档：justlin_01

GPLinker：基于GlobalPointer的实体关系联合抽取

514 views

基础思路

关系抽取乍看之下是三元组(s,p,o)（即subject, predicate, object)的抽取，但落到具体实现上，它实际是“五元组”(sh,st,p,oh,ot)的抽取，其中sh,st分别是s的首、尾位置，而oh,ot则分别是o的首、尾位置。从概率图的角度来看，我们可以这样构建模型： 1、设计一个五元组的打分函数S(sh,st,p,oh,ot)； 2、训练时让标注的五元组S(sh,st,p,oh,ot)>0，其余五元组则S(sh,st,p,oh,ot)<0； 3、预测时枚举所有可能的五元组，输出S(sh,st,p,oh,ot)>0的部分。然而，直接枚举所

论文笔记｜TPLinker：Single-stage Joint Extraction of Entities and RelationsThrough Tok

发表评论

489 views

1.Introduction

目标：从给定的非结构化文本中识别实体之间的关系，组成关系三元组(ei, rk, ej)。如图所示，关系可能会有重叠， SEO：一个实体可能出现在多个关系中。 EPO：同一个实体对可能属于不同的关系。

2.RelatedWork

方法	缺点	相关论文
Traditional pipelined method	忽视了实体抽取和关系预测之间的关系	(Zelenko et al., 2003; Chan and Roth, 2011)
Feature-based	过程过于复杂	(Yuand Lam, 2010; Miwa and Sasaki, 2014

动手学习深度学习系列笔记——BERT微调

发表评论

565 views

70 BERT微调

1.intro

与图片分类不同，BERT预训练时使用的两个任务没有什么实际应用场景，所以使用BERT时多需要进行微调。

BERT对每一个token都返回一个特定长度的特征向量（课堂演示为128，bert-base是768，bert-large是1024），这些特征向量抽取了上下文信息。不同的任务使用不同的特征。

2.具体应用

2.1句子分类

将句首的\<CLS>token对应的向量输入到全连接层分类。对于一对句子也是同理，句子中间用\<SEP

动手学习深度学习系列笔记——BERT预训练

发表评论

720 views

BERT预训练

1.目录：

BERT预训练

2.BERT:

2.1 NLP里的迁移学习

使用预训练好的模型来抽取词，句子的特征
- 例如word2vec或语言模型
不更新预训练好的

GlobalPointer：用统一的方式处理嵌套和非嵌套NER

发表评论

621 views

本文将介绍一个称为GlobalPointer的设计，它利用全局归一化的思路来进行命名实体识别（NER），可以无差别地识别嵌套实体和非嵌套实体，在非嵌套（Flat NER）的情形下它能取得媲美CRF的效果，而在嵌套（Nested NER）情形它也有不错的效果。还有，在理论上，GlobalPointer的设计思想就比CRF更合理；而在实践上，它训练的时候不需要像CRF那样递归计算分母，预测的时候也不需要动态规划，是完全并行的，理想情况下时间复杂度是O(1)！简单来说，就是更漂亮、更快速、更强大！真有那么好的设计吗？不妨继续看看。

GlobalPoniter多头识别嵌套实体示意图

GlobalP

动手学习深度学习系列笔记——Transformer

发表评论

829 views

68-Transformer

68-Transformer
- 目录
- 1.transformer架构
- 2.多头注意力
- 3.有掩码的多头注意力
- 4.基于位置的前馈网络
- 5.层归一化
- 6.信息传递
- 7.预测
- 总结
- QA ### 1.transformer架构
基于encoder-decoder架构来处理序列对
跟使用注意力的seq2seq不同，transformer是纯基于注意力

2.多头注意力

对同一key，value，query，希望抽取不同的信息
- 例如短距离关系和长距离关系
多头注意力使用h个独立的注意力池化
- 合并各个头（head）输出得到最终输出

数学表

动手学习深度学习系列笔记——注意力分数

发表评论

509 views

- 小结

65 注意力分数

在上一节中，我们使用高斯核来对查询和键之间的关系建模。我们可以将上一节中的高斯核函数部分视为注意力评分函数，简称评分函数，然后把这个函数的输出结果输入到softmax函数中进行运算。通过上述步骤，我们将得到与键对应的值的概率分布（即注意力权重）。最后，注意力汇聚的输出就是基于这些注意力权重的值的加权和。

import math
import torch
from torch import nn
from d2l import torch as d2l

掩蔽softmax操

动手学习深度学习系列笔记——束搜索

发表评论

442 views

束搜索

在序列生成问题中，常用的方法是一个个词元地进行生成，但是先前步生成的词元会影响之后词元的概率分布，为此，我们需要使用搜索算法来得到一个较好的序列

贪心搜索

贪心搜索即每个时间步都选择具有最高条件概率的词元。 $$ y{t'} = \operatorname*{argmax}{y \in \mathcal{Y}} P(y \mid y1, \ldots, y{t'-1}, \mathbf{c}) $$ 我们的目标是找到一个最有序列，他的联合概率，也就是每步之间的条件概率的乘积，最大。 $$ \prod{t'=1}^{T'} P(y{t'} \mid y1, \ldots, y{t'-1}