作者文章归档:justlin_01

美团商品知识图谱的构建及应用


导读:在互联网新零售的大背景下,商品知识图谱作为新零售行业数字化的基石,提 供了对于商品相关内容的立体化、智能化、常识化的理解,对上层业务的落地起到了 至关重要的作用。相比于美团大脑中围绕商户的知识图谱而言,在新零售背景下的商 品知识图谱需要应对更加分散、复杂的数据和业务场景,而这些不同的业务对于底层 知识图谱都提出了各自不同的需求和挑战。美团作为互联网行业中新零售的新势力, 业务上已覆盖了包括外卖、商超、生鲜、药品等在内的多个新零售领域,技术上在相 关的知识图谱方面进行了深入探索。本文将对美团新零售背景下零售商品知识图谱的 构建和应用进行介绍。

01 商品图谱背景

1. 美团大脑

近年来,人

Read more

动手学习深度学习系列笔记——深层循环神经网络


58 深层循环神经网络

目录

1.深层循环神经网络

之前讲的RNN都只有一个隐藏层(序列变长不算是深度),而一个隐藏层的RNN一旦做的很宽就容易出现过拟合。因此我们考虑将网络做的更深而非更宽,每层都只做一点非线性,靠层数叠加得到更加非线性的模型。

浅RNN:输入-隐层-输出

深RNN:输入-隐层-隐层-...-输出

(课程视频中的图片有错误,最后输出层后一时间步是不受前一步影响的,即没有箭头)

2.公式

![](http://latex.codecogs.com/svg.latex?\mathbf{H}_t^1=f_1(\mathb

Read more

动手学习深度学习系列笔记——长短期记忆网络LSTM


长短期记忆网络

1.目录

2.长短期记忆网络:

  • 忘记门:将值朝0减少
  • 输入门:决定是不是忽略掉输入数据
  • 输出门:决定是不是使用隐状态

可以说,长短期记忆网络的设计灵感来自于计算机的逻辑门。 长短期记忆网络引入了记忆元(memory cell),或简称为单元(cell)。 有些文献认为记忆元是隐状态的一种特殊类型, 它们与隐状态具有相同的形状,其设计目的是用于记录附加的信息。 为了控制记忆元,我们需要许多门。 其中一个门用来从单元中输出条目,我们将其称为输出门(output gate)。 另外一个门用来决定何时将数据读入单元,我们将其称为输入门(input gate)。 我们还需要一种机制来

Read more

动手学习深度学习系列笔记——门控循环单元(GRU)


56-门控循环单元(GRU)

1. 动机:如何关注一个序列

  • 不是每个观察值都是同等重要

比如上图中的序列,若干个猫中出现了一个鼠,那么我们应该重点关注这个鼠,而中间重复出现的猫则减少关注。文本序列同理,通常长文本我们需要关注的是几个关键词,关键句。

  • 想只记住相关的观察需要:
    • 关注的机制(更新门):顾名思义,是否需要根据我的输入,更新隐藏状态
    • 遗忘的机制(重置门):更新候选项时,是否要考虑前一隐藏状态。

2. 门的概念

  • 更新门Zt,重置门Rt的公式大体相同,唯一不同的是学习到的参数。

  • 需要注意的是,计算门的方式和原来RNN的实现中计算新的隐状态相似,只是激活函数改成了sig

Read more

动手学习深度学习系列笔记——循环神经网络RNN


使用潜变量

  • RNN使用了隐藏层来记录过去发生的所有事件的信息,从而引入时许的特性,并且避免常规序列模型每次都要重新计算前面所有已发生的事件而带来的巨大计算量。

RNN

  • 流程如下,首先有一个输入序列,对于时刻t,我们用t-1时刻的输入x~t-1~和潜变量h~t-1~来计算新的潜变量h~t~。同时,对于t时刻的输出o~t~,则直接使用h~t~来计算得到。注意,计算第一个潜变量只需要输入即可(因为前面并不存在以往的潜变量)。
  • 值得注意的是,RNN本质也是一种MLP,尤其是将h~t-1~这一项去掉时就完全退化成

Read more

NLP系列之命名实体识别:四种范式


前言

这篇文章梳理下目前命名实体识别(NER)的业务场景与SOTA方法。 说到NER,是绕不开BERT+CRF的,根据本人的经验,BERT+CRF就算不是你当前数据集的SOTA,也与SOTA相差不大了,但考虑到 更好的效果:CRF虽然引入了无向图,但只约束了相连结点之间的关联,并没有从全局出发来考虑问题 更复杂的业务场景:如Flat NER到Nested NER、不连续NER等复杂业务场景的不断涌现,CRF是否还能优雅地解决问题 更快的线上serving效率:CRF解码复杂度与输入的文本长度呈线性关系 本文,首先梳理下场景,再讨论方法,欢迎大家交流。

场景

嵌套(Nested)

组间嵌套:如上

Read more

动手学习深度学习系列笔记——语言模型


- 53 语言模型

- 学习语言模型

- 马尔可夫模型与n元语法

- 自然语言统计

- 读取长序列数据

- 随机采样

- 顺序分区

53 语言模型

  • 语言模型的目标:

    假设长度为T的文本序列中的词元依次为x~1~,x~2~,…,x~T~。 于是,x~t~(1≤tT) 可以被认为是文本序列在时间步t处的观测或标签。 在给定这样的文本序列时目标是估计序列的联合概率P(x~1~,x~2~,…,x~T~)

学习语言模型

  • 基本想法:

    P(x~1~,x~2~,…,x~T~) = P(x~t~x~1~,…,x~t−1~). (1 <= t <= T) 共T个结果相乘

    例如,包含了四个单

Read more

动手学习深度学习系列笔记——序列模型


序列模型

1.目录

2.1 更多例子

  • 音乐、文本、语言和视频都是连续的

    • 标题“狗咬人”远没有“人咬狗”那么令人惊讶
  • 大地震发生后,很有可能会有几次较小的余震

  • 人的互动是连续的,从网上吵架可以看出

Read more

动手学习深度学习系列笔记——样式迁移


样式迁移

样式迁移类似于手机相机中的滤镜,指的是给定内容图片和风格图片,合成一张新的图片,使得他的内容与内容图片相似,而风格却是风格图片的样子,如下例:

方法

如下图所示,可以用一个预训练好的神经网络来实现样式迁移:

  • 1:复制内容图片来初始化一张图片,之后将这张图片中的像素作为参数进行更新,最终得到合成的图片
  • 2:将内容图片,当前的合成图片,样式图片分别输入一个相同的预训练好的神经网络
  • 3:假设该神经网络的不同层分别提取与内容和风格相关的信息,可以据此得到一个损失:
    • 将合成图片与内容相关的层的输出与内容图片对应层的输出进行处理,得到内容损失
    • 将合成图片与风格相关的层的输出与风格图片对应层的

Read more

动手学习深度学习系列笔记——全连接卷积神经网络(FCN)


48.全连接卷积神经网络(FCN)

  • 48.全连接卷积神经网络(FCN)
  • FCN是深度神经网络来做语义分割的奠定性工作,现在用的不多了
  • 他用转置卷积层来替换CNN最后的全连接层(还有池化层),从而实现每个像素的预测。(如果输入的图片是224 x 224,经过CNN变成 7 x 7,经过 transposed conv,可以还原到 224 x 224 x k,k为通道数)

  • 代码

    • 见code

Read more