THINE：针对时序异质信息网络的表示学习

异质信息网络（Heterogeneous Information Networks，HINs）嵌入以其优异的性能受到越来越多的关注，它将多种类型的节点映射到低维空间，同时保留网络的特征和结构。然而，目前的大多数工作都是针对静态HINs而提出的，这与实际情况形成了对比。现实生活中的HINs会随着时间的推移而发展，简单地将其视为静态的，势必无法准确捕获网络的结构和语义。基于此，我们提出了一个时序异质信息网络嵌入模型（THINE）用于捕获多种类型节点之间的动态信息，其利用候选元路径集来捕获HINs的结构和语义，同时使用Hawkes过程来模拟网络的演化。在三个真实世界的时序HINs上的大量实验表明，在静态和动态任务中，THINE的表现都是最好的。

该论文“Temporal Heterogeneous Information Network Embedding”发表在IJCAI 2021，即国际人工智能联合会议（International Joint Conference on Artificial Intelligence），IJCAI是人工智能领域中最主要的学术会议之一，是中国计算机学会（CCF）A类会议。

• 论文链接：
• https://www.ijcai.org/proceedings/2021/0203.pdf

简介

近年来，异质信息网络(Heterogeneous Information Networks，HINs)嵌入以其优异的性能受到越来越多的关注。它将多种类型的节点映射到低维空间，同时保留网络的特征和结构。PTE、Meta-path2Vec等许多优秀算法已成功应用于各种网络相关任务中，如节点分类、节点聚类、链路预测等。然而，目前的大多数工作都是针对静态HINs而提出的，这与实际情况形成了对比。现实生活中的HINs会随着时间的推移而发展，比如学术网络，作者可能会在不同的年份发表不同的论文；而在Yelp数据集中，随着时间的变化，用户的评论也会产生不同的星级。因此，简单地将时序HIN视为静态HIN，不可避免地无法准确捕获网络的结构和语义。

因此，为了1）有效地保持时序HINs中动态的结构和语义；2）捕捉异构节点之间的动态影响。我们提出了一个新颖的时序HIN嵌入模型（THINE）用于捕获多种类型节点之间的动态信息。我们首先定义各种元路径来捕获HIN的语义和结构；然后，对于特定的下游任务，我们生成与该任务相关的候选元路径集；最后，通过Hawkes过程建模节点间的时间影响，得到每个节点的嵌入；此外，THINE还使用了两层的注意机制优化模型，其中一层是为了区分不同类型的元路径，另一层用于区分邻居节点的距离。

模型设计

图1-THINE模型

THINE的整体模型如图1所示，其首先使用基于元路径的随机游走来提取HIN的信息。元路径的构建决定了我们可以捕获什么语义和结构。因此，元路径的选择是HINs研究的关键。例如，对于学术网络，除了考虑先前模型所考虑的作者-论文关系的元路径外，我们还考虑了论文-论文关系的元路径，即APPA。凭借这些元路径，我们可以很好地保留HINs中的语义。此外，网络中的节点和边受到节点自身和相关候选元路径集的影响。因此，我们基于节点对的影响，对候选集的影响进行建模，以理解时序HIN。之后，我们用 Hawkes过程建模时间的影响。一般来说， Hawkes过程被用来模拟过去事件对现在的影响。显然，越久远的事件，对现今的影响就越小。因此，对于THINE，我们对每一个影响都用 Hawkes过程加以关注。正式地，候选元路径集的影响，即所有相关元路径实例的影响，被定义为：

其中，m表示一条元路径实例，t_mi，i∈(s, m, e)表示候选元路径集、一条元路径实例和一条边的影响。因此,η_s(t)、η_m(t)和η_e(t)分别表示时间t之前相应的影响。由此，我们首先需要建模一条元路径实例的影响η_m(t)，即是它包含的所有边的影响。因此，它被定义为：

其中，e_ij 表示节点v_i和v_j之间的一条边。一条边可以用它连接的两个节点来表示，因此，我们利用节点对的影响和 Hawkes过程来模拟一个时间边的影响，即：

t_i,j表示边e_i,j的时间戳，η_i,j为节点对的影响，使用负欧几里得距离的平方表示。k(·)为指数函数，用于建模时间衰减效应。需要注意的是，由于计算复杂性，我们选择了候选元路径集的子集进行训练。具体来说，我们选择从时间t最近生成的n个元路径实例，其中n是一个超参数。对于一个元路径实例，我们同样选择离源节点最近的z条候选边来训练，而z也是一个超参数。

此外，THINE还使用了两层注意力机制优化模型。例如图1（c）所示，边 的候选元路径集包括m1:(a1,p2,c1,p3,a3)以及m2:(a2,p3,a3)。 显然，m1 和m2 是根据不同的元路径APCPA和APA生成的，它们对下游任务有着不同的影响，为了捕捉这种微妙的区别，我们应用了语义层面的注意机制。 形式上，我们定义不同类型的元路径的权值如下：

其中c是任务中定义的所有元路径的集合，而ωb 表示第b元路径的权值。在此基础上，我们将候选元路径集的影响重新表述为：

除此之外，m1以及m2中的节点到a3的距离是不同的，因此，一种结构级别的注意机制被用来捕捉这种差异，即设置了与跳数相关的注意力机制。我们将与跳数相关的权值表示为：

因此一个元路径实例的影响被重新定义为：

在上述公式的基础上，我们定义了条件强度函数λ_x,y(t)表示节点vx和vy之间在t时刻生成连接的强度，具体为：

考虑到条件强度函数应返回正实数，我们采用指数函数传递λ_x,y(t)，同时将λ_x,y(t)收缩至0-1之间，表示节点vx 和vy之间建立关系的概率。此外，为了避免在计算时涉及整个节点集，我们使用了负采样技术，损失函数可以重新表示如下:

最后，我们使用Adam优化THINE。

实验相关

数据集：我们在3个不同的真实世界数据集上测试THINE，分别为Aminer、DBLP和Yelp。他们的统计数据如表1所示。

表1 数据集详细信息

对比方法：我们比较THINE与以下11种方法的性能，包括9种网络嵌入方法和2种图神经网络方法，详细信息如表2所示。

表2 对比方法信息

节点分类：我们以学习到的节点嵌入作为特征来训练逻辑回归分类器，用于预测节点标签。实验结果如表3所示。

表3 节点分类实验结果

从结果可以看出，在三个数据集上，THINE优于其他方法，这说明捕捉所有的动态和不同类型节点之间的影响有助于理解HINs的结构。此外，当使用60%或80%的训练集时，我们的模型得到了类似的结果，这也表明了THINE的鲁棒性。

链路预测：在链路预测任务中，我们利用| ux − uy|为特征训练逻辑回归分类器，其中ux和uy分别是节点vx和vy的节点嵌入。对于Aminer和DBLP，我们关注合著者的关系。因此，我们随机隐藏25%的AP连接，因为合著者信息隐含在元路径APA中。对于Yelp，我们隐藏了25%的UR连接来预测用户之间的联系。在每个数据集上，我们随机选择25000条边作为正边，同时生成25000条负边。链路预测结果如表4所示。

表4 链路预测实验结果

从表4中可以看出，THINE方法优于所有的基线，并且大多数动态方法对链路预测都有很好的效果，这进一步说明时间信息有助于提取时序HINs的结构和语义。

时序链路推荐：我们研究了THINE在动态任务下捕获网络时间信息的有效性。具体来说，我们完成了时序链路推荐实验，我们在时间t之前的HINs上训练所有方法，然后在时间t之后做出推荐。对于每个数据集，都使用周期的前80%进行训练，然后预测时间t后测试节点的top- k连接，最后计算相应结果的精度和召回率，实验结果如表5所示。

表5 时序推荐实验结果（同质）

为了使我们的结果更有说服力，我们还在异质节点之间做出了推荐。注意，我们删除了一些不适合此任务的基线或数据集。具体结果如表6所示：

表6 时序推荐实验结果（异质）

我们可以看出，THINE的准确率和召回率都是最优的。此外，针对HIN的方法在异质推荐任务中优于同质网络模型，但在同质推荐中表现较差，这可能说明HIN的方法也应该注意同类型节点之间的影响，这有助于在下游任务中获得更好的表现。

总结

我们提出了一种用于研究时序HINs嵌入问题的算法THINE，其利用候选元路径集来捕获结构和语义，同时使用Hawkes过程来模拟网络的演化。在三个真实世界的时序HINs上的大量实验表明，在静态和动态任务中，THINE的表现都是最好的。