python基于Node2Vec实现节点分类及其可视化示例详解
作者:实力 发布时间:2022-04-16 06:49:33
简介
Node2vec是一种用于图嵌入(Graph Embedding)的方法,可用于节点分类、社区发现和连接预测等任务。
实现过程
加载数据集
首先,让我们加载所需的Python库并执行以下代码以加载Cora数据集:
import networkx as nx
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline
from sklearn.manifold import TSNE
from node2vec import Node2Vec
# 加载Cora数据集
cora = pd.read_csv('cora/cora.content', sep='\t', header=None)
cited_in = pd.read_csv('cora/cora.cites', sep='\t', header=None,
names=['target', 'source'])
nodes, features = cora.iloc[:, :-1], cora.iloc[:, -1]
其中 cora.content
包含了所有节点特征信息,一共具有2708个节点和1433个特征;而 cora.cites
通过引文映射分别针对所述每个节点建立一个节点间的有向边关系,共有5429个边。接下来,我们需要将节点特征和引用信息合并,构建图结构。
# 定义函数:构造基于Cora数据集的图结构
def create_graph(nodes, features, cited_in):
nodes.index = nodes.index.map(str)
graph = nx.from_pandas_edgelist(cited_in,
source='source',
target='target')
for index, row in nodes.iterrows():
node_id = str(row[0])
features = row.drop(labels=[0])
node_attrs = {f'attr_{i}': float(x) for i, x in enumerate(features)}
if graph.has_node(node_id) == True:
temp = graph.nodes[node_id]
temp.update(node_attrs)
graph.add_nodes_from([(node_id, temp)])
else:
graph.add_nodes_from([(node_id, node_attrs)])
return graph
# 构建图
graph = create_graph(nodes, features, cited_in)
该函数将 cora.content
中的节点特征与 cora.cites
的有向边整合,并在图上标记它们。现在我们已经构建了一个图形视图,可以按想法可视化。
使用Node2vec嵌入数据
为了使用节点的特征进行分类,我们需要从网络中提取某些信息,以便将其传递给分类器作为输入。 节点2矢量方法的一个示例就是将提取的信息转换为至少每个节点一个维度的向量表达式。
Node2Vec模型由代表每个节点的向量组成,使用起始节点和目标节点的随机游走样本来学习它们。 节点2Vec模型定义随机游走过程中节点间的转移概率。
我们将使用 node2vec 库来生成图形的嵌入表示,并采用神经网络进行节点分类。
# 定义函数:创建基于Cora数据集的嵌入
def create_embeddings(graph):
# 初始化node2vec实例,指定相关超参数
n2v = Node2Vec(graph, dimensions=64, walk_length=30,
num_walks=200, p=1, q=1, weight_key='attr_weight')
# 基于指定参数训练得到嵌入向量表达式
model = n2v.fit(window=10, min_count=1, batch_words=4)
# 获得所有图中节点的嵌入向量
embeddings = pd.DataFrame(model.wv.vectors)
ids = list(map(str, model.wv.index2word))
# 将原有的特征和id与新获取到的嵌入向量按行合并
lookup_table = nodes.set_index(0).join(embeddings.set_index(embeddings.index))
return np.array(lookup_table.dropna().iloc[:, -64:]), np.array(list(range(1, lookup_table.shape[0] + 1)))
# 创建嵌入向量
cora_embeddings, cora_labels = create_embeddings(graph)
通过以上代码,我们可以获得每个节点的64维节点嵌入表达。
训练分类器
接下来我们将指定一些分类器并在Cora数据集上训练它们,以期根据嵌入进行准确的节点分类操作。
from sklearn import svm, model_selection, metrics
# 使用支持向量机作为示范的分类器
svm_model = svm.SVC(kernel='rbf', C=1, gamma=0.01)
# 进行交叉验证和分类训练
scores = model_selection.cross_val_score(
svm_model, cora_embeddings, cora_labels, cv=5)
print(scores.mean())
使用支持向量机作为分类器,进一步问题是分类器本身也要进行调参等相关操作,以期获取更好的性能。此处采取了5折交叉验证的方式对其性能进行评估输出。
可视化节点嵌入
对于人类而言,64维特征表达并不容易理解,因此我们需要将其降维以便可视化。 在这里我们使用 t-SNE,它专门用于降低高维数据的复杂度。 通过输出只包含 2个元素的概率分布向量,它生成一个二维图,其中相似节点紧密地放在一起。
# 定义函数:可视化Nodes2Vec的结果
def visualize_results(embeddings, labels):
# 使用t-SNE对数据进行降维并绘图
tsne = TSNE(n_components=2, verbose=1, perplexity=40, n_iter=300)
tsne_results = tsne.fit_transform(embeddings)
plt.figure(figsize=(10, 5))
plt.scatter(tsne_results[:,0], tsne_results[:,1], c=labels)
plt.colorbar()
plt.show()
# 可视化结果
visualize_results(cora_embeddings, cora_labels)
Node2Vec生成的嵌入向量将被输入到t-SNE中,其中t-SNE将64维向量表达进行了降维,并输出我们可以使用 matplotlib 库可视化的二维散点图。 我们可以在图形界面中检查大部分相关节点是否如预期那样紧密聚集。
来源:https://juejin.cn/post/7224410321670471735
猜你喜欢
- 本文主要介绍了Opencv图片生成视频,分享给大家,具体如下:生成视频import random as rdimport cv2 as cv
- 关于多维数组如何复合排序如数组:>>> import numpy as np>>> data = np.
- 汉字转为拼音的asp函数,原理:利用多维数组 1.添加索引 2.遍历数组Author: Unknowasp之家测试截图,呵呵不错:<%
- 问题描述我有一个用于模型训练的DataFrame如下图所示:其中的country、province、city、county四列其实是位置信息
- 一、BeautifulSoup4 基础知识补充BeautifulSoup4 是一款 python 解析库,主要用于解析 HTML
- php对数字进行万。亿的转化/** * 格式化数字 */public function float_number($number){ &nb
- 一封电子邮件的旅程是:MUA:Mail User Agent——邮件用户代理。(即类似Outlook
- 对于手动管理内存的语言,比如 C/C++,调用著名的malloc和new函数可以在堆上分配一块内存,这块内存的使用和销毁的责任都在程序员。一
- 引言本文主要梳理了flask源码中route的设计思路。首先,从WSGI协议的角度介绍flask route的作用;其次,详细讲解如何借助w
- 这里记录一下pytorch神经网络参数管理方法(参数访问、参数初始化、参数绑定),方便自己和需要的朋友学习、查阅。一、参数访问1.1 访问指
- python time模块计算时间之间的差距练习题1. 当前月1号对应的0点的时间戳# 定义一个当前月分的一号0点字符串格式的时间 now_
- 一个middleware的例子import timefrom django.urls import reversefrom django.u
- 漏洞的产生原因代码层过滤不严。应用程序直接或间接使用了动态执行命令的危险函数,并且这个函数的运行参数是可控的系统的漏洞造成命令注入漏洞的本质
- 前言大家好,今天给大家带来绘制“手绘风格”可视化作品的小技巧,主要涉及Python编码绘制。主要内容
- lighttpd (http://www.djangoproject.com/r/lighttpd/) 是一个轻量级的Web服务器,通常被用
- 写在前面的话🪐学了Python一些基础知识之后,相信大家对Python使用方法有了一定的感悟,想要追求深层次的东西还要细细的学、慢慢的学。P
- 一、安装FastDFS1-1:执行docker命令安装# 安装trackerdocker run -dti --network=host -
- 首先下载搜索图标:控件中的搜索图标下载地址:http://www.easyicon.net/1183666-Search_icon.html
- 如何用表单的方式推送请求的信息?具体见下:<html><head><title>答复用户信息
- 前言 可迭代对象就像密闭容器里的水,有货倒不出itertools是python内置的标准模块,提供了很多简洁又高效的专用功能,使用