Home > AI

PyTorchGeometric

linker   ·   发表于 2019-11-19   ·   AI

一个高性能的不规则数据计算PyTorch扩展库。

适用于 Graph等数据结构, 支持CUDA加速。


5 Reply   |  Until 2019-11-19 | 44 View

linker
发表于 2019-11-19

评论列表

  • 加载数据中...

编写评论内容

linker
发表于 2019-11-19

图神经网络(GNN)最近成为一种强大的方法,用于在图,点云和流形上进行表示学习(Bronstein et al。,2017;Kipf&Welling,2017)。与常规域上的卷积和池化层概念类似,GNN能够通过传递,转换和聚合信息来(分层)提取局部嵌入(Bronstein等人,2017; Gilmer等人,2017; Battaglia等人。 ,2018;Ying等,2018;Morris等,2019)。

但是,实现GNN具有挑战性,因为需要在大小各异的高度稀疏和不规则数据上实现高GPU吞吐量。在这里,我们介绍了PyTorch Geometric(PyG),这是PyTorch的几何深度学习扩展库(Paszke等人,2017),该库通过利用专用CUDA内核实现了高性能。遵循一个简单的消息传递API,它将最近提议的大多数卷积和池化层捆绑到一个统一的框架中。所有已实现的方法都支持CPU和GPU计算,并遵循

不变的数据流范式,可以使图形结构随时间动态变化。

评论列表

  • 加载数据中...

编写评论内容

linker
发表于 2019-11-19

几乎所有最近提出的邻域聚合功能都可以提升到此接口,包括(但不限于)已经集成到PyG中的方法:为了学习任意图,我们实现了GCN(Kipf&Welling,2017)及其简化版本(SGC),来自Wu等。 (2019),频谱chebyshev和ARMA滤波器卷积(Defferrard等人,2016; Bianchi等人,2019),GraphSAGE(Hamilton等人,2017),基于注意力的算子GAT(Veliškovis等人,2018) )AGNNThekumparampil等,2018),来自Xu等的图同构网络GIN) 2019),神经预测的近似个性化传播(APPNP)运算符(Klicpera等,2019),动态邻域聚合(DNA)运算符(Fey,2019)和用于在签名网络中学习的签名运算符(Derr等) 。,2018)

为了学习点云,具有多维边缘特征的流形和图形,我们提供了Schlichtkrull等人的关系GCN运算符。 (2018),PointNet ++(Qi等人,2017),PointCNN(Li等人,2018)和基于连续核的方法MPNN(Gilmer等人,2017; Simonovsky&Komodakis,2017),MoNetMonti等人(2017),SplineCNNFey等人2018)和Wang等人的边缘卷积算子(EdgeCNN) 2018b)。

除了这些运算符,我们还提供了高级实现,例如,最大化互信息(Veliškovis等,2019),自动编码图(Kipf&Welling,2016; Pan等,2018),聚合跳跃知识(Xu等人,2018),并预测知识图中的时间事件(Jin等人,2019)。

评论列表

  • 加载数据中...

编写评论内容

linker
发表于 2019-11-19

我们介绍了PyTorch几何框架,用于在图形,点云和流形上进行快速表示学习。我们正在积极努力进一步整合现有方法,并计划将未来的方法快速整合到我们的框架中。欢迎所有研究人员和软件工程师与我们合作,扩大其范围。

这项工作得到了德国研究协会(DFG)在合作研究中心SFB876中的支持,该研究中心通过资源受限分析提供信息,项目A6B2。我们感谢Moritz Ludolph和所有其他贡献者在此项目中的出色参与。最后但并非最不重要的一点,我们感谢克里斯托弗·莫里斯(Christopher Morris)的富有成果的讨论,校对和有益的建议。

评论列表

  • 加载数据中...

编写评论内容

linker
发表于 2019-11-19

考资料

P.W.Battaglia,J.B.HamrickV.Bapst,A.Sanchez-GonzalezV.F.Zambaldi,M.Malinowski

A. Tacchetti,D。Raposo,A。Santoro,R。Faulkner,Ç。 Gülçehre,F。Song,AJ.Ballard,J。Gilmer,

G.E.Dahl,A.Vaswani,K.Allen,C.Nash,V.Langston,C.Dyer,N.Heess,D.Wierstra,P.Kohli,

M. Botvinick,O。Vinyals,Y。Li和R. Pascanu。关系归纳偏差,深度学习和图网络。 CoRR,abs / 1806.01261,2018年。

F. M. Bianchi,D。Grattarola,L。Livi和C. Alippi。使用卷积ARMA过滤器绘制神经网络图。 CoRR,abs / 1901.01343,2019。

F. Bogo,J。Romero,M。Loper和M. J. Black。 FAUST:3D网格注册的数据集和评估。在CVPR中,2014年。

A. Bojchevski和S.Günnemann。属性图的深度高斯嵌入:通过排名的无监督归纳学习。在ICLR中,2018年。

E. Boschee,J。Lautenschlager,S。O’Brien,S。Shellman,J。Starz和M. Ward。 ICEWS编码的事件数据。哈佛Dataverse,2015年。

M. M. Bronstein,J。Bruna,Y。LeCun,A。Szlam和P. Vandergheynst。几何深度学习:超越欧几里得数据。在《信号处理》杂志上,2017年。

C.蔡和Y.王。非属性图分类的简单有效基线。 CoRR,abs / 1811.03508,2018年。

C. Cangea,P。Veliškovis,N。Jovanovis,T。N. Kipf和P.Liò。走向稀疏的层次图分类器。在NeurIPS-W中,2018年。

A.X. Chang,T。Funkhouser,L.J。Guibas,P.Hanrahan,Q.Huang,Z.Li,S.Savarese,M.Savva,

S. Song,H。Su,JJ Xiao,L。Yi和F. Yu。 ShapeNet:信息丰富的3D模型存储库。

CoRRabs / 1512.03012,2015年。


 

M. Defferrard,X。Bresson和P. Vandergheynst。具有快速局部频谱滤波的图上的卷积神经网络。在NIPS中,2016年。

T. Derr,Y。Ma和J. Tang。有符号图卷积网络。在ICDM中,2018年。

I. S. Dhillon,Y。Guan和B. Kulis。没有特征向量的加权图割:一种多层次的方法。在TPAMI中,2007年。

B. O. Fagginger Auer和R. H. Bisseling。用于贪婪图匹配的GPU算法。 《面对多核-挑战II-并行计算中的新范例和新技术》,2011年。

M. Fey。只需跳:图神经网络中的动态邻域聚合。在ICLR-W中,2019年。

M. Fey,J。E. Lenssen,F。Weichert和H.Müller。 SplineCNN:具有连续B样条曲线内核的快速几何深度学习。在CVPR中,2018年。

H. Gao和S. Ji。图U-Net。 https://opICLR。

J. Gilmer,S.S。Schoenholz,P.F.Riley,O.Vinyals和G.E.Dahl。用于量子化学的神经信息传递。在ICML中,2017年。

P. Guerrero,Y。Kleiman,M。Ovsjanikov和N. J. Mitra。 PCPNet:从原始点云中学习局部形状属性。计算机图形学论坛,37,2018。

W. L. Hamilton,R。Ying和J. Leskovec。大图的归纳表示学习。在

NIPS2017年。

W. Jin,C。Zhang,P。Szekely和X. Ren。循环事件网络,用于根据时间知识图进行推理。在ICLR-W中,2019年。

K. Kersting,N。M. Kriege,C。Morris,P。Mutzel和M. Neumann。图内核的基准数据集。 http://graphkernels.cs.tu-dortmund.de,20年。

T. N. Kipf和M. Welling。变异图自动编码器。在NIPS-W中,2016年。

T. N. Kipf和M. Welling。图卷积网络的半监督分类。在

ICLR2017年。

J.Klicpera,A。Bojchevski和S.Günnemann。然后进行预测:图神经网络满足个性化PageRank。在ICLR中,2019年。

S. Kumar,F。Spezzano,V。Subrahmanian和C. Faloutsos。加权符号网络中的边缘权重预测。在ICDM中,2016年。

K. Leetaru和P.A. Schrodt。 GDELT:有关事件,位置和音调的全局数据。 ISA年度大会,2013年。

Y.Li,D。Tarlow,M。Brockschmidt和R. Zemel。门控图序列神经网络。在ICLR,2016年。

Y,卜河,孙明,吴伟,XX.迪和陈B. PointCNN:F转换点上的卷积。在NeurIPS中,2018年。

G. Montavon,M。Rupp,V。Gobre,A。Vazquez-Mayagoitia,K。Hansen,A。Tkatchenko,K。Müller和O. A. von Lilienfeld。机器学习化学化合物空间中的分子电子性质。新物理学杂志,2013。

F. Monti,D。Boscaini,J。Masci,E。Rodolà,J。Svoboda和M. M. Bronstein。使用混合模型CNN在图形和流形上进行几何深度学习。在CVPR中,2017年。

C. Morris,M。Ritzert,M。Fey,W。L. Hamilton,J。E. Lenssen,G。Rattan和M. Grohe。 Weisfeiler和Leman走向神经:高阶图神经网络。在AAAI中,2019。


评论列表

  • 加载数据中...

编写评论内容
LoginCan Publish Content