什么是图计算?

图计算,是能够运算分析、表现演绎现实世界中不同客体事物关系的计算机技术。用该技术处理大数据时,用户可以将现实场景中所需计算的数据上传至图数据库,随后执行数据提取和转化操作;接下来,这些经过了处理的图结构数据,可作为输入源供给图数据引擎,进行分析处理、分类应用。

图计算的工作原理

图计算的工作原理主要集中在利用多台计算机并行处理能力进行高性能计算。图 G 表示计算机网络的结构,其中每个节点对应一台计算机,每条边表示计算机之间的通信链路。最初,每台计算机只知道图 G 中与其直接相连的邻居,计算机之间必须相互交换消息以发现更多关于 G 结构的信息。主要目标是协调分布式系统的操作,其中每台计算机都必须产生自己的颜色作为输出。

分布式算法

分布式算法用于解决分布式计算环境中的问题。分布式算法领域的重点与并行算法有所不同,但两个领域存在很多交互。例如,ColeVishkin 图着色算法最初被提出为并行算法,但同样的技术也可以直接用作分布式算法。

分布式计算架构

分布式计算采用了多种硬件和软件架构,如共享内存、共享磁盘和无共享架构。分布式编程通常采用客户端服务器、三层、n 层或对等架构。分布式系统中的协调通过协调器选举算法实现,其中从不同处理器上的一组进程中选择一个进程充当中央协调器。

图计算的优势

图计算相较于传统的关系型数据库具有诸多优势。以下是图计算的主要优势:

更快的关联数据查询速度

图计算能够更高效地执行关联数据查询。对于复杂的查询,图计算可以直接遍历相关实体之间的关系,而关系型数据库则需要多次查询和连接操作。图计算在处理这类复杂查询时具有明显的性能优势。

更快的关联数据查询速度

更自然地扩展到大型数据集

与关系型数据库需要昂贵的连接操作不同,图计算可以更自然地扩展到大型数据集。图计算依赖于索引无关的邻接关系,一旦检索到某个节点,与之直接相关的节点就会被缓存,使后续查询比初始查询更快。这种优势使得图计算在处理大型数据集时表现出色。

更自然地扩展到大型数据集

更适合管理不断变化的数据结构

图计算依赖于灵活的模式,更适合管理临时性和不断变化的数据结构。与关系型数据库的刚性模式不同,图计算可以更好地适应数据模式的演变,从而更好地满足现代应用对数据管理的需求。

更适合管理不断变化的数据结构

更直观地映射面向对象应用

图计算的数据模型能够更直接地映射到面向对象应用的结构。节点存储数据对象,边缘存储对象之间的关系。这种本质上的对应关系使得图计算在处理面向对象应用时具有天然的优势。

更直观地映射面向对象应用

图计算系统

图计算系统是分布式计算的一种形式,将计算过程抽象为图结构,然后在分布式节点上执行。图计算系统具有以下特点:

网页排名(PageRank)算法的设计非常适合图计算系统。计算通常围绕静态的、相对稳定的拓扑结构进行,而图计算系统能高效管理这种图数据结构。

图计算系统采用紧凑的数据结构存储图数据,降低了读取时访问的数据总量,缩短了读取时间。同时,由于不需要修改图的拓扑结构,也提高了效率。

图计算系统需要选择合适的图分割方式和图计算模型,以解决并行处理的挑战,充分利用分布式计算资源。

图计算系统将计算过程抽象为图结构,使得计算过程更易于理解和优化。

除了网页排名,图计算系统还广泛应用于社交网络分析、推荐系统、交通路线规划等基于图结构的计算任务。

总之,图计算系统通过将计算过程抽象为图结构,并采用高效的数据管理和并行计算策略,为基于图结构的大规模分布式计算提供了强大的支持。

图计算框架

图计算框架是一种将图计算的多维应用操作封装为输入/输出端口的开发系统。它专注于与图相关的模型设计和应用,而无需关注底层细节。图计算框架基本上实现了分布式同步(Bulk Synchronous Parallel,BSP)计算模式,其原则是批量同步。这意味着计算可以划分为多个超步骤,从而避免计算关联。目前开源的主要图计算框架包括:

Spark GraphX

这是 Apache Spark 的图计算组件,支持图并行计算。它提供了一组基本运算符,如子图、连接、聚合等,并支持基于 Pregel 的图计算。

GraphFrames

这是一个基于 Apache Spark 的分布式图形处理包。它提供了一种将图形数据结构映射到 Spark DataFrame 的方法,从而可以利用 Spark 的优势进行图形分析。

GraphLab

这是一个用于图形、机器学习和数据挖掘的高性能分布式计算框架。它支持异步并行计算,并提供了各种图形分析算法和工具。

Giraph

这是一个用于构建可扩展的批处理图形处理程序的开源迭代图形处理系统,最初由 Apache 孵化。它基于 Pregel 的计算模型,并针对大规模图形处理进行了优化。

这些图计算框架通过提供高级抽象和优化,简化了图形计算的开发和部署。它们支持各种图形算法和应用,如社交网络分析、推荐系统、知识图谱等,并且可以在大规模数据集上高效运行。

云计算专家 1v1 定制 DeepSeek 企业级部署方案

企业尊享服务现已推出!现在申请即可享受云计算专家 1v1 定制 DeepSeek 企业级部署方案,实现高效数字化转型!

图计算应用

网页排序设计

在架构搜索引擎框架时,可以应用图计算的方式,将整个互联网视为一张巨大的多边形图。具体来说,每个网页被视为多边形的"顶点",网页之间的超链接则被视为"边"。通过将互联网抽象为一个图形结构,搜索引擎可以利用图计算算法高效地计算网页之间的关系和重要性。这种基于图计算的网页排序设计,能够帮助搜索引擎更好地理解网页之间的链接结构,从而提高搜索结果的相关性和质量。

网页排序设计

构建社交网络

构建社交网络也需要应用到图计算。社交网络本质上是一个"图",其中每个人都是"顶点",而人与人之间的关系则是"边"。通过将社交网络建模为一个图数据结构,可以发现社群的数量和规模,并分析人际关系的复杂性。这种基于图计算的社交网络分析方法,能够广泛应用于金融风险防控等场景中,帮助我们更好地理解人际关系网络的结构和动态。

构建社交网络

最短路径链接

最短路径的六度空间理论,也是图计算的一种应用。该理论表示,任意两个陌生人之间,所相隔的人际关系不会超过5个中间人,即通过不超过5个中间人,就能够认识任何人。换句话说,两个人之间的最短路径长度都小于等于6。这一理论揭示了人际网络的"小世界"特性,即整个网络中任意两个节点之间的距离都很短。通过图计算算法,我们可以高效地计算出任意两个节点之间的最短路径,从而更好地理解和利用这种"小世界"网络结构。

最短路径链接

图计算与传统计算的区别

图计算与传统计算在本质上存在着显著区别。下面从几个方面对此进行阐述:

图计算关注于协调任意分布式系统的运行,其中图 G 表示计算机网络的结构。每台计算机最初只知道其直接邻居,必须通过消息交换来发现整个网络的整体结构。主要目标是让每台计算机产生自己的颜色作为输出,这可被视为一种分布式算法。相比之下,传统的集中式计算将图 G 编码为字符串,并将其作为输入提供给单个计算机程序,然后该程序为整个图找到一种着色方案。并行计算采用类似的方法,但利用多台计算机并行处理图的不同部分,并产生一种着色方案。重点在于利用多台计算机的处理能力进行高性能计算。

图计算本质上是分布式的,重点是协调计算机网络的运行。而传统计算(无论是集中式还是并行式)都将图视为输入,由一台或多台计算机进行处理。因此,图计算更侧重于分布式协调,而传统计算则更侧重于高性能计算。

在图计算中,每台计算机只知道其直接邻居的信息,必须通过消息交换发现整个网络拓扑。而在传统计算中,整个图结构作为输入被提供给计算机或计算机集群。因此,图计算对计算资源的需求更加分散,而传统计算则需要集中的计算资源。

图计算面临的挑战

图计算是一种新兴的计算范式,旨在高效处理图形结构化数据。与传统的关系型数据库和非关系型数据库相比,图计算具有独特的优势,但同时也面临着一些挑战。首先,图计算需要处理大规模的图形数据,对存储和计算资源提出了很高的要求。其次,图计算算法往往比较复杂,需要高效的并行计算能力。此外,图计算还需要解决数据一致性、事务处理等问题,以确保数据的完整性和正确性。总的来说,图计算虽然前景广阔,但仍需要持续的创新和优化,以应对存储、计算、算法等多方面的挑战。

图计算面临的挑战

欢迎加入亚马逊云科技培训中心

从 0 到 1 轻松上手云服务,获取更多官方开发资源及培训教程

快速上手训练营

第一课:亚马逊云科技简介

本课程帮助您初步了解云平台与本地环境的差异,以及亚马逊云科技平台的基础设施和部分核心服务,包括亚马逊云科技平台上的弹性高可用架构,架构设计准则和本地架构迁移上云的基本知识。

亚马逊云科技技术讲师:李锦鸿

第二课:存储与数据库服务

您将在本课程中学习到亚马逊云科技上的三个存储服务分别是什么。我们也将在这个模块中为您介绍亚马逊云科技上的关系型数据库服务 Amazon Relational Database Service (RDS)。

亚马逊云科技资深技术讲师:周一川

第三课:安全、身份和访问管理

在这个模块,您将学习到保护您在亚马逊云科技上构建的应用的安全相关知识,责任共担模型以及身份和访问管理服务, Identity and Access Management (IAM) 。同时,通过讲师演示,您将学会如何授权给 EC2 实例,允许其访问 S3 上的资源。

亚马逊云科技技术讲师:马仲凯

了解更多入门学习计划 »

快速上手训练营

账单设置与查看

账单设置与查看

快速注册账号 享用免费套餐

快速注册账号 享用免费套餐

跟随注册步骤详解,三分钟快速创建账号,领取免费权益   立即注册 »

跟随注册步骤详解,三分钟快速创建账号,领取免费权益   立即注册 »

  • 1 进入注册页面
  • 1. 打开中国区

    输入邮箱 - 邮箱验证

    1. 打开中国区 账号注册页面

    输入邮箱 - 邮箱验证
    01
    填写您
    注册账号的邮箱
    点击“继续”
    01
    填写您
    注册账号的邮箱
    点击“继续”
    02
    查看您的
    注册账号邮箱
    02
    查看您的
    注册账号邮箱
    03
    输入
    邮箱中收到的验证码
    点击“继续”
    03
    输入
    邮箱中收到的验证码
    点击“继续”
    注:该链接中的内容显示语言 是与您的网页浏览器设置相一致的,您可以根据需要自行调整语言栏。 *图片点击可放大
  • 2 设置用户名及密码
  • 2. 填写用户名密码

    设置用户名 - 设置密码 - 确认密码

    2. 填写用户名密码

    设置用户名 - 设置密码 - 确认密码
    01
    请设置您的
    账号用户名
    *例如: webchina
    01
    请设置您的
    账号用户名
    *例如: webchina
    02
    为您的帐号
    设置密码
    02
    为您的帐号
    设置密码
    03
    重新
    输入密码
    03
    重新
    输入密码
    *图片可点击放大
  • 3 填写企业信息
  • 3. 填写账号联系人以及公司信息

    3. 填写账号联系人以及公司信息

    填写姓名 - 填写联系电话 - 填写公司名称 - 填写办公地址 - 选择是否需要发票 - 点击查看客户协议
    填写姓名 - 填写联系电话 - 填写公司名称 - 填写办公地址 - 选择是否需要发票 - 点击查看客户协议
    01
    填写公司联系人
    姓名全称
    01
    填写公司联系人
    姓名全称
    02
    填写公司联系人的
    联系电话
    02
    填写公司联系人的
    联系电话
    03
    填写
    公司名称
    *重要! ! !公司名称请务必与您所提供的营业执照公司名称保持一致
    03
    填写
    公司名称
    *重要! ! !公司名称请务必与您所提供的营业执照公司名称保持一致
    04
    填写
    公司办公地址
    省份/自治区/直辖市 - 城市 - 区 - 街道门牌号以及楼层信息 - 邮政编码
    04
    填写
    公司办公地址
    省份/自治区/直辖市 - 城市 - 区 - 街道门牌号以及楼层信息 - 邮政编码
    05
    请选择
    是否需要发票
    05
    请选择
    是否需要发票
    06
    点击查看
    客户协议
    勾选方框表示您已阅读,并同意客户协议的条款
    06
    点击查看
    客户协议
    勾选方框表示您已阅读,并同意客户协议的条款
    *图片可点击放大
  • 4 企业信息验证
  • 4. 企业信息验证

    上传企业执照 - 填写负责人姓名 - 填写联系方式 -上传身份证件

    4. 企业信息验证

    上传企业执照 - 填写负责人姓名 - 填写联系方式 -上传身份证件
    01
    在此上传
    企业注册执照
    01
    在此上传
    企业注册执照
    02
    请填写网络安全负责人的
    姓名

    请注意: 该字段务必与您下方提供的身份证号匹配或与证件上的姓名保持一致

    02
    请填写网络安全负责人的
    姓名

    请注意: 该字段务必与您下方提供的身份证号匹配或与证件上的姓名保持一致

    03
    请填写网络安全负责人的
    联系方式
    有效的电子邮件地址 - 有效的中国内地 手机号码 - 座机号码(如无座机,请填写正确有效的手机号码)
    03
    请填写网络安全负责人的
    联系方式
    有效的电子邮件地址 - 有效的中国内地 手机号码 - 座机号码(如无座机,请填写正确有效的手机号码)
    04
    在此上传网络安全负责人的
    身份证件

    请注意:当您选择证件类型为“身份证”时,您需要填写正确的身份证号码,选择其他证件类型时,您需要上传证件扫描稿

    04
    在此上传网络安全负责人的
    身份证件

    请注意:当您选择证件类型为“身份证”时,您需要填写正确的身份证号码,选择其他证件类型时,您需要上传证件扫描稿

    *图片可点击放大
  • 5 完成手机验证
  • 5. 完成手机验证

    输入手机号 - 输入验证码

    5. 完成手机验证

    输入手机号 - 输入验证码
    01
    在此填写
    手机号
    01
    在此填写
    手机号
    02
    请输入您收到的
    4 位
    验证码
    02
    请输入您收到的 4 位
    验证码
    03
    请点击
    继续
    03
    请点击
    继续
    *图片可点击放大
  • 6 选择支持计划
  • 6. 选择支持计划

    选择一个亚马逊云科技支持计划

    6. 选择支持计划

    选择一个亚马逊云科技支持计划
    请根据需求
    选择一个支持计划
    请根据需求
    选择一个支持计划
    *图片点击可放大
限时钜惠

免费试用 Amazon EC2 T4g 实例

新老用户现可享受每月 750 小时的免费 t4g.small 实例使用时长,优惠期至 2025 年 12 月 31 日!

关闭
1010 0766
由光环新网运营的
北京区域
1010 0966
由西云数据运营的
宁夏区域
关闭
由光环新网运营的
北京区域
由西云数据运营的
宁夏区域