首页  »  云计算知识  »  什么是增量学习

什么是增量学习?

增量学习是指一个能在新环境中不断汲取到新知识同时保留旧知识的学习方法,是人工智能实现终身式、增量式学习的方法之一。目前增量学习多数使用决策树和神经网络算法来实现。一方面因其无需保存历史数据,可以减少占用贮存空间;另一方面它能够通过利用历史的训练结果减少后续训练的时间。增量学习主要用于处理体量较大的数据库或流式数据。

新用户享受中国区域 12个月免费套餐

什么是增量学习

首页  »  云计算知识  »  什么是增量学习

什么是增量学习

什么是增量学习?

增量学习是指一个能在新环境中不断汲取到新知识同时保留旧知识的学习方法,是人工智能实现终身式、增量式学习的方法之一。目前增量学习多数使用决策树和神经网络算法来实现。一方面因其无需保存历史数据,可以减少占用贮存空间;另一方面它能够通过利用历史的训练结果减少后续训练的时间。增量学习主要用于处理体量较大的数据库或流式数据。

新用户享受中国区域 12个月免费套餐

增量学习的特点

增量学习的特点

增量学习可以主动从新的数据中获得新的知识。它能够做到不重复处理历史数据,修正并增强历史数据使其与新数据相匹配。它能够减少训练时间以及占用的存储空间,极大提升了学习效率。增量学习符合现今处理大批量数据的需求。对增量学习模型的研究可帮助开发人员进一步了解人类的学习方式和生物神经网络的构成机制,为开发新计算模型和有效学习算法提供技术基础。

增量学习的方法

增量学习的方法

正则化_增量学习的方法

正则化(regularization)

正则化的增量学习方法不需要利用历史数据让算法模型重复学习旧任务。它的运行逻辑是为新任务的损失函数增加束缚,用以保障旧知识不被新的知识所覆盖。通过增加额外损耗的方法来修正梯度,并保证模型覆盖到旧知识,一定程度上解决了灾难性遗忘的问题,是一种具有高准率的增量学习方法。

回放_增量学习的方法

回放(replay)

回放的增量学习方法在执行新任务时,其中具有代表性的历史数据被留存并应用到新模型中来,以帮助新模型复习旧知识。因此它的主要问题一是留存哪部分的历史数据,二是如何将历史数据与新的数据进行整合来进行共同训练。更需要注意的是当任务数量剧增时,训练成本会随之增加,如何平衡二者的计算资源与储存空间是回放增量学习方法需要攻克的难点。

参数隔离_增量学习的方法

参数隔离(parameter isolation)

参数隔离的增量学习方法是通过增加参数数量与增大计算量,增大新任务模型,隔离不同新旧模型的数据,减少灾难性遗忘的问题。一般仅应用于简单的增量学习任务。它的运行逻辑为不改变历史数据的参数,增大模型量,对新旧任务的参数进行隔离。

正则化_增量学习的方法

正则化(regularization)

正则化的增量学习方法不需要利用历史数据让算法模型重复学习旧任务。它的运行逻辑是为新任务的损失函数增加束缚,用以保障旧知识不被新的知识所覆盖。通过增加额外损耗的方法来修正梯度,并保证模型覆盖到旧知识,一定程度上解决了灾难性遗忘的问题,是一种具有高准率的增量学习方法。

回放_增量学习的方法

回放(replay)

回放的增量学习方法在执行新任务时,其中具有代表性的历史数据被留存并应用到新模型中来,以帮助新模型复习旧知识。因此它的主要问题一是留存哪部分的历史数据,二是如何将历史数据与新的数据进行整合来进行共同训练。更需要注意的是当任务数量剧增时,训练成本会随之增加,如何平衡二者的计算资源与储存空间是回放增量学习方法需要攻克的难点。

参数隔离_增量学习的方法

参数隔离(parameter isolation)

参数隔离的增量学习方法是通过增加参数数量与增大计算量,增大新任务模型,隔离不同新旧模型的数据,减少灾难性遗忘的问题。一般仅应用于简单的增量学习任务。它的运行逻辑为不改变历史数据的参数,增大模型量,对新旧任务的参数进行隔离。

增量学习的未来发展方向

增量学习的未来发展方向

想要获得高效的增量学习模型,需要有丰富的训练经验。目前阶段的增量学习方法非常繁杂,不仅训练时间长,而且对应用者的经验要求也特别高。随着大数据与互联网技术的飞速发展,数据库已经得到了广泛应用,不断累积的巨量数据需要快速的训练与完善。只要掌握增量学习的方法就可以有效地应对海量数据。因此,在未来增量学习会应用于聚类问题,维度约减,特征选择,数据挖掘等领域。

亚马逊云科技热门云产品

亚马逊云科技热门云产品

Amazon SageMaker

Amazon SageMaker

适用于每位开发人员和数据科学家的机器学习

Amazon Lake Formation

Amazon Lake Formation

数天内构建安全的数据湖

Amazon Neptune

Amazon Neptune

为云构建快速、可靠的图形数据库

Amazon Personalize

Amazon Personalize

以更快的速度大规模创建个性化的客户体验

欢迎加入亚马逊云科技培训中心

从 0 到 1 轻松上手云服务,获取更多官方开发资源及培训教程

准备好体验亚马逊云科技提供的云服务了吗?

新用户享受中国区域 12 个月免费套餐

开始使用亚马逊云科技免费构建

开始使用亚马逊云科技免费构建

关闭
热线

热线

1010 0766
由光环新网运营的
北京区域
1010 0966
由西云数据运营的
宁夏区域