增量学习的特点
增量学习的特点
增量学习可以主动从新的数据中获得新的知识。它能够做到不重复处理历史数据,修正并增强历史数据使其与新数据相匹配。它能够减少训练时间以及占用的存储空间,极大提升了学习效率。增量学习符合现今处理大批量数据的需求。对增量学习模型的研究可帮助开发人员进一步了解人类的学习方式和生物神经网络的构成机制,为开发新计算模型和有效学习算法提供技术基础。
增量学习的方法
增量学习的方法
正则化(regularization)
正则化的增量学习方法不需要利用历史数据让算法模型重复学习旧任务。它的运行逻辑是为新任务的损失函数增加束缚,用以保障旧知识不被新的知识所覆盖。通过增加额外损耗的方法来修正梯度,并保证模型覆盖到旧知识,一定程度上解决了灾难性遗忘的问题,是一种具有高准率的增量学习方法。
回放(replay)
回放的增量学习方法在执行新任务时,其中具有代表性的历史数据被留存并应用到新模型中来,以帮助新模型复习旧知识。因此它的主要问题一是留存哪部分的历史数据,二是如何将历史数据与新的数据进行整合来进行共同训练。更需要注意的是当任务数量剧增时,训练成本会随之增加,如何平衡二者的计算资源与储存空间是回放增量学习方法需要攻克的难点。
参数隔离(parameter isolation)
参数隔离的增量学习方法是通过增加参数数量与增大计算量,增大新任务模型,隔离不同新旧模型的数据,减少灾难性遗忘的问题。一般仅应用于简单的增量学习任务。它的运行逻辑为不改变历史数据的参数,增大模型量,对新旧任务的参数进行隔离。
正则化(regularization)
正则化的增量学习方法不需要利用历史数据让算法模型重复学习旧任务。它的运行逻辑是为新任务的损失函数增加束缚,用以保障旧知识不被新的知识所覆盖。通过增加额外损耗的方法来修正梯度,并保证模型覆盖到旧知识,一定程度上解决了灾难性遗忘的问题,是一种具有高准率的增量学习方法。
回放(replay)
回放的增量学习方法在执行新任务时,其中具有代表性的历史数据被留存并应用到新模型中来,以帮助新模型复习旧知识。因此它的主要问题一是留存哪部分的历史数据,二是如何将历史数据与新的数据进行整合来进行共同训练。更需要注意的是当任务数量剧增时,训练成本会随之增加,如何平衡二者的计算资源与储存空间是回放增量学习方法需要攻克的难点。
参数隔离(parameter isolation)
参数隔离的增量学习方法是通过增加参数数量与增大计算量,增大新任务模型,隔离不同新旧模型的数据,减少灾难性遗忘的问题。一般仅应用于简单的增量学习任务。它的运行逻辑为不改变历史数据的参数,增大模型量,对新旧任务的参数进行隔离。
增量学习的未来发展方向
增量学习的未来发展方向
想要获得高效的增量学习模型,需要有丰富的训练经验。目前阶段的增量学习方法非常繁杂,不仅训练时间长,而且对应用者的经验要求也特别高。随着大数据与互联网技术的飞速发展,数据库已经得到了广泛应用,不断累积的巨量数据需要快速的训练与完善。只要掌握增量学习的方法就可以有效地应对海量数据。因此,在未来增量学习会应用于聚类问题,维度约减,特征选择,数据挖掘等领域。