什么是数据评估

用户研究评估涉及将生成的输出提供给人们，并评估它在多大程度上帮助他们完成任务或实现目标。这被认为是评估系统真实世界有用性的最直接方式。人工评分是另一种评估方法，即要求人们直接评估生成输出的质量和有用性。

在线评估使用A/B测试等方法，将系统的不同版本部署给不同的用户群体，并比较它们的表现。这种方法可以直接评估系统在真实环境中的效果，但需要大量用户流量，并且评估周期较长。

离线评估使用BLEU、METEOR、ROUGE和LEPOR等自动指标，将生成的输出与人工编写的文本进行比较。这种方法评估速度快且可扩展性强，但指标可能无法完全捕捉系统的真实有效性。

评估方法的选择取决于项目的目标和约束条件。基于任务的用户研究可以提供最有意义的见解，但耗时且成本高。自动指标提供了效率，但可能无法完全反映真实世界表现。通常会结合使用多种评估方法，以获得全面评估。

数据评估是一个持续的过程。在部署后，其他利益相关者会使用工作模型生成商业智能。数据科学家需要规划部署过程，包括教授他人模型功能、持续监控和维护数据挖掘应用程序。业务分析师使用该应用程序为管理层创建报告、与客户分享结果并改进业务流程。数据挖掘人员需要根据业务反馈来调整模型、调整业务目标或重新审视数据。

形成性评估旨在提供信息以改进产品或流程，而总结性评估则提供有关产品或流程短期有效性或长期影响的信息，以决定是否采用。形成性评估侧重于改进，总结性评估侧重于决策。

对于自然语言生成（NLG）系统的评估，有三种基本技术：任务评估、人工评分和指标评估。任务评估评估生成的文本在帮助用户执行任务方面的表现。人工评分则由人直接对生成文本的质量和有用性进行评分。指标评估则使用自动指标（如BLEU、METEOR、ROUGE和LEPOR）将生成文本与人工书写的文本进行比较。

数据评估还可分为内部评估（将聚类结果总结为质量分数）、外部评估（与"真实"分类进行比较）、人工评估（由人工专家进行）和间接评估（评估在预期应用中的实用性）。然而，这些方法也有局限性，内部措施可能只反映聚类目标，而外部措施则需要拥有"真实"标签，这违背了聚类的目的。

随着数据量的不断增长，尤其是非结构化数据如文本、图像、视频等的激增，给数据评估带来了巨大挑战。非结构化数据缺乏固定模式，难以直接进行分析和处理，需要先进行数据清洗和转换，使其结构化。

数据评估往往需要经过多个环节，包括数据采集、清洗、转换、建模、可视化等，每个环节都可能涉及多个脚本或工具。整个分析流程的正确执行顺序通常只有数据科学家才了解，缺乏统一的规范，给可重复性带来挑战。

数据处理和分析通常需要耗费大量时间，尤其是在处理海量数据时。长时间运行不仅降低了效率，而且给调试带来了极大困难。一旦出现错误，很难定位和修复问题。

数据分析系统必须能够随着数据量和操作数的增加而扩展，否则将成为整个流程的瓶颈。同时，系统还需要具备良好的容错能力，能够识别和处理数据处理过程中的故障。

准确捕获和记录数据在整个处理过程中的变化轨迹是数据评估的关键，但对于"黑盒"操作来说，这是一个极大的挑战。缺乏数据血缘信息将严重影响数据评估的可解释性和可重复性。

由于数据驱动程序面临的问题错综复杂，目前还缺乏一个统一的理论框架来指导数据评估的有效实施。这使得数据评估更多依赖于经验和最佳实践。