2023 年值得关注的 7 大数据质量趋势

  根据2022 年数据质量状况报告，在所有接受调查的企业中，近 70% 的企业已经开始了数据质量管理 (DQM) 之旅。不跟上 DQM 趋势和技术步伐的组织将会落在后面，这一点很快变得很明显。以下是您应该了解的重要的趋势。
  1. 建立数据素养的工作文化
  尽管数据被认为是成功的关键因素，组织中的每个人都可以使用数据，但很少有人真正了解他们所使用的数据的价值。38% 的调查受访者承认，缺乏管理和分析数据的熟练资源阻碍了他们的发展。34% 的人不理解他们使用的数据。
  当您不知道您面前的数据的潜力时，您就无法使用它。这使人们意识到企业需要优先考虑建立强大的数据素养文化。高层管理人员和一线员工需要具备理解数据、分析数据并与之互动的能力。
  2. 以云数据技术上线
  从将云视为打破孤岛和集中存储数据的一种方式，它现在已成为数字解决方案、服务和自动化工具的首选之地。用于数据质量相关任务的云服务提供商的数量正在稳步增加。其中的一些关键原因是它们提供的可扩展性、较低的前期成本和易用性。
  新的云数据解决方案专注于一系列服务，从自动数据质量检查、自动翻译和安全到快速迁移、人工智能驱动的数据操作和治理集成。随着对结构化数据仓库和管理的需求增长，数据中心也变得越来越流行。
  3. 为高效的 DQM 部署 AI/ML 模型
  为了使 DQM 流程更加高效和可靠，数据团队正在从手动流程转向开发和部署 AI/ML 模型。根据麦肯锡的一份报告，截至 2021 年，对人工智能的投资已突破 1650 亿美元大关。
  这被用于解决常见的数据质量问题和自动化数据分类、标记、预测分析等任务。借助人工智能，数据质量团队可以超越结构数据管理需求和文本需求，实现与自然语言处理、计算机视觉、知识图谱等相关功能的自动化。
  4. 自动化流程以提高效率
  整个数据管理行业的自动化正在兴起。这样做的主要原因是它可以节省时间。元数据和人工智能自动化的一些流程包括数据发现和入职、数据质量监控、黄金记录创建和数据匹配。鉴于即使是好的数据也会随着时间的推移而衰减，因此定期质量检查等流程的自动化就显得尤为重要。
  5. 更加注重信任和安全
  尽管组织已经开始致力于数据治理和信任，但它尚未充分发挥其潜力。随着意识的增强，DQN 解决方案越来越关注微调治理机会和信任架构。超过340 亿美元已投资于数字身份和信任架构领域。
  越来越多地使用智能数据仓库来自动化和集成信任需求并驱动数据加密。自动执行安全漏洞和治理数据检查的工具被视为获得竞争优势的一种方式。
  6. 数据质量作为合规工具
  政府在社会、治理和环境方面的法规越来越严格。因此，组织不得不花费更多的时间和精力通过数据质量检查来履行合规性和合同义务。
  例如，宣传自己为可持续品牌的品牌现在必须更加努力地证明自己配得上这个标签。许多人被指控洗绿或歪曲他们的报告。即使指控没有根据，解决这个问题的方法是坚持要求供应商提供高质量的报告，并通过及时报告来满足政府监管的要求。
  7. 低代码/无代码数据应用
  随着组织致力于数据民主化并让每个人都对数据质量负责，对低代码/无代码数据应用程序的需求不断增加。这些是任何人都可以学习如何使用的工具，即使他们之前没有任何编码知识或广泛的技术技能。无需更改基本代码即可部署在任何硬件上的容器化应用程序的使用也在增加。从 2021 年到 2027 年，使用容器化应用程序的组织数量
  这个想法是让人们能够独立地加载数据，采取措施提高数据质量并自动检查以节省数据工程师的时间。然后，他们可以利用这段时间来确定 DQM 所需的其他任务的优先级。