人工智能可最大化日志价值的 8 种方法

日志记录对于成功的DevSecOps团队至关重要。日志中充满了监控和了解系统所需的信息。追踪缺陷？试图了解来自新区域的可疑登录突然激增的原因？需要弄清楚应用程序为何会爬网？日志是了解实际情况的唯一事实来源。

但日志也带来了一个问题：数据量巨大。服务和应用程序记录的信息一直在增长。而且还在增长。用不了多久，数据量就会变得非常大，超出了管理能力。数据变得势不可挡。警报疲劳开始出现。

数据在不断增长。人力资源却无法增长。

但希望就在眼前。人工智能的创新彻底改变了持续日志监控的过程。人工智能算法可以分析和检测大量数据集中的模式，将原始日志转化为可操作的见解，并主动向团队发出问题警报——所有这些都以更高的精度大规模地协助人类。

让我们看看人工智能可以最大化日志价值的八种方法。

处理海量数据

首先，最明显的一点。云原生环境拥有数十个（或数百个）分布式组件，会产生大量日志数据。反过来，这些数据需要高水平的专业知识来筛选和分析。

尽管许多组织目前正面临专业人才的短缺，这些人才能够运用所需技能从数据中提炼出有价值的洞察。公司可以尝试培养更多具备这些技能的人才，但这一过程往往进展缓慢。同时，数据的复杂性在不断增长，其发展速度常常超出了新技能培养的步伐。

这正是人工智能（AI）发挥作用的地方：它提供了一种可扩展的解决方案来处理日志数据，无论是海量数据还是实时数据。人类工作者需要休息和时间来恢复精力；他们需要下班、处理健康问题、休假，甚至在不被注意的时候偷偷玩一会儿游戏。但是，日志数据的产生不会停歇，无论白天还是夜晚，无论工作日还是周末。而基于人工智能的系统，具备分析、检测和警报的功能，能够持续不断地运行，确保数据的持续监控和分析。

自动化安全和访问控制

处理日志时，保护任何敏感的用户信息并确保只有授权的团队成员才能访问数据非常重要。SecOps 经理通常会实施细粒度的访问控制，以确保获准的团队成员可以访问（且只能访问）要使用的数据或指标。

人工智能系统可以在人类访问日志数据之前自动识别和编辑敏感信息（例如个人身份信息、财务详细信息或机密商业信息）。或者，作为自动预处理的一部分，人工智能可以去除或屏蔽数据的敏感部分。

整理来自不同来源的数据

合并来自不同来源的数据是一项复杂的任务。但这对于有效的安全和运营至关重要。当日志被正确聚合和关联时，生成的数据和指标可以提供更好的可视性和更好的故障排除所需的背景信息。

但这是一份繁琐且耗时的任务……而这正是人工智能最完美的用途。人工智能可以自动从各种来源收集信息，并识别数据中的模式，从而使分析变得更容易。

人工智能比人类更有效地关联来自不同来源的数据。现代日志分析工具利用人工智能从云服务和本地环境收集日志数据。日志分析和问题解决变得积极主动，防止对应用程序和系统的健康产生负面影响。

转换原始日志数据

组织依靠熟练的专业人员来处理和分析日志数据，但他们经常面临巨大的资源限制。人工智能可以在这方面做出巨大贡献，通过自动执行重复任务并增强人类能力。

在分析之前，日志数据通常需要清理和预处理以删除错误、重复或不相关的信息。人工智能可以自动执行此过程，确保所有数据的准确性和标准化。人工智能还可以根据相似性将日志数据组织成簇或将其归类为预定义的类别。这有助于更有效地管理数据，使人类更容易理解并根据得出的见解采取行动。

分析日志数据

在 DevSecOps 策略中，AI 的一个明显用例是自动执行重复且耗时的任务（例如数据清理、特征选择和模型训练）。有了 AI 承担这些任务，开发人员就可以专注于其他任务。

人工智能可以筛选海量数据，发现重复和异常情况，例如网络攻击的细微迹象或异常流量模式，而这些可能很容易被人类忽视。这可以增强安全性和运营洞察力。

这不仅仅是处理数据量的问题；人工智能擅长检测过于复杂或过于模糊而人眼无法捕捉到的模式。例如，让我们考虑对网络进行日志记录和监控以捕捉数据泄露的迹象。这种异常可能表现为在非工作时间向陌生的外部 IP 地址发送异常大量的数据；在每天发生的数千次合法数据传输中，这种模式可能不会立即引起人类的警惕。

另一方面，经过大量正常和恶意网络行为数据集训练的基于人工智能的系统可以通过关联不同的指标来识别这种微妙的模式：

• 数据传输的时间
• 数据量
• 目标 IP 地址
• 正在传输的数据类型

对于人类来说，识别如此复杂的模式需要进行艰苦的分析，而且由于日志数据量巨大，可能会完全错过。然而，人工智能系统可以在整个网络中持续监控这些模式，以远超人类能力的精度和速度检测潜在威胁。

减少警报疲劳

传统的基础设施和服务监控解决方案噪音很大，通常会针对不代表真正威胁的事件生成警报。过多无法采取行动的警报会导致警报疲劳。

基于人工智能的警报可以智能地过滤警报并减少噪音，确保生成的警报具有相关性且可操作性。例如，传统监控无法根据季节性进行调整，因此在旺季工作日下午超过阈值会像在淡季半夜超过阈值一样受到关注。基于人工智能的警报使用历史数据不断训练其模型，将季节性因素纳入其基线。结果是误报更少，警报疲劳也不再存在。

当然，使用人工智能驱动警报的组织需要严格测试结果，以调整特异性和敏感性。这确保有效捕获关键事件。

主动监控

由于组织生成的数据量巨大，团队通常很难主动监控组织的所有资源。

人工智能有能力大规模解决这一问题。通过持续监控和汇总整个环境中的日志，基于人工智能的工具可以在异常蔓延之前识别出它们，让团队能够在初始阶段检测到潜在威胁。

例如， Sumo Logic 的威胁检测和调查功能提供了在高级威胁影响运营之前解决这些威胁的可见性。此类 AI 功能可跨安全工具、云基础设施和 SaaS 应用程序实现实时监控、警报和数据分析。这使 DevSecOps 团队能够迅速调查和应对网络威胁。

高效的事件响应

人工智能驱动的警报通过促进自动资源分配和收集事件的背景信息来改善事件响应。这有助于更快地识别潜在的安全威胁，进而帮助组织更快地做出响应。

当 AI 驱动的日志记录和可观察性平台提供自动补救功能时，团队可以将各个环节连接起来：从持续监控的日志到事件检测再到补救手册。自动执行手册意味着对事件做出近乎即时的响应，无论是消除根本原因还是提醒工程师开始调查。

请记住，响应安全事件的每一次延迟都会扩大影响范围。利用人工智能最大限度地减少延迟可直接最大限度地减少事件的影响。

与人工智能采用相关的隐私问题

最后一点：正如我们所见，人工智能作为改进日志记录的工具前景广阔。但请记住，它仍然是一项新兴技术。

正如GitLab最近的一份报告所表明的那样，人工智能的采用存在严重的隐私问题。虽然 83% 的受访团队表示在开发过程中实施人工智能是必不可少的，但 79% 的团队表示，他们在处理人工智能时非常关心隐私和知识产权问题。但在许多商业环境中，人工智能工具需要访问这些私人数据进行分析。

因此，可以利用人工智能，但要注意并防范任何隐私问题。

日志数据淹没？AI 来帮你

日志至关重要。它们是监控应用程序和基础设施的丰富数据来源。但是，多个数据源和日志数据的数量（以及日志中某些数据的敏感性）导致管理日志数据、安全性和隐私性面临巨大挑战。

AI 可以提供帮助。现代日志管理和 SIEM 解决方案正在利用 AI 来自动化分析、增强监控和改善事件响应。AI 正在使 DevSecOps 更加高效。随着 AI 解决方案的发展，它们在日志分析中的作用只会越来越大，从而提供更智能、更快速的日志洞察。

原文链接：https://dzone.com/articles/8-ways-ai-can-maximize-the-value-of-logs