
为什么数据驱动型企业在AI方面更加成功
BI(Business Intelligence,商业智能)是指利用软件工具和系统来分析组织内外可获得的原始数据,以支持更快、更精确的决策过程。BI产品已经是比较成熟的应用,例如Tableau、帆软FineBI、微软PowerBI、永洪BI、观远数据、思迈特Smartbi、阿里云Quick BI等,部分小伙伴应该有所耳闻或使用过。
BI工具通常包括数据仓库、数据挖掘、报告、在线分析处理(OLAP)等功能,帮助企业理解市场趋势、评估业务流程的效率,并识别新的增长机会。
随着人工智能技术的不断进步,AI+BI成为了一个新兴领域,它指的是将人工智能,尤其是机器学习和自然语言处理技术,集成到商业智能系统中,以自动化和增强数据分析和决策过程。
特别地,结合AIGC技术,可以支持用户通过对话来完成数据探索、报表制作等工作,进一步提升数据分析效率,重构 BI 产品的人机交互方式。
就我目前所在公司的业务情况,AI+BI也是我认为有落地场景和价值的一个方向(当然从可用资源和投入产出比的角度来看,在我司还不适合推进),因此对这个领域多有关注,是以有本文。
需要强调的是,本文接下来所提到的AI,特指以大语言模型(LLMs)为基础的自然语言能力——即对话式的系统交互支持(毕竟在BI领域还有其他的AI技术可以使用,例如机器学习可用于销售预测)。
从产品经理的角度看,大模型结合数据分析进行应用具有以下优势:
作为产品经理,理解这些优势不仅有助于我们更好地利用大模型技术来优化现有产品,也为我们提供了新产品开发的灵感。我们可以探索如何将这些优势整合到BI产品中,以满足用户的具体需求。
接下来就请随我一起探索一番。
LLM在BI产品领域,适合作为现有数据分析手段的有效补充,特别是在即席数据查询、传统BI工具能力提升、简单数据挖掘与洞察等方面。
就目前来看,在自然语言的对话式BI数据分析有3种可行的实现模式:
当然这些模式并不全面。比如说还有text-to-JSON等。
每种模式都有其适用场景和限制,作为AI产品经理,选择最合适的模式需要综合考虑您的具体需求、现有的技术栈、以及预期的用户体验。
根据我对大语言模型(LLMs)和BI系统的粗浅了解,个人的一点看法:
简言之,如果一个组织已经有成熟的BI工具和APIs,那么text-to-API可能是一个较为直接的选择。对于需要高度灵活性和定制化分析的场景,text-to-Code可能提供了更多的可能性。而text-to-SQL则在很多标准化的数据库查询场景中提供了一种高效且通用的解决方案。
当然啦,在LLMs已经提取到对应的分析数据后,我们还需要进一步支持对话式的BI数据呈现,理论上来说也存在3种模式:
这3种模式对比如下:
需要强调的是,这些模式并不是互斥的,在某些情况下可以结合使用效果更佳(当然对于实现的复杂性要求也提高了)。选择哪种模式应根据我们的实际业务需求、目标用户群体的特点、以及所拥有&可投入的技术资源和能力来决定。
虽然将LLM与BI系统结合可以极大地提升数据分析和报告的智能化程度,对用户体验有着不言而喻的好处。但是,就当前的技术进展和结合情况来看,可能会遇到以下挑战:
数据理解的准确性
由于LLM主要通过训练数据学习,如果训练数据不包含足够的行业特定知识或上下文信息,模型可能难以准确理解复杂的业务数据。因此,LLM可能在理解复杂数据集、特定行业术语或上下文中的细微差别方面存在挑战。这可能导致数据分析结果的误解或错误解释。
幻觉问题(Hallucination)LLM在生成文本时可能会产生“幻觉”,即创造出与实际数据不符的信息。在BI报告中,这可能导致不准确或虚假的数据洞察和结论。因为LLM在生成文本时,可能会基于其训练数据中的模式进行推断,而这些模式不一定总是反映实际情况。
数据隐私和安全性使用LLM处理敏感或私密数据时,需要确保数据不被非法访问或泄露。LLM的云基础设施和API调用可能成为数据安全的薄弱环节,尤其是在处理敏感信息时。
模型的通用性与定制化需求虽然LLM具有强大的通用性,但在特定行业或复杂的数据分析任务中可能难以满足所有定制化需求。原因在于LLM的训练是基于广泛的数据集进行的,可能无法完全覆盖某些特定领域或复杂场景的细节和特性。
用户交互体验
我们需要确保LLM能够提供自然、流畅的交互体验,同时能准确理解用户的查询意图和需求,这可能存在挑战。因为不同用户的查询方式和习惯多样性,对应地表现为自然语言理解的复杂性,可能会影响交互的准确性和用户满意度。
实时性和性能
在需要快速响应的BI应用中,确保LLM提供的解决方案能够满足性能和实时性要求可能是一个挑战。原因在于大型模型可能需要显著的计算资源和处理时间,特别是在处理大型数据集或复杂查询时。(不过就我个人目前的体验而言,这个问题不大,反而是BI系统本身可能存在这个瓶颈需要解决)
在不断地妥协之后,我们感觉在 AI 应用落地中存在一个不可能三角,效率-准确-智能的不可能三角。希望能够快速且准确地解决问题,就会对复杂问题束手无策;需要准确地解决复杂问题,就会需要漫长的时间来思考、拆解、处理;希望能够快速地解决复杂问题,就会无可避免地面临幻觉的产生。
腾讯技术工程团队,benze
网易有数ChatBI
网易数帆团队于2023年推出了基于网易自研大模型的对话式数据智能助手——有数ChatBI,它融合了前沿的AIGC技术,通过自然语言理解与专业数据分析能力,用户只需通过日常对话的方式即可获得可信的数据,极大降低数据消费门槛。
网易有数ChatBI在结合大模型技术进行数据分析时,面对当前技术无法实现100%准确性的挑战,采取了一系列创新措施来提高产品的可信度和实用性,使之适用于生产环境。
(1)检索增强技术
网易有数ChatBI通过引入检索增强技术,改善了大模型对数据表的理解能力。传统的基于LLM的NL2SQL方案仅将建表语句作为上下文注入,限制了模型对数据表的全面认知。通过将更多相关的表格元数据融入prompt,大模型能够获得更宽广的“视野”,提升其自适应能力,从而减少选错字段或字段值格式不匹配的问题。
(2)个性化知识配置
为了适应特定业务领域的定制化需求,网易有数ChatBI支持个性化知识配置功能。这允许客户根据自己的业务特点和行业术语进行个性化设置,如将特定的行业“黑话”映射为模型可以理解的词汇,从而提高大模型在处理定制化问题上的准确性和适应性。
(3)模型自学习机制
网易有数ChatBI采用了模型自学习机制,模仿ChatGPT等LLM通过对话形式进行自我修正的特性。管理员可以指正模型的错误,使其记录并在下次遇到类似问题时参考修正过的内容生成正确的SQL。这种机制使得ChatBI随着使用而变得更加智能,提升了用户体验和产品的整体性能。
从AI+BI产品经理的角度看,网易有数ChatBI通过上述技术创新,解决了大模型在数据分析领域应用的一些核心问题,如准确性、定制化需求适应性及自学习能力,使其成为一款可靠且高效的数据分析工具。回顾我们前面所提到的“模式”,我认为它主要使用了【text-to-SQL+交互式数据探索助手】。
在网易内部,有数ChatBI在网易云音乐等业务落地,已经覆盖了产品、运营、市场、财务等非技术人员。而借助网易内部的成功落地,有数ChatBI产品发布后,也吸引了甄云科技等外部客户的使用。
京东ChatBI
京东数据产品团队推出的ChatBI产品是一个基于GPT大模型的“AI数据分析师”,旨在通过对话方式简化BI工作,目前还只是一个内部产品。
它结合了大语言模型、公/私域知识库和数据分析应用扩展,通过自然语言的交互形式,降低了使用门槛,并通过沉淀的业务知识和数据资产提供准确的分析结果,针对的主要用户痛点包括数据理解、获取和分析的复杂性。
在ChatBI项目中,京东团队采用了Langchain来开发大语言模型,形成了一个包含两大类资产的综合性知识库。首先是数据中台资产,涵盖元数据、指标SQL以及产品指南等,为模型提供了丰富的数据支持。其次是业务资产部分,包括专门针对特定业务场景构建的模型和累积的业务知识。这部分尤其关注于分析师的分析思路,这些通常难以标准化和复用。通过大语言模型,它现在能够将分析师的专业思路转化为可供机器学习和自动化使用的形式,极大地提升了业务分析的效率和广度。
在用户与ChatBI的互动过程中,系统首先通过意图识别来理解用户的查询目的,是希望获得特定知识、进行数据分析,还是简单的对话交流。接着,通过实体识别技术,我们能够从用户的提问中提取出关键信息,如时间、指标和维度等,并结合用户的背景信息如权限和部门来进行更准确的解析。对于知识查询类问题,系统会与知识库进行交互,通过优化算法提高回答的效率。而在数据分析场景下,ChatBI会调用相应的接口,将问题传递给大模型进行深入分析,并最终生成直观的可视化结果。回顾我们前面所提到的“模式”,这里使用的是【text-to-API】,至于自然语言文本报告、动态可视化模板报告、交互式数据探索助手则看起来都有使用到。
ChatBI的引入显著提升了工作效率。以往,用户在遇到数据问题时可能需要跨平台搜索指标定义,涉及繁琐的数据分析流程,耗时数小时甚至数天。而现在,用户仅需通过与ChatBI的自然语言对话,即可迅速获得问题的解答和可视化分析结果。这种以对话形式进行的高效数据交互和分析,极大地简化了数据分析流程,让决策支持更加迅速和精准。
百度SugarBI
SugarBI是百度智能云推出的敏捷BI和数据可视化平台,解决报表和大屏的数据BI分析和可视化问题,通过不断将AI能力融合进自身产品中,推出「文心问数Sugar Bot」功能,大幅度提升用户的数据分析效率。
根据官方介绍,SugarBI基于百度AI能力,提供自动分析、AI问答、波动分析等智能化功能,其优势在于:
对应地,智能问数适用的场景分别是:
基于 NL-to-JSON 等能力,文心问数 Sugar Bot 帮助用户基于对话来直接完成数据探索,并完成一部分报表制作功能。同时,该团队还在进一步研发意图理解、指令拆解、图像生成等 AIGC 能力,基于对话直接满足用户对报表、大屏的生成需求,其愿景是实现大部分内容的直接生成,也就是 NL-to-X 。这样,可以通过生成式 AI 直接满足更多用户业务目标,逐步实现业务与技术重构。
(1)AI问数
在SugarBI平台上,用户有多种方式表达对数据的需求,包括通过报表、大屏以及探索页等多端入口。用户可以采用语音、自然语言输入或是直观的字段拖拽等多种交互形式来提出问题。对于语音输入,SugarBI利用ASR技术将语音转换为文本,进一步通过NLP技术转化为具体的数据查询需求,展现了平台对用户需求表达方式的全面适应性。
SugarBI的核心之一是其表格问答模型,该模型能够理解用户的自然语言查询,并将其转化为对数据的具体需求。这一过程得益于SugarBI背后的数据模型,它将数据宽表的结构(Schema)及同义词等配置进行了高效抽象,以便进行深入的模型训练和部署。这种智能化处理不仅提高了数据查询的准确性,也为用户提供了更加直观和灵活的数据分析体验。
用户的查询需求经过智能处理后,SugarBI会自动转换成图表配置,并生成相应的SQL语句进行数据查询。这一过程展示了从需求捕捉到数据检索的无缝链接,极大地提升了数据处理的效率。拉取到的数据根据其特征,将被SugarBI的智能图表功能自动匹配到最合适的图表类型,从而生成直观且信息丰富的数据可视化结果。(text-to-SQL+动态可视化模板报告模式)
(2)自动分析
数据预处理与分析准备:SugarBI在启动自动分析前,首先确定分析的数据范围,即选定特定的数据字段集合。然后,SugarBI会详细审查这些字段的配置和数据细节,确保分析的准确性。值得注意的是,SugarBI在这一阶段会遵循设定的用户权限规则,确保数据访问的合规性(例如对于表格分析来说,表格会根据报表所设置的用户权限进行权限和数据的过滤,防止发生越权)。
分析模型的运作:收集完必要的信息后,SugarBI会将这些数据输入自动分析模型。这个模型是基于SugarBI内部大量报表数据经过训练得来的,因此具有较强的分析能力。模型会输出两类关键信息:一是数据过滤条件的优先级排名,二是图表展示字段组合的推荐排名。
图表生成与优化:根据模型的推荐,SugarBI会自动生成相应的数据过滤条件和图表展示字段组合。这一过程中,智能图表功能会被用来推荐最合适的图表类型,以最直观地展示数据。生成的图表和过滤条件将被相互关联,提供给用户灵活的数据探索能力,如下钻和筛选等。
报表的自动排版:最后,SugarBI会对选定的过滤条件和图表进行自动排版,形成最终的报表。这意味着从数据选择到报表生成的整个分析流程,都由SugarBI的自动分析功能智能完成,极大地提升了分析效率和用户体验。
腾讯DataBrain chatBI
腾讯的DataBrain团队在GPT4发布之后,尝试结合其能力构建了一个服务于 DataBrain 系统的统一语言智能助手Demo——chatBI,能够让用户在统一的语言交互界面完成数据分析的全过程。和京东的chatBI一样,该产品目前仅供内部使用。
经过多轮尝试,目前了解到其Demo版本是参考了AutoGPT这样的智能体设计思路(把 Prompt 和具体可执行的 Prompt 做了魔改,把 Prompt 中的资源、限制、可执行指令做处理,就能够让 AutoGPT 以数据分析的形状开始跑动):
整个流程由用户提问开始,GPT 接收到提问后,将任务完成拆解成选表、读取数据信息、拼接 SQL、生成图表、完成分析等。
SQL 的生成能力是调用的之前 DataLab 的 SQL 接口,能够基于需要指标、维度、筛选来给出符合具体场景的 SQL。类似的生成图表、简单数据分析的能力均是通过 Command 的方式来确保输入输出的可解释性和透明性。
不过其团队也表示,目前的ChatBI 版本还有很大的提升空间,存在速度慢、可解决的数据问题很初级、复杂指标计算失败、图表不够丰富等问题。
观远数据BI Copilot
BI Copilot 是观远BI利用大语言模型的能力构建的最新模块,接入了微软Azure OpenAI 商用服务权限(大家理解为就是ChatGPT背后的技术即可):
Chat2Answer利用知识库构建,可以帮助业务用户理解数据的含义,并提供智能解读。当用户提出数据相关的问题时,Chat2Answer会解释数据背后的原因,并给出针对性的建议和可操作的方案。
这个功能早期的时候叫“chat2SQL”(也就是我们前面提到的text-to-SQL模式),通过自然语言交互协助生成 SQL 查询语句。以实际工作流程为例:
1. 接收用户的自然语言查询请求,例如“每个品牌的退款额是多少”;
2. 将用户的查询请求转化为机器可理解的 SQL,
例如“SELECT `商品名称`, SUM(`退款金额`) AS `退款额`
FROM input1
GROUP BY `商品名称`”,
将生成的 SQL 查询语句返回给用户;
3. 进一步交互式的追问,例如“再加上渠道维度”;
4. 再次转换为 SQL,
例如“SELECT `商品名称`, `渠道`, SUM(`退款金额`) AS `退款额`
FROM input1
GROUP BY `商品名称`, `渠道`”,并返回给用户。
用户在遇到问题时可以直接向Chat2Help寻求帮助。当遇到报错或问题时,只需将报错信息复制粘贴到对话框中与Chat2Help进行问答,它将直接告诉用户报错的含义,并指导一步步排除报错、提供解决方案。
神策数据Copilot
神策数据的产品主要是CDP(客户数据平台)领域的,和我们前面所提及的“BI”不是一个概念。不过在研习过程中发现它也利用大模型技术推出了神策分析 Copilot(另外还支持用于运营Copilot),同样支持自然语言的交互,自助式地进行数据分析与查询,因此还是纳入本文中。
从目前的Demo介绍来看,其支持的一些场景如下:
(1)智能分析:应用大模型技术理解用户问题,自动配置分析模型
以事件分析场景为例,在输入框中用自然语言输入要获取的数据指标,比如最近7天搜索点击的用户数,GPT 模型将自然语言转化为请求查询JSON 并发起查询,并进行图形化展示。
在这里,神策团队采用了text-to-json而不是 text-to-SQL的模式,其考虑有二:一方面更容易理解,便于业务人员判断查询;另一方面更容易进行人为干预,比如生成的査询 JSON 不对,想换种计算方式或查询条件看看指标怎么样,可快速调整。
其实现过程大致为:
值得一提的是,神策分析 Copilot 具备可理解、可信任、可干预的特点,能有效规避大模型固有的幻觉问题。在生成分析结果的同时,Copilot 将展示分析模型和指标的应用来源,便于用户理解、校验分析逻辑和指标用法,以确保用户选择正确的指标。若分析结果不符合预期,用户可以手动调整帮助系统持续学习、优化结果(即显式反馈)。
(2)指标搜索:自然语言查询例行指标
应用大模型技术构建指标搜索能力,帮助业务人员快速定位到当下关注的指标和经营概览,或深入探索特定业务的相关指标。支持用户口语化输入,业务人员无需输入专业术语或确切的指标名称,也能获得相关的数据指标。
例如在零售行业中,若用户想知道近期的商品销售数据,直接对Copilot 提问“卖得最好的商品”,它便会推送“当天 Top 商品”“热门访问商品”“商品销售数量”等指标查询结果,无需依赖分析师进行查询。
(3)数据门户融合:数仓对话插件
神策分析Copilot 也可以接入企业数仓,例如在某保险公司的实际应用中,它就作为一个智能问答组件融合至企业自身的数据门户,用户点击“智能问答”即可开启直接对话,对数仓数据进行自助式分析和查询、生成数据结果和报表。
当然啦,除了这些产品,其实还有很多其他的AI+BI实践,但时间和精力有限,我们就不继续拓展了。
就我本人所掌握的情况来看,包括但不限于以上提及的经过大模型加持的AI+BI产品,大多都还处于Demo、内部测试或小范围试用的阶段,部分进行了推广但基本上都尚未大规模商用。
相信随着用户反馈+持续优化完善,再加上大模型能力的进化,更加成熟、稳定、可用的新版本产品将在今年内到来。
上面所提到的产品大多没有机会上手(例如内部产品或仍在测试阶段)体验,但总算在2月初申请到了百度SugarBI文心问数的体验权限。
参照官方指引,基于示例数据,我进行了简单的探索:
(1)数据模型准备
在数据模型的设置页面,可以选择对应的数据表并建立关系:
在编辑页面可以将字段名称设置为可读性较高的中文别名:
对于原子指标(度量),我们可以设置AI问答的同义词(也就是帮助大模型理解专业术语,可能用户会有不同的问法)作为其“知识库”:
我们也可以新建度量(指标加工),这就是常规的BI功能了:
对于AI问答功能,需要开启并等待模型训练完成才能使用(不过我没有权限):
我们还可以配置AI问答的推荐问题,这个如果在ChatGPT中自定义过自己的GPTs的小伙伴应该很熟悉:
然后我们就可以通过智能问数Sugar Bot和系统进行交互了:
当我点击上图中的“需要结论”时,系统会自动总结如下:
并且还能发现数据的不合理之处(确实如此):
整体上来说还是蛮有意思的,确实是一种全新的体验、并且是已经实际落地到现有产品中了。感兴趣的小伙伴可以自行申请体验。
值得注意的是,SugarBI有以下限制:
在前面的研习内容中,我们主要关注支持自然语言交互模式下的BI数据查询、分析和可视化呈现。实际上,在从问题定义、数据接入、处理、可视化展示、交互分析到决策行动的BI数据分析全链路中,AI大语言模型都有结合的机会。
在前面的研习内容中,我们主要关注支持自然语言交互模式下的BI数据查询、分析和可视化呈现。实际上,在从问题定义、数据接入、处理、可视化展示、交互分析到决策行动的BI数据分析全链路中,AI大语言模型都有结合的机会。让我们从产品经理的视角来粗略地考虑:
支付宝团队在基于蚂蚁集团基础大模型开发研制数据分析智能助理 Deepinsight copilot的过程中,比较系统化地梳理了结合大模型的数据分析智能助理功能需求,划分了不同的智能化等级,非常值得我们参考和学习:
注:
AI+BI的融合为商业智能领域带来了前所未有的机遇,通过大语言模型的应用,可以极大地提升数据分析的效率、深度和准确性,同时改善用户体验。
作为AI产品经理,理解并把握AI技术在BI产品中的应用,不仅需要技术和业务的深入理解,还需要持续的创新和优化。通过有效地结合AI和BI,我们可以更好地解锁数据的潜力,支持数据驱动的决策,推动企业的智能化转型。
参考资料:
文章来源:微信公众号@AI产品经理研习与实践,作者:AIMatrixLing