所有文章 > AI驱动 > Playwright + DeepSeek实战:如何让AI“看懂”网站页面内容?自动定位页面元素?
Playwright + DeepSeek实战:如何让AI“看懂”网站页面内容?自动定位页面元素?

Playwright + DeepSeek实战:如何让AI“看懂”网站页面内容?自动定位页面元素?

如何让 DeepSeek 理解网站页面内容?

“如何让 DeepSeek 理解网站页面内容?”这个问题来自一位公众号读者的留言,背后反映了 AI 在自动化测试中的一大痛点。为了给出实用解答,我将以 saucedemo.com 为例,结合 Python 语言,分享多种实现方案。如果你对 AI 驱动的测试感兴趣,请继续阅读——希望这篇文章能为你带来启发!觉得有用的话,别忘了点赞、关注和收藏哦!

一、引言

一位读者在公众号留言中问道:“怎么让 DeepSeek 理解网站页面呢,总不能输入一个网址,他就能理解里面的内容吧,而且各个模块要点开才能加载出页面。还是说之前有这一块内容的介绍呢?”这个问题直击核心:

这样的模型如何“看懂”动态网站的内容?网站不像静态文本,输入一个并不能让直接获取页面信息,尤其是那些需要交互(如点击按钮)才能加载的模块。很多测试工程师可能也有类似困惑:能否从跃升到理解页面逻辑,甚至生成自动化脚本?在之前的文章 Playwright + DeepSeek 实战:手把手教你用 AI 实现 xmind 用例生成到自动化测试(以电商为例)我曾通过人工描述网站功能,让生成测试用例和脚本。这次,我们将更进一步,围绕读者的提问,探索理解网站内容的可行方法,并以为实战案例,提供实现的详细解析。

二、问题拆解

  • 的“理解”边界在哪里?

让我们先拆解问题,明确挑战所在:

2.1 动态页面挑战

是一个电商网站,包含登录、商品列表、购物车和结算等功能。部分内容(例如商品详情或购物车列表)需要用户点击后才会加载。单纯给一个,它无法直接访问或解析这些动态内容。

2.2 的能力限制

当前的大语言模型主要依赖文本输入生成输出,没有内置浏览器或爬虫功能。它无法像人类一样打开网页、点击按钮、观察页面变化。

2.3 测试工程师的潜在需求

测试工程师可能希望能“自动”理解网站内容并生成测试用例或脚本,而非依赖人工输入。那么,这是否可行?如果不可行,有哪些替代方案?基于这些分析,让尽可能理解的页面内容,并生成有用的自动化测试代码,都有哪些可能的方法,将是本文探讨的目标。

三、解决方案:从 URL 到页面内容的桥梁

既然无法直接访问网站,我们需要为它提供“眼睛”和“语言”。以下是三种解决方案,涵盖从实用到创新的思路:

3.1 方法一:人工描述页面功能(实用方案)

这是目前最直接、高效的方法。通过人工提供网站的结构和功能描述,可以基于文本生成测试用例和脚本。

  • 实战示例:分析

假设我们要测试的购物车功能,可以这样描述:

  • 提示词示范

  • 生成代码

点评如下:

  • 优点:简单高效,生成代码精准契合需求。
  • 局限:需要人工提炼页面信息,网站复杂时描述工作量增加。

3.2 抓取 HTML 源码输入(进阶方案)

实战实例:使用获取商品页面的源码

如果想减少人工描述,可以用工具抓取页面 HTML 源码,让分析。例如:

  • 提示词示范

输入:

  • 生成代码

  • 动态内容的处理

对于需要点击加载的内容,可以模拟交互后再抓取。例如:将输入,让它分析交互后的变化。

点评如下:

  • 优点:减少人工描述,能处理部分动态内容。
  • 局限:可能冗长,包含无关信息,影响分析效果;动态交互仍需人工设计抓取逻辑。

3.3 录制用户操作流并结合优化(创新方案)

实战示例:负责录制脚本,负责代码优化扩展

为了进一步提升效率,我们可以利用的脚本录制功能,让基于录制的脚本进行优化和扩展。

  • 思路如下:

    1. 录制操作:运行,手动执行操作(如登录、添加商品),生成脚本。
    2. 喂给 A:将脚本提供给,提示优化代码结构、改进元素定位或扩展测试用例。
    3. 优化与扩展:生成模块化代码并补充异常场景测试。
  • 假设录制登录操作,生成以下脚本

  • 提示词示范

  • 回复

点评如下:

  1. 高效率:录制简单高效,为提供具体输入,能显著提升代码质量。
  2. 价值点:减少手动编写脚本的工作量,AI 优化提升代码可维护性,异常用例扩展增强测试覆盖率。
  3. 局限性:录制脚本可能包含冗余操作,复杂场景下可能需人工补充上下文。

四、结语

综合来看:

  • 方法一(人工描述): 现阶段最实用、高效,通过清晰文本充分发挥的语言能力,确保结果准确。
  • 方法二(抓取): 适合希望自动化提取页面信息的场景,但需工具支持,且效果受 HTML 质量影响。
  • 方法三(录制操作流 + 优化): 创新性方案,适合简单操作流,能快速生成高质量代码。

以为例,推荐流程:

  • 简单场景: 直接录制操作交给优化。
  • 复杂场景: 录制脚本后,人工补充需求描述,辅助生成完善代码。
  • 人工描述: 对于无法录制的场景,采用人工描述功能。这种方法虽需一定人工参与,但能平衡效率与准确性。

未来,随着技术进步,我们或许能直接给一个,让它“自己看懂”页面。希望这篇文章解答了你的疑问!如果有更多想法,欢迎留言讨论。觉得有用的话,别忘了点赞、关注哦,下次更新不迷路!

原文转载自:https://mp.weixin.qq.com/s/TAWSHob7aizRU7XY_ssAUQ

#你可能也喜欢这些API文章!