Twitter：使用 Google Cloud API 从推文中获取洞察

企业和品牌持续监控 Twitter 的原因多种多样，包括跟踪最新的消费者趋势、分析竞争对手、保持对突发新闻的领先以及响应客户服务请求。Twitter 拥有每日 2.29 亿活跃用户，难怪各类公司都将其视为支持商业智能的巨大潜力数据源。

然而，语言的复杂性使得将社交媒体对话转化为有洞察力的数据的过程，首先需要通过组织、排序和过滤大量推文。此过程的关键在于 Twitter API：一组编程端点，允许开发者查找、检索并参与平台上实时发生的公共对话。

本文将介绍适用于 Google Cloud 的 Twitter API 工具包，这是由 Twitter 开发者平台解决方案架构团队开发的一个新框架，用于快速摄取、处理和分析大量推文，帮助开发者充分利用 Twitter 的强大功能。

让开发人员更轻松地从推文中获得有价值的见解

该工具包目前有两个版本：适用于 Google Cloud Filtered Stream 的 Twitter API 工具包和适用于 Google Cloud 最近搜索的 Twitter API 工具包。

适用于 Google Cloud Filtered Stream 的 Twitter API 工具包为开发人员提供趋势检测框架，可在 60 分钟或更短时间内安装于 Google Cloud。该工具包自动化了数据管道流程，将推文提取至 Google Cloud，并在易用的仪表板中提供趋势可视化，展示配置规则在 Twitter 上实时展开的趋势。该工具包适用于检测跨领域和垂直行业的宏观及微观趋势，并能每日水平扩展，处理数百万条推文。

“从 Twitter 检测趋势需要监听实时 Twitter API 并动态处理推文，”Twitter 解决方案架构师兼该工具包作者 Prasanna Selvaraj 解释道。“虽然趋势检测可能复杂，但为了对趋势进行分类，还需确定推文的主题。这又是一项复杂的工作，因为涉及与 NER（命名实体识别）和/或 NLP（自然语言处理）服务的集成。该工具包有助于解决这些挑战。”

与此同时，适用于 Google Cloud 最近搜索的 Twitter API 返回过去 7 天内与特定搜索查询匹配的推文。“任何有 30 分钟空闲时间的人都可以学习有关 Twitter API 的基础知识，作为附带好处，还可以了解 Google Cloud Analytics 和数据科学的基础知识，”Prasanna 说道。

该工具包利用 Twitter 的新 API v2（包括最近搜索和过滤流），并使用 BigQuery 进行推文存储，Data Studio 进行商业智能和可视化，App Engine 负责 Google 云平台上的数据管道。

“需要一个不仅无服务器而且能够支持多基数的解决方案，因为所有返回推文的 Twitter API 都提供使用 JavaScript 对象表示法（JSON）编码的数据。数据结构复杂，需要一个能轻松转换为自有模式的数据库。BigQuery 是解决此问题的完美方案，”Prasanna 说道。“一旦数据进入 BigQuery，即可使用 Data Studio 在 10 分钟内将其可视化，无论是图表、电子表格还是 Tableau 形式。这消除了 Twitter 数据 API 消耗中的摩擦，显著改善了开发人员体验。”

将实现价值的时间从 60 小时缩短至 60 分钟

从历史上看，Twitter API 开发人员经常致力于处理、分析和可视化大量推文，以从 Twitter 数据中获取见解。首先，需构建数据管道、选择存储解决方案并选取分析和可视化工具，才能开始验证 Twitter 数据的价值。

“选择技术和构建数据管道以寻找支持业务用例的见解的整个过程可能需要开发人员花费超过 60 小时，”Twitter 解决方案架构师兼该工具包作者 Prasanna Selvaraj 解释道。“在投入时间建立堆栈之后，仍需对数据进行排序，确认所寻找的内容是否确实存在。”

现在，该工具包只需单击一个按钮即可实现数据处理自动化，因为它提供了所需的底层基础设施，例如作为数据库的 BigQuery 和带有 App Engine 的计算层。这使开发人员能够在 60 分钟内使用 Data Studio 在商业智能工具中安装、配置和可视化推文。

“尽管合作伙伴具备连接、使用、存储和分析数据的能力，我们也与那些资源有限的组织的开发人员合作。该工具包旨在帮助他们在做出承诺之前快速构建原型并实现推文的价值，”Twitter 解决方案架构主管 Nikki Golding 解释道。

继续为开发人员打造下一步

在与 Google Cloud 合作将该工具包实际应用时，Twitter 团队开始思考 Google Cloud Platform 中存在哪些公共数据集，以及这些数据集如何补充 Twitter 经常讨论的一些主题，从加密到天气。“我们在思考，开发者可以通过哪些有趣的方式访问和利用这两个平台所提供的功能，”Nikki 分享道。“Twitter 数据本身具有很高的价值，但 Google Cloud Platform 中也存在可以进一步支持该工具包用户的数据。将 Google Cloud Platform 的基础设施和应用程序即服务与 Twitter 的数据即服务相结合，是我们正在迈向的愿景。”

接下来，Twitter 团队的目标是将这些数据分析工具交给任何决策者，无论是技术团队还是非技术团队。“为了帮助品牌自行可视化、切片和切分数据，我们正在寻找为非技术人员量身定制的自助工具，以实现跨组织的数据价值民主化，”Nikki 解释道。“Google Cloud 是迄今为止我们能够构建相对于市场上其他产品而言最简单的低代码解决方案的平台，因此我们的目标是继续与 Google Cloud 合作，最终推出一个无代码解决方案，帮助用户找到所需的信息，而无需依赖开发人员。注意这个领域的动态！”

原文链接：Twitter: gaining insights from Tweets with an API for Google Cloud