云原生数据仓库-阿里云

云原生数据仓库-阿里云

专用API
【更新时间: 2024.08.12】 云原生数据仓库AnalyticDB PostgreSQL版(原HybridDB for PostgreSQL)提供简单、快速、经济高效的PB级云端数据仓库解决方案。
服务星级:2星
⭐ ⭐ 🌟 🌟 🌟 🌟 🌟
调用次数
0
集成人数
0
商用人数
0
! SLA: N/A
! 响应: N/A
! 适用于个人&企业
收藏
×
完成
取消
×
书签名称
确定
<
产品介绍
>

什么是阿里云的云原生数据仓库?

云原生数据仓库AnalyticDB PostgreSQL版(原HybridDB for PostgreSQL)提供简单、快速、经济高效的PB级云端数据仓库解决方案。兼容Greenplum开源数据仓库,MPP全并行架构,广泛兼容PostgreSQL/Oracle的语法生态,新一代向量引擎性能超越传统数据库引擎10倍以上,分布式SQL优化器实现复杂查询语句免调优。实现了对海量数据的即席查询分析、ETL 处理及可视化探索,是各行业有竞争力的云上数据仓库解决方案。

什么是阿里云的云原生数据仓库?

由服务使用方的应用程序发起,以Restful风格为主、通过公网HTTP协议调用阿里云的云原生数据仓库,从而实现程序的自动化交互,提高服务效率。

阿里云的云原生数据仓库有哪些核心功能?

1. 易适配,免调优

支持SQL 2003,部分兼容Oracle语法,支持PL/SQL存储过程。新一代SQL优化器,实现复杂分析语句免调优。

2. PB级数据秒级分析

MPP水平扩展架构,支持PB级数据查询秒级响应。向量化计算及列存储智能索引,相比较传统数据库引擎在性能方面约有十倍的提升。

3. 高可用,服务永远在线

支持分布式事务,数据ACID一致性支持,所有节点和数据跨机器冗余部署,具备自动化监控和故障切换机制,确保在任何硬件故障情况下服务能持续在线。

4. 广泛生态兼容

支持主流BI、ETL工具。通过PostGIS插件支持地理信息数据分析,MADlib库内置超过300个机器学习算法库。

5. 数据互联互通

支持通过DTS、DataWorks等工具,实现多种数据源的实时同步与批量导入;支持高并发访问OSS,构建数据湖分析。

阿里云的云原生数据仓库的技术原理是什么?

AnalyticDB for PostgreSQL分为存储弹性模式和Serverless两种产品形态。存储弹性模式是基于ECS+ESSD云盘的Shared-Nothing架构采用MPP架构,Serverless是基于ECS+本地缓存+OSS远端存储的存储计算分离的Shared-Storage架构。

AnalyticDB for PostgreSQL实例包含一个协调节点(又称Master节点)和多个工作节点(又称Segment节点)。协调节点负责集群的元数据管理、负载均衡等。工作节点负责数据处理,工作节点内部包含Orca优化器、自研的Laser执行引擎和Beam存储引擎,实现查询的高性能,同时结合IMV实时物化视图组件,打造实时数仓。工作节点挂载的ESSD云盘负责热数据存储,而冷数据则存储在OSS中,通过冷热数据分层存储,兼顾查询性能和存储成本。工作节点的计算资源和存储资源,可独立扩缩容。image

阿里云的云原生数据仓库的核心优势是什么?

1. ETL离线数据处理

面对复杂SQL优化和海量数据大规模聚合分析等挑战,云原生数据仓库AnalyticDB PostgreSQL版具有如下技术优势:

    • 支持标准SQL、OLAP窗口函数和存储过程。
    • ORCA分布式SQL优化器,复杂查询免调优。
    • MPP多节点全并行计算,PB级数据秒级响应。
    • 基于列存储的高性能大表扫描,极高压缩比。

2. 在线高性能查询

面对任意维度数据即时探索和数据实时入库更新等挑战,云原生数据仓库AnalyticDB PostgreSQL版具有如下技术优势:

    • 高吞吐数据写入及更新(如INSERT、UPDATE、DELETE)。
    • 行存储及多种索引(如B-tree、Bitmap),点查询毫秒级返回。
    • 支持分布式事务,标准数据库隔离级别,支持HTAP混合负载。

3. 多模数据分析

面对多种非结构化数据源的挑战,云原生数据仓库AnalyticDB PostgreSQL版具有如下技术优势:

    1. 支持PostGIS插件扩展,实现地理数据分析处理。
    2. 通过MADlib插件扩展,内置多种机器学习算法,实现AI Native DB。
    3. 支持通过向量检索,实现非结构化数据(如图片、语音、文本)的高性能检索分析。
    4. 支持JSON等格式,支持日志等半结构化数据处理分析。

在哪些场景会用到阿里云的云原生数据仓库?

1. 数据仓库服务

您可以通过数据传输服务(DTS)或数据集成服务(DataX),将云数据库(例如RDS、PolarDB)或自建数据库批量同步到云原生数据仓库AnalyticDB PostgreSQL版。云原生数据仓库PostgreSQL版支持对海量数据的复杂ETL进行处理,这些操作任务也可以被DataWorks调度。同时它还支持高性能的在线分析能力,可以通过Quick BI、DataV、Tableau、帆软等即时查询数据,并将数据以报表形式展现。

2. 大数据分析平台

对于MaxCompute、Hadoop和Spark中保存的海量数据,可通过采用数据集成服务(DataX)或通过对象存储服务(OSS),快速批量导入到云原生数据仓库AnalyticDB PostgreSQL版,帮助您实现高性能分析处理和在线数据探索。

3. 数据湖分析

云原生数据仓库AnalyticDB PostgreSQL版可以通过外部表机制,高并行直接访问海量云存储OSS上的数据,构筑阿里云统一数据湖分析平台。

<
产品价格
>
  • 包年包月

    Master资源规格

    元/每月

    2

    0

    4

    0

    8

    0

    16

    1756.3

    32

    5268.9

  • 按量付费

    Master资源规格

    元/每小时

    2

    0

    4

    0

    8

    0

    16

    3.658958332

    32

    10.976875

计算资源

  • 高可用系列

    • 包年包月

      计算节点规格

      元/每个节点/每月

      最低购买节点数量

      2C16G

      439.075

      4

      4C32G

      865.99

      4

      8C64G

      1608.745

      4

      16C128G

      3217.4875

      4

      32C256G

      6434.975

      4

      64C512G

      12869.95

      4

    • 按量付费

      计算节点规格

      元/每个节点/每小时

      最低购买节点数量

      计算节点规格

      元/每个节点/每小时

      最低购买节点数量

      2C16G

      0.91475

      4

      4C32G

      1.80425

      4

      8C64G

      3.60825

      4

      16C128G

      14.43325

      4

      32C256G

      28.86625

      4

      64C512G

      57.73275

      4

  • 高性能(基础版)系列

    • 包年包月

      计算节点规格

      元/每个节点/每月

      最低购买节点数量

      2C8G

      382.50

      2

      4C16G

      727.50

      2

      8C32G

      1417.50

      2

      16C64G

      2797.50

      2

      32C128G

      5595.00

      2

      64C256G

      11190.00

      2

<
使用指南
>
  1. 创建实例
  2. 可选:设置白名单
    说明
    此步骤为可选步骤,如果您希望通过本地的IDE环境访问数据库,则需要设置白名单。如果您希望通过数据管理DMS访问数据库,则可跳过此步骤。
  3. 创建初始账号
  4. 登录数据库
  5. 加载样本数据集
  6. 查询数据
  7. 实例扩缩容

指南详情链接:https://help.aliyun.com/document_detail/49912.html?spm=a2c4g.11174283.0.0.64183532VzwR6L

<
产品问答
>
?
如何保证幂等性?
您在调用AnalyticDB PostgreSQL版API时,如果发生请求超时或服务器内部错误,客户端可能会尝试重发请求。您可以在请求中设置ClientToken参数避免多次重试带来重复操作的问题。
?
什么是幂等性?
在数学计算或者计算机科学中,幂等性(idempotence)是指相同操作或资源在一次或多次请求中具有同样效果的作用。幂等性在分布式系统设计中具有十分重要的地位。
?
保证幂等性
通常情况下,客户端只需要在500(InternalErrorInternalError)或503(ServiceUnavailable)错误,或者无法获取响应结果时重试。使用AnalyticDB PostgreSQL版API,您可以从客户端生成一个参数值不超过64个的ASCII字符,并将值赋予ClientToken,保证重试请求的幂等性。
?
什么是AccessKey
在调用阿里云API时您需要使用AccessKey完成身份验证。AccessKey包括AccessKey ID和AccessKey Secret,需要一起使用。具体如下: AccessKey ID:用于标识用户。 AccessKey Secret:用于验证用户的密钥。AccessKey Secret必须保密。
?
创建RAM用户的AccessKey
登录RAM控制台。 在左侧导航栏,选择身份管理 > 用户。 在用户页面,单击目标RAM用户名称。 在用户AccessKey区域,单击创建AccessKey。 根据界面提示完成安全验证。 在查看Secret对话框,查看AccessKey ID和AccessKey Secret。 您可以单击下载CSV文件,下载AccessKey信息。单击复制,复制AccessKey信息。
?
创建阿里云账号的AccessKey
使用阿里云账号登录控制台。 将鼠标悬浮在右上方的账号图标上,单击AccessKey管理。 在安全提示对话框,阅读安全提示信息,然后单击继续使用AccessKey。 在AccessKey页面,单击创建AccessKey。 根据界面提示完成安全验证。 在查看Secret对话框,查看AccessKey ID和AccessKey Secret。 您可以单击下载CSV文件,下载AccessKey信息。单击复制,复制AccessKey信息。
<
关于我们
>
阿里云计算有限公司,成立于2009年,是全球领先的云计算及人工智能技术服务提供商。作为阿里巴巴集团的云服务部门,阿里云致力于通过先进的云计算技术,为全球企业、开发者和政府机构提供安全、稳定、可靠的云服务。公司服务覆盖计算、存储、数据库、网络、大数据、人工智能等多个领域,拥有遍布全球的数据中心和强大的技术实力,支持企业数字化转型和创新。
联系信息
服务时间: 0:00 - 24:00
网页在线客服: 咨询
AI时代,领先企业的共同选择
阿里云以全球云基础设施、超大规模普惠算力、先进AI技术体系助力企业开启AI时代的领先之路,一起乘云而上!
阿里云,数字经济的技术基础设施
云计算是一场伟大的变革,让计算成为公共服务,提供随时随地可用的算力。在数字经济大潮下,云计算是数据的基础,价值在于让客户有了数据处理的可能,而不只是IDC搬迁带来的成本节约。
 
01为千行百业创新提速
为300万企业和组织发展提速,助力数字经济和产业加速融合
 
02开发者首选创新加速器
阿里云以普惠算力和丰富的技术产品,服务1000万开发者
 
03为社会创造美好生活
阿里云持续践行绿色、公益、普惠,用科技服务社会大众
 
企业社会责任,绿色、可持续
呼吁全球的创新者,用技术做有情有义的事,为世界带来有益改变,更能帮助解决人类面临的贫困、教育、环境等问题。
<
最可能同场景使用的其他API
>
API接口列表
<
产品价格
>
  • 包年包月

    Master资源规格

    元/每月

    2

    0

    4

    0

    8

    0

    16

    1756.3

    32

    5268.9

  • 按量付费

    Master资源规格

    元/每小时

    2

    0

    4

    0

    8

    0

    16

    3.658958332

    32

    10.976875

计算资源

  • 高可用系列

    • 包年包月

      计算节点规格

      元/每个节点/每月

      最低购买节点数量

      2C16G

      439.075

      4

      4C32G

      865.99

      4

      8C64G

      1608.745

      4

      16C128G

      3217.4875

      4

      32C256G

      6434.975

      4

      64C512G

      12869.95

      4

    • 按量付费

      计算节点规格

      元/每个节点/每小时

      最低购买节点数量

      计算节点规格

      元/每个节点/每小时

      最低购买节点数量

      2C16G

      0.91475

      4

      4C32G

      1.80425

      4

      8C64G

      3.60825

      4

      16C128G

      14.43325

      4

      32C256G

      28.86625

      4

      64C512G

      57.73275

      4

  • 高性能(基础版)系列

    • 包年包月

      计算节点规格

      元/每个节点/每月

      最低购买节点数量

      2C8G

      382.50

      2

      4C16G

      727.50

      2

      8C32G

      1417.50

      2

      16C64G

      2797.50

      2

      32C128G

      5595.00

      2

      64C256G

      11190.00

      2

<
使用指南
>
  1. 创建实例
  2. 可选:设置白名单
    说明
    此步骤为可选步骤,如果您希望通过本地的IDE环境访问数据库,则需要设置白名单。如果您希望通过数据管理DMS访问数据库,则可跳过此步骤。
  3. 创建初始账号
  4. 登录数据库
  5. 加载样本数据集
  6. 查询数据
  7. 实例扩缩容

指南详情链接:https://help.aliyun.com/document_detail/49912.html?spm=a2c4g.11174283.0.0.64183532VzwR6L

<
依赖服务
>
<
产品问答
>
?
如何保证幂等性?
您在调用AnalyticDB PostgreSQL版API时,如果发生请求超时或服务器内部错误,客户端可能会尝试重发请求。您可以在请求中设置ClientToken参数避免多次重试带来重复操作的问题。
?
什么是幂等性?
在数学计算或者计算机科学中,幂等性(idempotence)是指相同操作或资源在一次或多次请求中具有同样效果的作用。幂等性在分布式系统设计中具有十分重要的地位。
?
保证幂等性
通常情况下,客户端只需要在500(InternalErrorInternalError)或503(ServiceUnavailable)错误,或者无法获取响应结果时重试。使用AnalyticDB PostgreSQL版API,您可以从客户端生成一个参数值不超过64个的ASCII字符,并将值赋予ClientToken,保证重试请求的幂等性。
?
什么是AccessKey
在调用阿里云API时您需要使用AccessKey完成身份验证。AccessKey包括AccessKey ID和AccessKey Secret,需要一起使用。具体如下: AccessKey ID:用于标识用户。 AccessKey Secret:用于验证用户的密钥。AccessKey Secret必须保密。
?
创建RAM用户的AccessKey
登录RAM控制台。 在左侧导航栏,选择身份管理 > 用户。 在用户页面,单击目标RAM用户名称。 在用户AccessKey区域,单击创建AccessKey。 根据界面提示完成安全验证。 在查看Secret对话框,查看AccessKey ID和AccessKey Secret。 您可以单击下载CSV文件,下载AccessKey信息。单击复制,复制AccessKey信息。
?
创建阿里云账号的AccessKey
使用阿里云账号登录控制台。 将鼠标悬浮在右上方的账号图标上,单击AccessKey管理。 在安全提示对话框,阅读安全提示信息,然后单击继续使用AccessKey。 在AccessKey页面,单击创建AccessKey。 根据界面提示完成安全验证。 在查看Secret对话框,查看AccessKey ID和AccessKey Secret。 您可以单击下载CSV文件,下载AccessKey信息。单击复制,复制AccessKey信息。
<
关于我们
>
阿里云计算有限公司,成立于2009年,是全球领先的云计算及人工智能技术服务提供商。作为阿里巴巴集团的云服务部门,阿里云致力于通过先进的云计算技术,为全球企业、开发者和政府机构提供安全、稳定、可靠的云服务。公司服务覆盖计算、存储、数据库、网络、大数据、人工智能等多个领域,拥有遍布全球的数据中心和强大的技术实力,支持企业数字化转型和创新。
联系信息
服务时间: 0:00 - 24:00
网页在线客服: 咨询
AI时代,领先企业的共同选择
阿里云以全球云基础设施、超大规模普惠算力、先进AI技术体系助力企业开启AI时代的领先之路,一起乘云而上!
阿里云,数字经济的技术基础设施
云计算是一场伟大的变革,让计算成为公共服务,提供随时随地可用的算力。在数字经济大潮下,云计算是数据的基础,价值在于让客户有了数据处理的可能,而不只是IDC搬迁带来的成本节约。
 
01为千行百业创新提速
为300万企业和组织发展提速,助力数字经济和产业加速融合
 
02开发者首选创新加速器
阿里云以普惠算力和丰富的技术产品,服务1000万开发者
 
03为社会创造美好生活
阿里云持续践行绿色、公益、普惠,用科技服务社会大众
 
企业社会责任,绿色、可持续
呼吁全球的创新者,用技术做有情有义的事,为世界带来有益改变,更能帮助解决人类面临的贫困、教育、环境等问题。
<
最可能同场景使用的其他API
>