生产 ClickHouse 集群的 7 个基本技巧

ClickHouse是速度最快、资源效率最高的 OLAP 数据库，可以在几毫秒内查询数十亿行数据，并受到数千家公司信赖进行实时分析。

以下七个技巧可帮助您启动生产 ClickHouse 集群并避免最常见的错误。

技巧 1：使用多个副本

在测试 ClickHouse 时，很自然地只部署一个主机的配置，因为您可能不想使用额外的资源或承担不必要的开支。

在开发或测试环境中这样做并没有什么问题，但如果您希望在生产中只使用一台主机，那么这可能会付出代价。如果发生故障并且您只有一个副本和一台主机，那么您就有丢失所有数据的风险。

对于生产负载，您应该使用多台主机并在它们之间复制数据。这不仅可以确保当主机发生故障时数据仍然安全，还可以让您在多台主机上平衡用户负载，从而使资源密集型查询更快。

技巧 2：不要吝惜 RAM

ClickHouse 速度很快，但其速度取决于可用资源，尤其是RAM。在开发或测试环境中使用最少的 RAM 运行 ClickHouse 集群时，您可以看到出色的性能，但当负载增加时，情况可能会发生变化。

在同时进行大量读写操作的生产环境中，内存不足的问题会更加明显。如果您的 ClickHouse 集群没有足够的内存，它就会变慢，执行复杂查询所需的时间也会更长。

除此之外，当 ClickHouse 执行资源密集型操作时，它可能会与操作系统本身竞争 RAM，最终导致 OOM、停机和数据丢失。

ClickHouse 的开发人员建议使用至少 16 GB 的 RAM 来确保集群稳定。您可以选择较少的内存，但只有在您知道负载不会很高时才这样做。

技巧 3：选择表引擎时要三思

ClickHouse 支持多种具有不同特性的表引擎，但 MergeTree 引擎可能是最理想的选择。专用表是为特定用途量身定制的，但其局限性乍一看可能并不明显。日志系列引擎似乎非常适合日志，但它们不支持复制，并且数据库大小有限。

MergeTree 系列中的表引擎是默认选择，它们提供 ClickHouse 所著称的核心数据功能。除非您确切知道为什么需要不同的表引擎，否则请使用 MergeTree 系列中的引擎，它将涵盖您的大多数用例。

技巧 4：主键不要超过三列

ClickHouse 中的主键与传统数据库中的主键用途不同。它们不确保唯一性，而是定义如何存储和检索数据。

如果将所有列都用作主键，您可能会受益于更快的查询。然而，ClickHouse 的性能不仅取决于读取数据，还取决于写入数据。当主键包含许多列时，写入数据时整个集群的速度都会变慢。

ClickHouse 中主键的最佳大小是两列或三列，因此您可以更快地运行查询，而不会减慢数据插入速度。选择列时，请考虑将要发出的请求，并选择经常在过滤器中选择的列。

技巧 5：避免使用小插件

当您在 ClickHouse 中插入数据时，它首先会将包含该数据的部分保存到磁盘。然后，它会对这些数据进行排序、合并，并在后台将其插入到数据库中的正确位置。如果您经常插入小块数据，ClickHouse 会为每个小块插入创建一个部分。这会减慢整个集群的速度，您可能会收到“部分过多”错误。

为了高效地插入数据，请大块地添加数据，并避免每秒发送多条插入语句。ClickHouse 可以快速插入大量数据 – 每秒 10 万行也可以 – 但应该是一次批量插入，而不是多次较小的插入。

如果您的数据量很小，请考虑使用外部系统（如 Managed Kafka）来批量处理数据。ClickHouse 与 Kafka 集成良好，可以高效地使用 Kafka 中的数据。

建议 6：思考如何消除重复数据

ClickHouse 中的主键不确保数据的唯一性。与其他数据库不同，如果您在 ClickHouse 中插入重复数据，它将按原样添加。

因此，最好的选择是在插入数据之前确保数据是唯一的。例如，您可以在流处理应用程序（如 Apache Kafka）中执行此操作。如果不可能，则在运行查询时有办法处理它。一种选择是使用`argMax`仅选择重复行的最后一个版本。您还可以使用ReplacingMergeTree按设计删除重复条目的引擎。最后，您可以运行`OPTIMIZE TABLE ... FINAL`以合并数据部分，但这是一个资源要求很高的操作，并且您应该只在您知道它不会影响集群性能时运行它。