【Kafka】 Motivation

Metadata

title: 【Kafka】 Motivation
date: 2023-02-14 13:49
tags:
  - 行动阶段/完成
  - 主题场景/组件
  - 笔记空间/KnowladgeSpace/ProgramSpace/ModuleSpace
  - 细化主题/Module/Kafka
categories:
  - Kafka
keywords:
  - Kafka
description: 我们将Kafka设计为能够作为一个统一的平台来处理大型公司可能拥有的所有实时数据feed。要做到这一点，我们必须考虑一组相当广泛的用例。

【Kafka】 设计目的

我们将Kafka设计为能够作为一个统一的平台来处理大型公司可能拥有的所有实时数据feed。要做到这一点，我们必须考虑一组相当广泛的用例。

它必须具有高吞吐量，以支持高容量的事件流，如实时日志聚合。

它需要优雅地处理大量的数据积压，才能支持定期从离线系统加载数据。

这也意味着系统将不得不处理低延迟交付，以处理更传统的消息传递用例。

我们希望支持对这些提要的分区、分布式、实时处理，以创建新的、派生的提要。这激发了我们的分区和消费者模型。

最后，当数据流被送入其他数据系统服务时，我们知道系统必须能够保证机器出现故障时的容错性。

为了支持这些用途，我们设计了一个具有许多独特元素的设计，它更类似于数据库日志，而不是传统的消息系统。我们将在以下几节中概述设计的一些元素。