Kafka消息队列
  • 首云Kafka Service基于原生Apache Kafka构建,是完全托管服务,可让您轻松构建并运行使用 Apache Kafka 的应用程序来处理流数据。 Apache Kafka 是一个开源平台,用于构建实时流数据管道和应用程序。借助首云Kafka Service,您可以使用原生 Apache Kafka API 填充数据湖、将所做更改流式传入和传出数据库,以及为机器学习和分析应用程序提供支持。
立即购买

产品优势

  • 开箱即用

    ●完全兼容开源
    100% 兼容开源社区 Kafka(0.10.0.0 及以上版本),全面兼容 Kafka 开源客户端;
    ●工具丰富
    提供第三方管理工具,集成Kafka manager控制台,可对集群、节点等进行高级管理操作;
    ●平滑迁移
    基于现有的开源 Apache Kafka 生态的代码,无需任何改造,即可无缝使用。

    监控告警

    ●实时监控每个Kafka消息队列中集群、节点、Topic的消息流量或设备使用情况;
    ●支持自主设置告警条件,系统将通过短信或邮件通知您,帮助您及时发现问题。

    丰富的性能选择

    集群节点支持多种计算类型及多种规格,支持2种存储类型及单100GB-4TB的容量,满足不同业务对性能的需求。

  • 高安全性

    通过部署在完全隔离的虚拟数据中心VDC,客户可以完全掌控自己的环境配置,提供了 用户访问认证,切实保证您云上资源的安全性。

    安全与加密

    ●数据安全
    集群部署在完全隔离的VDC内,您可以完全自主控制网络配置;同时可以通过公网IP和带宽设置连接到您的Kafka Service(创建时选择)。
    ●数据流加密
    通过代理网络以及您的集群上的客户端与代理网络之间的 TLS 在传输过程中进行加密数据。
    ●支持基于 TLS 的证书身份验证,用于对连接集群的客户端进行身份验证。

    弹性扩展

    支持按业务需求进行横向调整集群的节点规模,且期间业务不中断;
    支持对分区进行扩展,且业务不中断。

产品功能

  • 首云,首都在线,全球一体化平台

    Kafka Manger集成

    通过提供开箱即用的原生Kafka Manager开源服务,使您能够更轻松地管理和监控Apache Kafka集群,提供对Topic、Partitions的可视化管理。

  • 首云,首都在线,全球一体化平台

    完全托管

    只需要在首云控制台中单击几下,就可以创建完全托管的Apache Kafka集群。

  • 首云,首都在线,全球一体化平台

    监控和警报

    首云Kafka Service提供核心链路运行时巡检,集群健康扫描,实例、消息堆积等多维度监控与告警设置。

  • 首云,首都在线,全球一体化平台

    数据安全

    集群部署在完全隔离的VDC内,您可以完全自主控制网络配置;同时可以通过公网IP和带宽设置连接到您的Kafka Service(创建时选择)。

应用场景

  • 首云,首都在线,全球一体化平台 首云,首都在线,全球一体化平台

    流计算处理

  • 首云,首都在线,全球一体化平台 首云,首都在线,全球一体化平台

    日志聚合

  • 首云,首都在线,全球一体化平台 首云,首都在线,全球一体化平台

    网站活动跟踪

  • 首云,首都在线,全球一体化平台 首云,首都在线,全球一体化平台

    数据中转枢纽

在很多领域,如股市走向分析、气象数据测控、网站用户行为分析,由于数据产生快、实时性强且量大,您很难统一采集这些数据并将其入库存储后再做处理,这便导致传统的数据处理架构不能满足需求。 与传统架构不同,消息队列 Kafka 以及 Storm/Samza/Spark 等流计算引擎的出现,就是为了更好地解决这类数据在处理过程中遇到的问题,流计算模型能实现在数据流动的过程中对数据进行实时地捕捉和处理,并根据业务需求进行计算分析,最终把结果保存或者分发给需要的组件。
能够实现:
●流动的数据:构建应用系统和分析系统的桥梁,并将它们之间的关联解耦;
●高可扩展性:由于数据产生非常快且数据量大,需要非常高的可扩展性;
●流计算引擎:可对接开源 Storm/Samza/Spark等。

许多公司,典型如电商平台每天都会产生大量的日志(一般为流式数据,如搜索引擎 pv、查询等),相较于日志为中心的系统,比如 Scribe 或者 Flume 来说,消息队列 Kafka 在提供同样高效的性能时,可以实现更强的数据持久化以及更低的端到端响应时间。消息队列 Kafka 的这种特性决定它非常适合作为日志收集中心:
●消息队列 Kafka 忽略掉文件的细节,可以将多台主机或应用的日志数据抽象成一个个日志或事件的消息流,异步发送到消息队列 Kafka 版集群,从而做到非常低的 RT(响应时间);
●消息队列 Kafka 客户端可批量提交消息和压缩消息,对生产者而言几乎感觉不到性能的开支;
●消费者可以使用 Hadoop、ODPS 等离线仓库存储和 Strom、Spark 等实时在线分析系统对日志进行统计分析。
能够实现:
●应用与分析解耦:构建应用系统和分析系统的桥梁,并将它们之间的关联解耦;
●高可扩展性:具有非常高的可扩展性,即当数据量增加时可通过增加节点快速水平扩展;
●在线/离线分析系统:支持实时在线分析系统和类似于 Hadoop 的离线分析系统。

成功的网站运营都会非常关注站点的用户行为并进行分析。通过消息队列 Kafka ,您可以实时收集网站活动数据(包括用户浏览页面、搜索及其他行为等),并通过“发布/订阅”模型实现:
●根据不同的业务数据类型,将消息发布到不同的 Topic;
●通过订阅消息的实时投递,将消息流用于实时监控与业务分析或者加载到 Hadoop、ODPS 等离线数据仓库系统进行离线处理与业务报告。
能够实现:
●高吞吐:网站所有用户产生的行为信息极为庞大,需要非常高的吞吐量来支持;
●弹性扩容:网站活动导致行为数据激增,云平台可以快速按需扩容;
●大数据分析:可对接 Storm/Spark 实时流计算引擎,亦可对接 Hadoop/ODPS 等离线数据仓库系统。

近 10 多年来,诸如 KV 存储(HBase)、搜索(ElasticSearch)、流式处理(Storm/Spark Streaming/Samza)、时序数据库(OpenTSDB)等专用系统应运而生。这些系统是因为单一的目标而产生,也因其简单性使得在商业硬件上构建分布式系统变得更加容易且性价比更高。 通常,同一份数据集需要被注入到多个专用系统内。例如,当应用日志用于离线日志分析,搜索单个日志记录同样不可或缺,而构建各自独立的工作流来采集每种类型的数据再导入到各自的专用系统显然不切实际,利用消息队列 Kafka 版作为数据中转枢纽,同份数据可以被导入到不同专用系统中。
能够实现:
●高容量存储:能在商业硬件上存储高容量的数据,实现可横向扩展的分布式系统;
●一对多消费模型:“发布/订阅”模型,支持同份数据集能同时被消费多次;
●同时支持实时和批处理:支持本地数据持久化和 Page Cache,在无性能损耗的情况下能同时传送消息到实时和批处理的消费者。

7x24服务热线
服务与支持
首云,首都在线,全球一体化平台
首云,首都在线,全球一体化平台