Apache KafkaをMacでコンテナを使わずにPythonで動かしてみる

  • 2022.08.24
  • IT
Apache KafkaをMacでコンテナを使わずにPythonで動かしてみる

kafkaをローカル環境で、Pythonを使って試して見たかったので、その記録をメモします。

ゆくゆくはコンテナ化します。

PythonのKafkaライブラリについて

候補としては2つ見つけました。

  1. Confluent Kafka Python
  2. Kafka Python

2番のライブラリは、最終更新が1年以上前の非アクティブなリポジトリでしたが、導入が簡単そうだったので、今回は2番を使いました。

1番も時間があれば使ってみようとは思います。

 

ローカル環境について

 

環境の構築について

まずは、2つのターミナルを開いて、下記コマンドでZookeeperとKafka Serverを起動します。

 

 /usr/local/bin/zookeeper-server-start /usr/local/etc/zookeeper/zoo.cfg

/usr/local/bin/kafka-server-start /usr/local/etc/kafka/server.properties

Pythonのコードについて

サンプルコードをもとに、作っていきます。

送る側のプログラムについて

まずは、送る側のプログラムを作り、実行します。

送る方法は公式ドキュメントを見ると色々あったのですが、簡単な2つを試してみました。

 

ちょっと、中身に深く入らずに書いたのですが、実際の実装を時間がある時にもう少し深堀りしたいなとおもっています。

 

受け手側のプログラムについて

こちらは簡単です。

下記をテキトウなPythonファイルに書いて実行するだけです。

 

以上です。