[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

栏目: 后端 · 发布时间: 6年前

學習目標

  • 在 AWS EC2 建立 Kafka Broker

前置準備作業

  1. 一台能上網的電腦

  2. 已擁有 AWS 帳號且能正常使用 AWS 的服務

啟動 AWS EC2 Ubuntu Server

Step 1. 開啟 AWS Portal

❖ 透過覽瀏器開啟下方網址
  https://aws.amazon.com/tw/

[ Broker ] 使用  <a href='https://www.codercto.com/topics/20577.html'>Docker</a>  在 AWS EC2 建立 Kafka

Step 2. 選取 AWS EC2 服務

❖ 點選 【 Services 】中的 【 EC2 】

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

Step 3. 進入 Instance 設定頁面

❖ 點選 【 Launch Instance 】

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

Step 4. 選擇作業系統種類

❖ 點選 【 Ubuntu Server 16.04 LTS (HVM), SSD Volume Type - ami-0f9cf087c1f27d9b1 (64-bit x86) / ami-036ede09922dadc9b (64-bit Arm) 】中的【 Select 】按鈕

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

Step 5. 選擇 Instance 規格

❖ 選擇【 t2.small 】規格
  ㊟ 規格可自行決定,本範例使用【 t2.small 】規格示範
  ㊟ 記憶體至少 2G 以上

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

Step 6. 設定埠 (Port) 號

❖ 選擇【 6. Configure Security Group 】連結

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

❖ 點選【 Add Rule 】按鈕

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

❖ ① 在【 Port Range 】欄位輸入【 2181 】
     在【 Source 】欄位輸入【 0.0.0.0/0 】
  ② 在【 Port Range 】欄位輸入【 9092 】
     在【 Source 】欄位輸入【 0.0.0.0/0 】
  ③ 在【 Port Range 】欄位輸入【 29092 】
     在【 Source 】欄位輸入【 0.0.0.0/0 】
  ㊟【 Source 】欄位可依需求調整,本範例使用【 0.0.0.0/0 】

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

❖ 點選【 Review and Launch 】按鈕

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

Step 7. 啟動 Instance

❖ 點選【 Launch 】按鈕

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

Step 8. 設定 key

❖ 依需求建立 key

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

❖ 點選確認選項

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

❖ 點選【 Launch Instances 】按鈕

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

Step 9. Ubuntu Server 建立結果

❖ 點選【 View Instances 】按鈕

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

❖ 【 Ubuntu Server 】相關資訊

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

Step 10. 取得 Ubuntu Server 登入資訊

❖ 點選【 Connect 】按鈕

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

❖ 登入資訊
  ㊟ 之後登入到 Ubuntu Server 會使用到此資訊

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

Step 11. 取得傳送檔案到 Ubuntu Server 的資訊

❖ 點選【 Connect 】按鈕

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

❖ 傳送檔案資訊
  ㊟ 之後傳送檔案到 Ubuntu Server 會使用到此資訊

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

Step 12. 登入到 AWS EC2

Step 13. 安裝 Docker

於終端機 【 macOS 】或 Putty 【 Windows 】中輸入下方指令

sudo apt-get update  
sudo apt-get install -y docker.io

Step 14. 安裝 Docker Compose

於終端機 【 macOS 】或 Putty 【 Windows 】中輸入下方指令

①
sudo curl -L "https://github.com/docker/compose/releases/download/1.23.1/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose

②
sudo chmod +x /usr/local/bin/docker-compose

③
docker-compose --version

Step 15. 下載 Docker Compose yml 檔

於終端機 【 macOS 】或 Putty 【 Windows 】中輸入下方指令

wget https://raw.githubusercontent.com/ArcherHuang/Kafka/master/Docker/docker-compose.yml

Step 16. 啟動 Zookeeper 與 Kafka

於終端機 【 macOS 】或 Putty 【 Windows 】中輸入下方指令

sudo docker-compose up -d

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

Step 17. 取得 Container Name

於終端機 【 macOS 】或 Putty 【 Windows 】中輸入下方指令

sudo docker ps -a

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

Step 18. 進到 Container 中

於終端機 【 macOS 】或 Putty 【 Windows 】中輸入下方指令

sudo docker exec -it Container-Name bash

㊟ 請修改【 Container-Name 】為步驟 17 取得的名字

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

Step 19. 建立 Topic

於終端機 【 macOS 】或 Putty 【 Windows 】中輸入下方指令

kafka-topics --create --zookeeper zookeeper:2181 \  
  --replication-factor 1 --partitions 1 \
  --topic test

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

Step 20. Publish Topic

於終端機 【 macOS 】或 Putty 【 Windows 】中輸入下方指令

kafka-console-producer --broker-list kafka:9092 --topic test

再輸入測試文字如 hello world

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

Step 21. Consume Topic

① 離開 Publish 模式
   按 Ctrl+c
② 於終端機 【 macOS 】或 Putty 【 Windows 】中輸入下方指令
kafka-console-consumer \  
  --bootstrap-server kafka:9092 \
  --from-beginning \
  --topic test

[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka

Step 22. 其他指令

  • 列出 Topic
    • kafka-topics --list --zookeeper zookeeper:2181
  • 查看 Topic 描述
    • kafka-topics --describe --zookeeper zookeeper:2181 --topic test
  • 刪除 Topic
    • kafka-topics --delete --zookeeper zookeeper:2181 --topic test

GitHub

List of blogs


以上所述就是小编给大家介绍的《[ Broker ] 使用 Docker 在 AWS EC2 建立 Kafka》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Reality Is Broken

Reality Is Broken

Jane McGonigal / Penguin Press HC, The / 2011-1-20 / USD 26.95

Visionary game designer Jane McGonigal reveals how we can harness the power of games to solve real-world problems and boost global happiness. More than 174 million Americans are gamers, and......一起来看看 《Reality Is Broken》 这本书的介绍吧!

图片转BASE64编码
图片转BASE64编码

在线图片转Base64编码工具

正则表达式在线测试
正则表达式在线测试

正则表达式在线测试

RGB CMYK 转换工具
RGB CMYK 转换工具

RGB CMYK 互转工具