1 việc làmKafka

[DI6] SENIOR DATA ENGINEER (SQL) – MSB - 1Y565
Ngân hàng TMCP Hàng Hải Việt Nam (MSB)
Senior
Quận Đống Đa, Hà Nội
(In Office)
Tham gia vào các siêu dự án trọng điểm, có vốn đầu tư trên 2000 tỉ đồng. định hình tương lai của Ngân hàng
Hiện thực hóa những ý tưởng sáng tạo khi tham gia toàn bộ vòng đời của dự án, từ lúc lên ý tưởng, phát triển cho đến khi triển khai thực tế.
Làm việc cùng những đối và nhà cung cấp giải pháp hàng đầu như BCG, McKinsey, IBM, AWS, Temenos
Oracle SQL Python Data Engineer Kafka
Đăng 3 ngày trước

Thông tin công ty

Bài viết liên quan

Xem tất cả

So sánh Apache Kafka và RabbitMQ: Nên chọn message queue nào?

Trong thế giới phát triển phần mềm hiện đại, việc xử lý và truyền tải dữ liệu hiệu quả giữa các hệ thống đã trở thành một yêu cầu quan trọng. Apache Kafka và RabbitMQ là hai nền tảng message broker hàng đầu, mỗi hệ thống đều có những ưu điểm riêng và phù hợp với các tình huống sử dụng khác nhau. Bài viết này sẽ đi sâu vào phân tích, so sánh Apache Kafka và RabbitMQ, giúp các nhà phát triển và kiến trúc sư hệ thống có cái nhìn tổng quan để lựa chọn công cụ phù hợp nhất cho dự án của mình. Tổng quan về Apache Kafka Apache Kafka là gì? Apache Kafka là một nền tảng xử lý dòng dữ liệu phân tán, mã nguồn mở, được phát triển ban đầu bởi LinkedIn và sau đó trở thành một dự án của Apache Software Foundation. Kafka được thiết kế để xử lý dữ liệu theo thời gian thực, với khả năng thu thập, lưu trữ và [...]

Đọc thêm

Làm việc với Apache Kafka Topic sử dụng CLI

Bài viết được sự cho phép của tác giả Nguyễn Hữu Khanh Sau khi cài đặt Apache Kafka, các bạn có thể sử dụng công cụ Apache Kafka CLI để làm việc với topic trong Apache Kafka server. [irp posts="35520" name="Apache Kafka là gì?"] [irp posts="46000" name="Cài đặt Apache Kafka sử dụng Docker Compose"] Xem thêm việc làm AngularJS hấp dẫn trên TopDev Tạo mới topic Chúng ta sẽ sử dụng tập tin kafka-topics.sh của Apache Kafka CLI để làm việc với topic trong Apache Kafka server. Để tạo mới một topic, các bạn có thể sử dụng câu lệnh với cú pháp như sau: kafka-topics.sh --create --topic <topic_name> --bootstrap-server <kafka_server> --partitions <partition_number> --replication-factor <replication_number> Trong đó: topic_name là tên topic mà chúng ta cần tạo kafka_server là địa chỉ Apache Kafka server với định dạng host:port partition_number là số lượng partitions mà chúng ta cần tạo replication_number là số lượng replicate mà chúng ta muốn cho mỗi partition. Giá trị của tham số này sẽ phụ thuộc vào số lượng Apache [...]

Đọc thêm

Các khái niệm cơ bản trong Apache Kafka

Bài viết được sự cho phép của tác giả Nguyễn Hữu Khanh Để làm việc với Apache Kafka, các bạn cần nắm một số khái niệm cơ bản về: Producer Consumer Broker Cluster Topic Topic Partitions Partition Offset Consumer Group [irp posts="35520" name="Apache Kafka là gì?"] [irp posts="46000" name="Cài đặt Apache Kafka sử dụng Docker Compose"] Xem thêm tuyển dụng UI UX Designer hấp dẫn trên TopDev Producer Producer là những application produce data và gửi data tới Apache Kafka Server. Data này sẽ là những message có định dạng, được gửi dưới dạng mảng byte tới Apache Kafka server. Ví dụ như các bạn có một tập tin .txt chứa text bên trong, chúng ta có thể dùng Producer để đọc từng dòng trong tập tin này rồi gửi tới Apache Kafka server. Consumer Consumer là những application nhận message từ Apache Kafka server với message được gửi từ Publisher. Consumer cần phải subcribe vào một topic nào đó của Apache Kafka server để có thể nhận được tất cả các message được emit vào topic này. Sau khi nhận được data, Consumer [...]

Đọc thêm

Cơ bản về Apache Kafka

Bài viết được sự cho phép của tác giả Nguyễn Hữu Khanh Apache Kafka là một open-source distributed event streaming platform giúp chúng ta có thể tạo và process data stream real-time. Các bạn có thể hình dung đến những hệ thống mà mỗi giây, data đều được sinh ra và cần được xử lý ví dụ như hệ thống quản lý giao thông, quản lý thời tiết, data sẽ được tạo ra từ nhiều nơi khác nhau và cần được collect để xử lý. Sử dụng Apache Kafka với high scalable có thể giúp chúng ta giải quyết những bài toán như vậy. [irp posts="45862" name="Cài đặt Apache Kafka trên macOS"] [irp posts="36289" name="Sử dụng Apache POI để đọc, ghi dữ liệu từ file Excel trong Selenium"] Xem thêm các việc làm Flutter lương cao trên TopDev Apache Kafka là một hệ thống enterprise messaging, hoạt động với cơ chế Pub-Sub messaging architecture. Chúng ta có Message Publisher, Message Consumer và Message Broker. Message Publisher là nơi produce các message và emit các message vào Message Broker, Message Consumer là nơi nhận, nó sẽ subscribe Message Broker và [...]

Đọc thêm