Find Jobs
Hire Freelancers

Need help with Kafka offset Commit Strategy in Spark Streaming Job

$250-750 USD

Abgeschlossen
Veröffentlicht vor etwa 4 Jahren

$250-750 USD

Bezahlt bei Lieferung
I have spark streaming job, and i need help create a kafka offset commit after the message is processed by the streaming job. Basically, would want to implement a manual kafka offset management and what would be the best place to commit the offset after the message is processed. Looking for someone highly experienced in Java, Kafka and Spark. The compensation will be provided accordingly. Also, some one who has already worked in configuration driven development would be a plus.
Projekt-ID: 25245436

Über das Projekt

4 Vorschläge
Remote Projekt
Aktiv vor 4 Jahren

Möchten Sie etwas Geld verdienen?

Vorteile einer Ausschreibung auf Freelancer

Legen Sie Ihr Budget und Ihren Zeitrahmen fest
Für Ihre Arbeit bezahlt werden
Skizzieren Sie Ihren Vorschlag
Sie können sich kostenlos anmelden und auf Aufträge bieten
Vergeben an:
Avatar des Nutzers
Hi\r\n\r\nI have good experience working on Kafka streaming . Recently i worked for one of the client at freelancer Reference - [login to view URL]\r\n\r\nIn my professional carrer, i worked for streaming events from IOT devices, configuring Kakfa and Spark configuration for algorithm processing and threshhold management.\r\n\r\nCan you please inform if it is possible to setup the environment on local system\r\n\r\nHope that you are looking for Async manual commit after processing the stream RDD.\r\n\r\nPlease provide the info\r\n\r\nThanks\r\nMDS
$40 USD in 4 Tagen
4,7 (6 Bewertungen)
3,4
3,4
4 Freelancer bieten im Durchschnitt $427 USD für diesen Auftrag
Avatar des Nutzers
I can do this, let's connect Hi, I have 8 years of experience and working on hadoop, spark, nosql, java, BI tools(tableau, powerbi), cloud(Amazon, Google, Microsoft Azure)... Done end to end data warehouse management projects on aws cloud with hadoop, hive, spark and presodb. Worked on multiple etl project like springboot, angular, node, PHP, Kafka, nifi, flume, mapreduce, spark with XML/JSON., Cassandra, mongodb, hbase, redis, oracle, sap hana, ASE.... Many more. Let's discuss the required things in detail. I am committed to work done and strong in issue resolving as well. Thanks
$250 USD in 5 Tagen
5,0 (4 Bewertungen)
3,6
3,6
Avatar des Nutzers
Hi, I am a certified bigdata developer and designed and developed many applications using spark and Kafka. I used both Apache and confluent kafka and configured and managed each and every aspect of kafka configuration using external configuration files as like we defined our applications standards. Please let’s connect and discuss more on your requirements.
$667 USD in 10 Tagen
5,0 (4 Bewertungen)
3,2
3,2

Über den Kunden

Flagge von UNITED STATES
Tampa, United States
0,0
0
Mitglied seit Mai 1, 2020

Kundenüberprüfung

Danke! Wir haben Ihnen per E-Mail einen Link geschickt, über den Sie Ihr kostenloses Guthaben anfordern können.
Beim Senden Ihrer E-Mail ist ein Fehler aufgetreten. Bitte versuchen Sie es erneut.
Registrierte Benutzer Veröffentlichte Jobs
Freelancer ® is a registered Trademark of Freelancer Technology Pty Limited (ACN 142 189 759)
Copyright © 2024 Freelancer Technology Pty Limited (ACN 142 189 759)
Vorschau wird geladen
Erlaubnis zur Geolokalisierung erteilt.
Ihre Anmeldesitzung ist abgelaufen und Sie wurden abgemeldet. Bitte melden Sie sich erneut an.