אפאצ'י קפקא

אפאצ'י קפקא
Apache Kafka
מפתח קרן התוכנה אפאצ'י, LinkedIn עריכת הנתון בוויקינתונים
מחזור חיים 7 בנובמבר 2010 – הווה (14 שנים) עריכת הנתון בוויקינתונים
גרסה אחרונה 3.9.0 (6 בנובמבר 2024) עריכת הנתון בוויקינתונים
מערכת הפעלה חוצה-פלטפורמות עריכת הנתון בוויקינתונים
נכתבה בשפות Java, Scala עריכת הנתון בוויקינתונים
סוג רישיון אפאצ'י 2.0, רישיון אפאצ'י עריכת הנתון בוויקינתונים
קוד מקור
kafka.apache.org
לעריכה בוויקינתונים שמשמש מקור לחלק מהמידע בתבנית
ארכיטקטורת אשכול של קפקא

אפאצ'י קפקא היא פלטפורמת תוכנה לעיבוד זרם נתונים (stream processing) קוד פתוח המפותחת במסגרת קרן התוכנה אפאצ'י ונכתבת בשפות Scala ו-Java. הפרויקט נועד לספק פלטפורמה מאוחדת, עם תפוקה גבוהה וזמני השהיה קצרים לטיפול בזרם נתונים בזמן אמת. שכבת האחסון היא בעצם "תור הודעות גדול ממדים בתבנית עיצוב יצרן-צרכן (Pub/Sub) עם ארכיטקטורה מבוזרת ניתנת להגדלה (scalable), הפועל כלוג (יומן מקוון) של טרנזאקציות"[1] ובכך מהווה תשתית יעילה עבור ארגונים גדולים לעיבוד נתונים. בנוסף, קפקא מתחבר למערכות חיצונית עבור ייבוא/ייצוא של נתונים באמצעות Kafka Connect ומגדיר לשימוש זרמי נתונים ("Kafka Streams") כספריית עיבוד נתונים בשפת Java.

עיצוב הפלטפורמה מושפע מאוד ממימושי Transaction log הקיימים במערכות DBMS.[2]

שימושים בתעשייה

[עריכת קוד מקור | עריכה]

להלן רשימה של ארגונים בולטים המשתמשים בקפקא:

קישורים חיצוניים

[עריכת קוד מקור | עריכה]
ויקישיתוף מדיה וקבצים בנושא אפאצ'י קפקא בוויקישיתוף

הערות שוליים

[עריכת קוד מקור | עריכה]
  1. ^ Monitoring Kafka performance metrics, Datadog Engineering Blog, accessed 23 May 2016/
  2. ^ The Log: What every software engineer should know about real-time data's unifying abstraction, LinkedIn Engineering Blog, accessed 5 May 2014
  3. ^ "Exchange Market Data Streaming with Kafka". betsandbits.com. אורכב מ-המקור ב-2016-05-28.
  4. ^ "OpenSOC: An Open Commitment to Security". Cisco blog. נבדק ב-2016-02-03.
  5. ^ "More data, more data". אורכב מ-המקור ב-2018-10-21. נבדק ב-2017-12-18.
  6. ^ "Conviva home page". Conviva. 2017-02-28. אורכב מ-המקור ב-2017-06-02. נבדק ב-2017-05-16.
  7. ^ Doyung Yoon. "S2Graph : A Large-Scale Graph Database with HBase". אורכב מ-המקור ב-2016-03-09. נבדק ב-2017-12-18.
  8. ^ "Kafka Usage in Ebay Communications Delivery Pipeline".
  9. ^ "Cryptography and Protocols in Hyperledger Fabric" (PDF). בינואר 2017. אורכב מ-המקור (PDF) ב-2017-07-02. נבדק ב-2017-05-05. {{cite web}}: (עזרה)
  10. ^ "Kafka at HubSpot: Critical Consumer Metrics". אורכב מ-המקור ב-2018-11-19. נבדק ב-2017-12-18.
  11. ^ Cheolsoo Park and Ashwin Shankar. "Netflix: Integrating Spark at Petabyte Scale". אורכב מ-המקור ב-2016-03-04. נבדק ב-2017-12-18.
  12. ^ Boerge Svingen. "Publishing with Apache Kafka at The New York Times". אורכב מ-המקור ב-2017-09-17. נבדק ב-2017-09-19.
  13. ^ Shibi Sudhakaran of PayPal. "PayPal: Creating a Central Data Backbone: Couchbase Server to Kafka to Hadoop and Back (talk at Couchbase Connect 2015)". Couchbase. נבדק ב-2016-02-03.
  14. ^ Boyang Chen Pinterest. "Pinterest:Using Kafka Streams API for predictive budgeting". נבדק ב-2018-02-21. {{cite web}}: |author= has generic name (עזרה)
  15. ^ "Shopify - Sarama is a Go library for Apache Kafka".
  16. ^ Josh Baer. "How Apache Drives Spotify's Music Recommendations". אורכב מ-המקור ב-2016-03-09. נבדק ב-2017-12-18.
  17. ^ Patrick Hechinger. "CTOs to Know: Meet Ticketmaster's Jody Mulkey". אורכב מ-המקור ב-2018-10-21. נבדק ב-2017-12-18.
  18. ^ "Stream Processing in Uber". InfoQ. נבדק ב-2015-12-06.
  19. ^ "Apache Kafka for Item Setup". medium.com. נבדק ב-2017-06-12.
  20. ^ "Streaming Messages from Kafka into Redshift in near Real-Time". Yelp. אורכב מ-המקור ב-2017-06-03. נבדק ב-2017-07-19.
  21. ^ "Scaling Production data across Microservices @ Fiverr / Erik Ashepa". Youtube. נבדק ב-2019-07-10.