Scrapy

Υπευθ. ανάπτυξης Zyte (πρώην Scrapinghub)
Aρχική έκδοση 26 Ιουνίου 2008 (2008-06-26)
Σταθερή έκδοση
2.6.1[1] Edit this on Wikidata / 1 Μαρτίου 2022; 23 days ago (1 March 2022)
Αποθετήριο
Γραμμένο σε Python
Λειτουργικό σύστημα Windows, macOS, Linux
Κατηγορία Web crawler
Άδεια Λογισμικού BSD
Ιστοσελίδα scrapy.org Edit this on Wikidata

Το Scrapy (SKRAY-peye ) είναι ένα δωρεάν και ανοιχτού κώδικα πλαίσιο λογισμικού για ανίχνευση ιστοσελίδων γραμμένο σε Python. Αρχικά σχεδιασμένο για απόξεση ιστού, μπορεί επίσης να χρησιμοποιηθεί για εξαγωγή δεδομένων χρησιμοποιώντας API ή ως πρόγραμμα ανίχνευσης ιστού γενικής χρήσης. [2] Αυτή τη στιγμή διατηρείται από τη Zyte πρώην Scrapinghub, μια εταιρεία ανάπτυξης και υπηρεσιών web-scraping.


Η αρχιτεκτονική του Scrapy project είναι ανεπτυγμένη γύρω από "αράχνες", οι οποίες είναι αυτόνομα ερπυστριοφόρα προγράμματα που λαμβάνουν ένα σύνολο οδηγιών. Διευκολύνει τη δημιουργία και την κλιμάκωση μεγάλων έργων ανίχνευσης, επιτρέποντας στους προγραμματιστές να επαναχρησιμοποιήσουν τον κώδικά τους.


Το πλαίσιο Scrapy παρέχει ισχυρές δυνατότητες, όπως auto-throttle , περιστρεφόμενους διακομιστές μεσολάβησης και πράκτορες χρήστη, επιτρέποντάς το σχεδόν απαρατήρητο scraping στο διαδίκτυο. Το Scrapy παρέχει επίσης ένα κέλυφος ανίχνευσης ιστού, το οποίο μπορεί να χρησιμοποιηθεί από προγραμματιστές προκειμένου να δοκιμάσουν τυχούσες υποθέσεις τους σχετικά με τη συμπεριφορά ενός ιστότοπου. [3]


Κάποιοι δημοφιλείς οργανισμοί και προϊόντα που χρησιμοποιούν το Scrapy είναι: Lyst, [4] [5] Parse.ly, [6] Sayone Technologies, [7] Sciences Po Medialab, [8] Data.gov.uk 's World Government Data Data . [9] [1] Αρχειοθετήθηκε 2018-08-16 στο Wayback Machine.

Παραπομπές

[Επεξεργασία | επεξεργασία κώδικα]
  1. ↑ https://github.com/scrapy/scrapy/releases/tag/2.6.1; publication date: 1 March 2022; retrieved: 11 March 2022.
  2. ↑ Scrapy at a glance.
  3. ↑ «Scrapy shell». Ανακτήθηκε στις 28 Ιουλίου 2015. 
  4. ↑ Bell, Eddie· Heusser, Jonathan. «Scalable Scraping Using Machine Learning». Αρχειοθετήθηκε από το πρωτότυπο στις 9 Οκτωβρίου 2016. Ανακτήθηκε στις 28 Ιουλίου 2015. 
  5. ↑ Scrapy | Companies using Scrapy
  6. ↑ Montalenti, Andrew. «Web Crawling & Metadata Extraction in Python». 
  7. ↑ «Scrapy Companies». Scrapy website. 
  8. ↑ Hyphe v0.0.0: the first release of our new webcrawler is out!
  9. ↑ Ben Firshman [@bfirsh] (21 Ιανουαρίου 2010). «World Govt Data site uses Django, Solr, Haystack, Scrapy and other exciting buzzwords bit.ly/5jU3La #opendata #datastore» (Tweet) – μέσω Twitter. 

Εξωτερικοί σύνδεσμοι

[Επεξεργασία | επεξεργασία κώδικα]