Scrapy

Questa voce è orfanaQuesta voce è orfana, ovvero priva di collegamenti in entrata da altre voci.
Inseriscine almeno uno pertinente e utile e rimuovi l'avviso. Segui i suggerimenti del progetto di riferimento.
Scrapy
software
Logo
Logo
GenereWeb Crawler (non in lista)
SviluppatoreScrapinghub, Ltd.
Data prima versione26 Giugno 2008
Ultima versione1.8.0 (28 Ottobre 2019)
Sistema operativoMicrosoft Windows
macOS
Linux
LinguaggioPython
LicenzaLicenza BSD
(licenza libera)
Sito webscrapy.org
Modifica dati su Wikidata · Manuale

Da non confondersi con Scrapie

Scrapy (/ˈskreɪpaɪ/ SKRAY-PEYE ) è un framework open source per web-crawling scritto in Python. Originariamente creato per web scraping può essere anche utilizzato per estrarre dati usando delle API oppure come un web-crawler general-purpose[1]. È mantenuto da Scrapinghub Ltd., uno sviluppatore di web-scrapers e compagnia di servizi.

L'architettura del progetto di Scrapy consiste in "ragni", che sono web-crawler che sono dati un set di istruzioni. Seguendo lo spirito di framework don't repeat yourself, come Django[2], rende semplice costruire e scalare progetti di crawling grandi, concedendo agli sviluppatori di riutilizzare il loro codice. Scrapy offre anche una shell per web-crawling, che può essere usata dagli sviluppatori per testare delle assunzioni su un comportamento di un sito[3]. Alcune compagnie conosciute utilizzano Scrapy come: Lyst[4][5], Parse.ly[6], Sayone Technologies[5], Sciences Po Medialab[7], Data.gov.uk.

Storia

[modifica | modifica wikitesto]

Scrapy fu creato dalla compagnia francese Mydeco, dove fu sviluppato e mantenuto dagli impiegati di Mydeco e Insophia (una compagnia consulente in Montevideo, Uruguay). La prima versione pubblica venne rilasciata nell'agosto 2008 con la Licenza BSD, con il rilascio della versione 1.0 nel giugno 2015. Nel 2011, Scrapinghub divenne il mantenitore ufficiale[8][9].

Note

[modifica | modifica wikitesto]
  1. ^ Scrapy at a glance — Scrapy 2.0.0 documentation, su doc.scrapy.org. URL consultato il 5 marzo 2020.
  2. ^ Frequently Asked Questions — Scrapy 2.0.0 documentation, su doc.scrapy.org. URL consultato il 5 marzo 2020.
  3. ^ Scrapy shell — Scrapy 2.0.0 documentation, su doc.scrapy.org. URL consultato il 5 marzo 2020.
  4. ^ Scalable Scraping Using Machine Learning at Lyst, su talks.lystit.com. URL consultato il 5 marzo 2020 (archiviato dall'url originale il 9 ottobre 2016).
  5. ^ a b Scrapy | Companies using Scrapy, su scrapy.org. URL consultato il 5 marzo 2020.
  6. ^ (EN) Web Crawling & Metadata Extraction in Python, su Speaker Deck. URL consultato il 5 marzo 2020.
  7. ^ (EN) Jacomy Mathieu Ooghe-Tabanou Benjamin, Hyphe v0.0.0 : the first release of our new webcrawler is out !, su médialab Sciences Po. URL consultato il 5 marzo 2020.
  8. ^ (EN) scrapy/scrapy, su GitHub. URL consultato il 5 marzo 2020.
  9. ^ (EN) Author Ajay Ohri, Interview ScrapingHub #python #webcrawling, su DECISION STATS, 12 dicembre 2015. URL consultato il 5 marzo 2020.

Collegamenti esterni

[modifica | modifica wikitesto]
  Portale Software libero: accedi alle voci di Wikipedia che trattano di software libero