Red Hot Cyber
La cybersecurity è condivisione. Riconosci il rischio, combattilo, condividi le tue esperienze ed incentiva gli altri a fare meglio di te.
Cerca
Red Hot Cyber Academy

Cosa è il Web Scraping? Comprendiamolo meglio

Redazione RHC : 9 Luglio 2021 08:00

Spesso abbiamo parlato di grandissimi database di utenti venduti nei forum underground e abbiamo detto che si trattava di web scraping.

Ad aprile del 2021 facebook ha perso 533 milioni di utenti, mentre a giugno 2021, LinkedIn ha perso 700 milioni di utenti, praticamente tutta la sua base utente che di fatto ammonta ad oggi a 756 milioni di utenti.


PARTE LA PROMO ESTATE -40%

RedHotCyber Academy lancia una promozione esclusiva e a tempo limitato per chi vuole investire nella propria crescita professionale nel mondo della tecnologia e della cybersecurity!

Approfitta del 40% di sconto sull’acquisto congiunto di 3 corsi da te scelti dalla nostra Academy. Ad esempio potresti fare un percorso formativo includendo Cyber Threat intelligence + NIS2 + Criptovalute con lo sconto del 40%. Tutto questo lo potrai fruire, dove e quando vuoi e con la massima flessibilità, grazie a lezioni di massimo 30 minuti ciascuna.

Contattaci tramite WhatsApp al 375 593 1011 per richiedere ulteriori informazioni oppure scriviti alla casella di posta [email protected]



Supporta RHC attraverso:


Ti piacciono gli articoli di Red Hot Cyber? Non aspettare oltre, iscriviti alla newsletter settimanale per non perdere nessun articolo.


Subito dopo LinkedIn ha precisato:

“I nostri team hanno indagato su una serie di presunti dati di LinkedIn che sono stati messi in vendita. Vogliamo essere chiari sul fatto che questa non è una violazione dei dati e che nessun dato privato dei membri di LinkedIn è stato esposto” .

Ma allora, se è tutto è regolare e non c’è stata alcuna violazione, le persone giustamente si domandano: da dove provengono tutte queste informazioni? Qualcuno ha scoperto una falla ad un database, ad una web API dalla quale un malintenzionato ha estratto milioni di profili utente?

Sono domande più che lecite, ma per inquadrare meglio il fenomeno e trarre le giuste conclusioni, dobbiamo iniziare a comprendere cosa è il web-scraping, cosa che faremo con questo articolo.

Cosa è il web scraping

Per web scraping, si intende un processo di estrazione automatica di dati o di raccolta informazioni dal World Wide Web. È un campo in via di sviluppo e consiste in un insieme di tecniche che consentono il download di informazioni legittime dalle piattaforme web, l’elaborazione del testo, le comprensione semantica e l’utilizzo delle intelligenze artificiali per riversare il tutto, correttamente e coerentemente organizzato in una base dati.

Di fatto non si discosta molto da quello che fanno i motori di ricerca costantemente con le loro attività di “crawling”, eseguendo i download delle pagine, analizzandole e classificandole attraverso evoluti algoritmi di intelligenza artificiale all’interno dei loro immensi database distribuiti.

Per “crawling” si intende il processo attuato dai grossi motori di ricerca, quando inviano i propri crawler (come Googlebot) in rete per indicizzare i contenuti web. Lo scraping, invece, è un’attività strutturata per estrarre dati mirati da un determinato sito web.

Le attività di web scrapig vengono svolte per indagini statistiche, ai fini di marketing e per acquisire vantaggi competitivi, in quanto le aziende possono conoscere con un buon anticipo le strategie dei rispettivi concorrenti.

Esistono metodi utilizzati da alcuni siti web per prevenire il web scraping, come ad esempio rilevare e impedire ai bot la visualizzazione delle loro pagine.

Utilizzi Illeciti

Come in tutte le cose, in particolare su internet, esistono attività svolte per fini leciti e quelle svolte per fini illeciti e il web data scraping non è da meno. L’utilizzo in questo caso viene fatto per la creazione di interi database di informazioni utilizzati per scopi commerciali, oppure la creazione di immense banche dati di profili utente, classificati, indicizzati e categorizzati.

Questo generalmente avviene sui social network, dove di fatto la maggior parte delle persone riveste informazioni sulla loro vita privata, comprese informazioni sensibili come indirizzi, numeri di telefono, lavoro e molto altro ancora.

Come abbiamo visto, per scraping si intende effettuare un download massivo di pagine web da un determinato sito e questo può essere fatto manualmente (di fatto impossibile), ma tale attività può essere replicata attraverso dei “bot” mirati costruiti ad arte, per scaricare informazioni pubbliche dai profili per poi organizzarli in modo da poterli ricercare agilmente all’interno di una base dati.

Correlazione di dati

Come abbiamo visto in precedenza in diversi articoli (ad esempio nell’articolo “ogni data leak è un problema di tutti”), tali informazioni possono essere “arricchite” utilizzando le famose collection di databreach precedenti, e quindi correlandoli tra loro per generare una precisa “impronta” di una determinata identità.

Come detto, ci sono informazioni di una persona che non cambiano con molta facilità e quindi un dataleak/databreach anche vecchio di 5 anni, è una fonte preziosissima di informazioni e di correlazioni. Ad esempio, chi cambia il numero di telefono, della abitazione o della email ogni 5 anni?

Non è infatti raro trovare in vendita dati frutto di website scraping arricchiti con altri data leak o databreach. Tutto questo serve per avere maggiori informazioni di una persona per poi poterla attaccare attraverso attività mirate di phishing, si SIM Swap, di furto di credenziali e molto altro ancora. E siccome il cybercrime premia la velocità e il basso costo, avere tra le mani una raccolta vasta di informazioni su determinati gruppi di utenti, è una cosa altamente interessante.

Come proteggerci dal web scraping

Non esiste di fatto protezione dal web scraping.

La cosa importante che occorre capire è che quando si pubblicano informazioni online, li rimangono per sempre e in verità, chiunque capiti su quella determinata pagina web le potrà leggere, scaricarle, archiviarle e analizzarle.

L’unico modo per fermare il web scraping è evitare di inserire contenuti in un sito web, su un social network ed eliminare la fuoriuscita di informazioni (profili pubblici) al di fuori dei propri collegamenti.

L’impiego di una soluzione avanzata di gestione dei bot, tuttavia, può aiutare i siti Web a bloccare quasi del tutto l’accesso agli scraper, anche se in realtà non è poi così semplice.

Redazione
La redazione di Red Hot Cyber è composta da un insieme di persone fisiche e fonti anonime che collaborano attivamente fornendo informazioni in anteprima e news sulla sicurezza informatica e sull'informatica in generale.

Lista degli articoli

Articoli in evidenza

Ha 13 anni e ha hackerato Microsoft Teams! La storia di Dylan, uno tra i più giovani bug hunter

A soli 13 anni, Dylan è diventato il più giovane ricercatore di sicurezza a collaborare con il Microsoft Security Response Center (MSRC), dimostrando come la curiosità e la perseveranza...

Truffe e Schiavitù Digitali: La Cambogia è la Capitale Mondiale della Frode Online

Secondo un nuovo rapporto del gruppo per i diritti umani Amnesty International, pubblicato dopo quasi due anni di ricerche sulla situazione, la Cambogia resta un punto caldo sulla mappa mondiale della...

Dopo aver criptato mezzo mondo, Hunters International chiude! Distribuito gratuitamente il Decryptor

Hunters International, il gruppo responsabile di uno dei più grandi attacchi ransomware degli ultimi anni, ha annunciato ufficialmente la cessazione delle sue attività. In una dichiarazione ...

Da AI white ad AI black il passo è breve. Nuovi strumenti per Script Kiddies bussano alle porte

I ricercatori di Okta  hanno notato che aggressori sconosciuti stanno utilizzando lo strumento di intelligenza artificiale generativa v0 di Vercel per creare pagine false che imitano qu...

Se è gratuito, il prodotto sei tu. Google paga 314 milioni di dollari per violazione dei dati agli utenti Android

Google è al centro di un’imponente causa in California che si è conclusa con la decisione di pagare oltre 314 milioni di dollari agli utenti di smartphone Android nello stato. Una giu...