O que é web scraping e quais suas implicações éticas?

Já há alguns anos uma ferramenta de Marketing Digital vem ganhando importância no meio e muitos a defendem como sendo indispensável para a realização de um trabalho realmente eficaz. Estamos falando do web scraping.

É bastante provável que se você chegou até aqui, queira saber mais a respeito, se é tudo o que dizem e de que modo essa prática pode contribuir para melhorar seus resultados.

Vamos abordar tudo isso, mas também vamos fazer algumas ressalvas ao seu uso e os respectivos porquês.

Por isso, se lhe interessa o assunto, leia com atenção o que preparamos a respeito!

O que é web scraping?

Esse é um dos estrangeirismos que tem ocupado lugar de destaque quando se fala em obtenção de informação para fundamentar o trabalho de Marketing Digital.

O termo scrap como verbo, significa raspar. Scrapper por sua vez, é o substantivo que dá nome às espátulas em geral e que por sua vez, servem para raspar algo e não deixar sobrar nada. Ao juntar scraping (raspagem) ao termo web, quer dizer o ato de raspar a Internet e obter tudo que for possível.

Como a Internet – ou Web, se preferir – é composta de dados, web scraping é a coleta máxima que é possível de dados disponíveis na rede mundial de computadores.

De posse desses dados, quem realizou a “raspagem” ou coleta, pode usá-los com os mais diversos fins, tabulando-os, organizando-os e gerando informação a partir deles.

Apesar da nomenclatura ser usada com mais frequência como parte das ações de Marketing Digital, tecnicamente e como prática, mesmo que de forma mais rudimentar, ela já existe desde os primeiros sites da World Wide Web, quando foram criados os primeiros robôs de internet para montar bases de dados de e-mails para envio de SPAM.

No passado, era comum que muitas páginas de contato dos mais diferentes sites, não tivessem um formulário de contato. Em vez disso, colocavam-se os endereços de e-mail para tratar de diferentes assuntos, como comercial, compras e atendimento a clientes.

Ficava fácil para um bot varrer a web, identificar esse tipo de dado e construir uma base com milhões de endereços de e-mail, para posteriormente ser vendida e usada para envio de SPAM.

Portanto, web scraping não é exatamente uma novidade, apenas que ganhou um nome e uma finalidade aparentemente mais “nobre” e justificável mediante determinados interesses.

Como é feito o web scraping?

Em essência o princípio ainda é o mesmo das ferramentas de coleta de endereços de e-mail, exceto pelo fato de que se tornou mais sofisticado e poderoso.

Há inúmeras ferramentas destinadas a fazer web scraping atualmente e as maiores delas prometendo – e cumprindo – a tarefa de obter uma elevada quantidade e variedade de dados / informações e com elevado grau de personalização em relação ao que se pode conseguir.

É fácil encontrar vídeos demonstrando como configurá-las e após alguns minutos, obter um banco de dados completo em termos de lista de produtos, preços, características e até mesmo quantidades de um grande site de e-commerce, quase idêntico ao que tem o dono desse mesmo site!

O que o robô de scraping faz, é basicamente reproduzir o que um usuário humano faz, mas ao contrário deste que pode levar horas ou até mesmo dias para visualizar e copiar todas os dados do hipotético site de comércio eletrônico, é um processo automatizado, extremamente mais rápido e confiável em termos de exatidão dos dados copiados.

Serviços do tipo, proliferam aos montes e encontrar sites de empresas e ferramentas de “raspagem da web”, é muito fácil.

As possibilidades são inúmeras e se aplicam a diferentes tipos de sites, como em redes sociais, por exemplo, extraindo e compilando dados de usuários que foram configurados como públicos. Ou até os privados ou restritos, se houver e for identificada alguma falha no sistema.

Há inclusive farto material, na forma de tutoriais e dicas em sites e fóruns, que ensinam como criar uma ferramenta de web scraping, usando a linguagem Phyton, a qual tem se revelado uma boa opção para essa finalidade e algumas vezes, existem até truques para burlar a segurança mais frágil de alguns sites e obter dados que não são públicos.

Qual a importância do web scraping para o Marketing Digital?

Uma vez que você tenha compreendido o que é, fica fácil perceber que de fato com um bom universo de informações, as decisões passam a ter uma fundamentação sólida, em vez de basearmo-nos em “achismos”, o que é essencial para ações eficazes.

Desde que as ferramentas de web scraping popularizaram-se, os profissionais da área passaram a dispor de informações que antes só poderiam ser obtidas por meio de extensivas e muitas vezes caras, pesquisas.

Do exemplo do comércio eletrônico, mas que já vem sendo uma realidade, uma empresa do segmento tem condições de verificar como estão os preços praticados pelos seus concorrentes, os prazos de entrega, o frete e até as quantidades que eles têm em estoque e a partir daí, enxergar como ela está em relação a eles nesses aspectos.

É possível descobrir os assuntos mais comentados e as tendências em uma determinada rede social, os movimentos em um determinado segmento econômico, comportamentos de determinados públicos consumidores e o que mais você conseguir imaginar, desde que se saiba em que sites os dados devem ser obtidos.

Mas se você também conseguiu vislumbrar, existe o “lado escuro da força” nisso.

Tal como era quando ainda não tinha o nome que hoje usamos, o web scraping pode – e frequentemente é – pode ser usado para causas no mínimo questionáveis.

Vazamentos de dados muitas vezes ocorrem por uma ferramenta que faz exatamente a mesma coisa, ou seja, vasculha a rede em busca de dados e em particular, aqueles que não deveriam estar públicos, mas por alguma falha, estão.

A sutil diferença pode residir apenas em quem está por trás da ferramenta, um hacker ou um profissional de Marketing.

Situações como esta nos levam a pensar a respeito e considerar sua prática dentro de alguns cenários reais e preocupantes.

O web scraping é ilegal?

Dependendo de como é feito, ou seja, quais dados são raspados e com qual propósito, sim o web scraping será considerado ilegal.

Suponhamos que os dados obtidos sejam dados pessoais, o que segundo a LGPD deve acontecer sob circunstâncias bastante claras e específicas. Os usuários aos quais os dados se referem, saberão para quais fins eles serão utilizados? Poderão solicitar a anonimização deles? Até mesmo sabem que seus dados estão de posse de alguém ou uma empresa diferente daquela para a qual foram originalmente fornecidos?

Neste caso, ainda que os dados sejam públicos e tenham sido colhidos em uma rede social, o usuário ao qual eles estão associados, consentiu em fornecê-los exclusivamente no escopo da rede e para os devidos usos, sob os termos da sua prestação de serviço e sua política de privacidade.

Não foi dado consentimento explícito de utilização fora dela, nem tampouco por parte de terceiros.

Mesmo quando não se trata de dados pessoais e sob a regulação da LGPD, há implicações de ordem moral, ética, profissional e mercadológicas, que precisam ser observadas:

• Patrimônio digital – colher dados em sites diversos, dependendo de quais dados são colhidos, com qual propósito, significa apropriar-se do patrimônio digital constituído pelos esforços e recursos de terceiros. Especialmente quando se obtém lucro com tal prática, o qual não ocorreria sem o web scraping e dependendo das circunstâncias, pode-se ter uma situação de infração a propriedade intelectual;

• Legislação local – no Brasil há ainda pouquíssima legislação relativa ao ambiente digital, no entanto, dependendo do país de origem do site, pode-se estar infringindo leis locais pelas quais o site é protegido;

• Termos de serviço – além da política de privacidade a qual todo site que lide com dados de terceiros precisa ter, há vezes em que há termos de serviços que determinam o escopo de utilização da informação contida, bem como a prestação de serviços associada. Ao burlar ou ignorar tais termos, pode-se estar cometendo um delito previsto em lei;

• Arquivo robots.txt – para além da política de privacidade e dos termos de serviço, por convenção, por compromisso ético e profissional, por bom tom e respeito, o bot de web scraping deve atuar com base no arquivo robots.txt dos sites que varrer;

• Nome do robô – decorrência direta do item acima, é conveniente e consiste de boa prática, que o scrapper tenha uma identificação conhecida, tal como os bots mais conhecidos, como o Googlebot ou o Bingbot;

• Desempenho – a depender do site varrido e de suas características técnicas, do volume de dados e de quais são “raspados”, o web scraping pode funcionar como um ataque ou tentativa de invasão, podendo inclusive prejudicar o site alvo, afetando o seu desempenho;

• Copyright – tal como no caso de dados pessoais e dados sensíveis que podem ser classificados como propriedade intelectual, ainda há aqueles que são protegidos por leis de direito autoral e que da mesma forma não podem ser coletados, nem usados sem as devidas permissões.

É importante ressaltar que nosso objetivo não é condenar a prática do web scraping, mas iniciar uma discussão para que ela ocorra de forma responsável e profissional, a fim de que não seja mais uma atitude nociva e que coloca em xeque o futuro da Internet, mas ao contrário como fazer uso da tecnologia a serviço do bem coletivo.

Não se pode apenas responsabilizar o dono do site de onde os dados foram coletados por não ter adotado as medidas de segurança necessárias para evitar a exposição dos mesmos. Do contrário, é o mesmo que tomar para si o carro de alguém e alegar que era seu direito, uma vez que o proprietário esqueceu o veículo aberto e com a chave no contato.

Como usuários, também cabe-nos cuidados e reflexão com relação às informações que disponibilizamos na web, como não deixar perfis públicos nas redes sociais, tendo plena e ampla ciência das questões de privacidade na Internet suas implicações.

É preciso entender que ler políticas de privacidade e termos de prestação de serviços dos muitos sites que frequentamos, é hábito que a maioria não tem e que negligência a sua importância, mas que é um comportamento que precisa ser mudado.

Conclusão

O web scraping tem cumprido importante papel no trabalho de Marketing Digital, mas sua aplicação indiscriminada pode ter implicações de ordem legal e ética.