Common Crawl

Common Crawl é uma organização sem fins lucrativos 501(c)(3) que mantém um repositório aberto de dados de rastreamento da web. Desde sua fundação em 2008 pelo cientista da computação Gil Elbaz, a organização rastreou sistematicamente a internet e disponibilizou gratuitamente petabytes de HTML bruto, metadados e texto extraído. Os dados são hospedados em buckets S3 públicos da Amazon Web Services; os usuários pagam apenas por seus próprios custos de computação e armazenamento. O corpus do Common Crawl é o maior conjunto de dados da web abertamente acessível, usado por pesquisadores, jornalistas, startups e grandes laboratórios de IA. Na década de 2020, tornou-se a principal fonte de treinamento para grandes modelos de linguagem, incluindo GPT-3, GPT-4 e LLaMA. Uma investigação de novembro de 2025 conduzida pelo The Markup e pela Wired examinou como as empresas de IA usam os dados, gerando debates sobre consentimento e direitos autorais.[editar]

A missão do Common Crawl é democratizar o acesso a dados da web, rastreando a internet e fornecendo o conteúdo resultante gratuitamente para qualquer pessoa. O objetivo é reduzir as barreiras para a análise de dados em escala da web, promover a inovação e preservar um registro histórico aberto da web.[editar]

Gil Elbaz começou a construir o primeiro rastreador em 2007, impulsionado pela crença de que dados abertos da web eram essenciais para uma internet saudável. O primeiro conjunto de dados de rastreamento público, contendo cerca de 2 bilhões de páginas, foi lançado em 2008. A infraestrutura inicial dependia de servidores doados e subsídios. Em 2012, o Common Crawl fez uma parceria com a Amazon Web Services para hospedar os dados em buckets S3 públicos, tornando o acesso gratuito e escalável. O conjunto de dados News Crawl foi lançado em 2015, fornecendo um feed continuamente atualizado de artigos de notícias. Em 2017, o corpus havia crescido para 3,5 bilhões de páginas, o maior conjunto de dados da web publicamente disponível na época. O boom da IA no início dos anos 2020 aumentou dramaticamente a demanda; o Common Crawl tornou-se o corpus de treinamento de fato para grandes modelos de linguagem. Em resposta às preocupações com direitos autorais e consentimento levantadas por uma investigação de 2025, a organização anunciou planos para desenvolver um sistema de opt-out e um melhor rastreamento de proveniência.[editar]