· É fácil ver a situação de raspagem visualmente

· Tento implantar no github, mas posso selecionar apenas meu próprio repositório (Não é possível implantar no repositório da organização?

O Crawlera facilita muito o processamento de milhares de solicitações sem me preocupar com os limites de taxa. Eu amo que não preciso me preocupar com políticas de repetição ou lista negra de IP porque o Crawlera cuida disso para mim! Além disso, cobrando por solicitações em vez de largura de banda, é muito mais fácil estimar minhas despesas com base em minhas necessidades.

Não gosto que os números de uso sejam adiados por tantas horas.

recomendaria qualquer pessoa que retire os dados do site para obter informações sobre mineração.

usamos scrapinghub para gerar ips proxy para extrair dados da web da empresa e informações da página de carreira. foi muito útil para nos ajudar a criar nosso próprio mecanismo de pesquisa vertical de habilidades.

precisa de muita personalização se os scripts tiverem problemas. no geral, um bom produto para seus casos de uso

O Scrapinghub nos permitiu otimizar o processo de raspagem para a nossa empresa e estabelece as bases para o dimensionamento futuro. Gosto do fato de o scrapyhub manipular a parte "Ops" da raspagem, como provisionar recursos da nuvem, preparar dados e rotacionar endereços IP.

O Scrapy é incrível, a API do Python é fácil de usar, o painel do trabalho é fácil de entender, boa documentação e código.

Às vezes, páginas dinâmicas são difíceis de raspar, nada de errado com lua (para splash) como idioma, mas pode ser uma barreira menor à entrada de usuários de python / javascript.

ajuda muito a evitar as aranhas auto-hospedadas, esse é o principal motivo pelo qual eu gosto.

no entanto, é sempre lamentável que seja mais difícil ignorar a detecção de bots, especialmente para sites grandes, como a Amazon, e outros sites protegidos pelo Distil. Eu sei que isso não é culpa do scrapinghub, mas é uma grande dor. e eu sei que você tem um serviço Crawlera para esse fim, mas é bastante caro. por Scrapinghub em 02/01/2019 Obrigado pela sua opinião, agradecemos todos os comentários dos clientes. Concordamos e a pesquisa com antibióticos também é focada em ajudar nossos clientes.

Eu vim para o scrapinghub como um jovem analista ambicioso. O serviço gratuito de usar é o que me manteve. Quando mais projetos de raspagem foram contratados, entrei em contato com outros fornecedores para descobrir quem traria mais valor. Realmente não havia alternativa: os melhores preços, dados praticamente ilimitados e a equipe A + na scrapinghub.

Simplicidade, serviços sem besteira *, serviços modulares e complementos, tempo de inatividade muito baixo. Eu posso continuar e ainda não vou fazer justiça a esses caras

A plataforma de pagamento não era uma caminhada no parque. Os guias e a base de conhecimento não estão desatualizados, mas podem usar uma atualização de 2019

Portia à parte, eu recomendo esta plataforma. É barato e funciona muito bem. Se você sabe usar o Scrapy, isso é mais fácil do que iniciar várias VMs etc. e relativamente barato.

- Funciona perfeitamente desde que você não precise do Portia

- Portia (beta) é quase inutilizável. Consegui alguns programas básicos antes de me ensinar a usar o Scrapy. Ainda assim, se você está procurando um valor e tem tempo para lidar com os atrasos / soluços em Portia, é de longe o melhor valor para um simples ponto e clique na plataforma de raspar que eu encontrei. Você pode fazê-lo funcionar, basta colocar a cabeça na tela antes de terminar ...

Isso me faz trabalhar muito rápido, mas ainda seguro para meus clientes. Pareço realmente profissional, embora o que eu fiz foi apenas sugerir e instalar o Crawlera. É incrivel!

Isso realmente economiza meu tempo como especialista em scraping na web. Eu sempre preciso de proxies rotacionados para as necessidades do meu cliente. Continuo criando um novo projeto e é muito trabalhoso ter que comprar proxies, renovar proxies e criar rotação de proxy por conta própria. Fico feliz por não precisar nem pensar nisso. Isso simplesmente funciona!

Bem, simplesmente não há documentação avançada suficiente sobre o Scrapy Splash combinado com o Crawlera. Sua equipe de desenvolvimento no Github é muito receptiva.

Eu tenho uma boa experiência com scrappinhumb, em questão de minutos eu posso desenvolver e publicar uma nova aranha.

O software oferece o resultado exatamente prometido. Possui uma interface amigável e um suporte eficiente.

Você precisa de um roteiro de novos recursos e preços de serviços de terceiros. por Scrapinghub em 02/01/2019 Obrigado pela revisão. Todos os novos recursos serão anunciados em nosso Centro de suporte. (Https://support.scrapinghub.com/support/home) Também temos um Fórum de idéias (https://support.scrapinghub.com/support/discussions/forums/22000200101 ) onde gostaríamos da sua opinião sobre idéias ou novos recursos que você gostaria de ver. Agradecemos todas as informações de nossos clientes para continuar nos ajudando a melhorar nossos produtos.

Estou resolvendo problemas de preços de meta pesquisa na indústria de cannabis.

Foi muito fácil começar a criar rastreadores e iniciá-los no scrapinghub. Plug and play. Pronto para começar a lançar uma frota de rastreadores para mover meu projeto para o próximo nível.

O preço foi um pouco alto para a execução de vários rastreadores.

Nunca houve um problema, e o atendimento ao cliente sempre respondia prontamente a nossos pedidos e com atenção aos detalhes.

Estamos muito felizes com o Crawlera. Funciona como um encanto em nossos projetos Scrapy, apenas adicionando algumas linhas de código que esquecemos completamente dos proxies que acabavam falhando de qualquer maneira.

Alguns pedidos acabam sendo muito lentos, mas a boa notícia é que a maioria deles acaba passando.

Pelo que usei (aranhas básicas), tem sido ótimo, a página é realmente fácil de usar e o CLI facilita a implantação.

Código aberto, bem documentado e muito eficiente.

O Splash precisa ser migrado para outra ferramenta IMO. Não acho fácil trabalhar com LUA como desenvolvedor; não por causa do idioma, mas a depuração e manutenção do código é realmente difícil. Se você usa o scrapy-splash, há uma caixa preta com a qual não é possível interagir. Penso que a integração com javascript ou python, enquanto unifica o descarte do navegador e o arranhão, seria uma decisão surpreendente. Então, no geral, eu adoraria ver uma fusão entre o raspador e o raspador de navegador.

Eu uso o módulo scrapy do Python para escrever rastreadores para monitorar os preços dos concorrentes. A integração com o Github facilita muito a implantação de código no hub. Os painéis são muito úteis para monitorar o progresso e agendar trabalhos. Muito feliz com esta oferta.

No começo, era um pouco complicado automatizar a extração de dados. Depois que comecei a usar o módulo scrapinghub do Python, a vida se tornou fácil. Então também um profissional!

O Scrapinghub fornece à minha empresa dados brutos de maior qualidade para que meus clientes obtenham melhores resultados.

Este software permite acessar 97% dos recursos da web que preciso. Outros servidores proxy que usei me deram 75% no máximo.

Que é uma assinatura com base no tempo. Eu preferiria poder comprar um certo número de solicitações e renovar quando elas acabarem. por Scrapinghub em 02/01/2019 Obrigado por sua análise e sugestões sobre o nosso modelo de preços - agradecemos todos os comentários dos clientes e o encaminhamos para nossa equipe de produtos para análise.

Vindo de um ambiente "legado", onde tudo foi construído do zero, devo dizer que minha experiência com o Scrapinghub é realmente positiva. Comecei a usar alguns recursos mais avançados, como ItemLoaders, Middleware etc.

Scrapinghub é tão fácil de usar. Com poucas configurações, você está pronto para construir sua primeira aranha. A integração com o github e outros addons (como crawlera) facilita ainda mais o gerenciamento de implantação de código e gerenciamento de rede proxy. O suporte ao Python 3 também é uma grande melhoria

Ainda estou no início do scrapinghub e, no momento, não havia grandes problemas a serem levados em consideração. Uma coisa que me vem à mente para melhorar é a documentação. por Scrapinghub em 02/01/2019 Obrigado pela sua revisão, agradecemos todos os comentários dos clientes e estamos constantemente procurando uma melhor documentação com melhorias contínuas em andamento. Se houver algum problema em nossa documentação atual, gostaríamos de ouvi-lo. Envie pelo nosso Centro de suporte (https://support.scrapinghub.com/support/home)

Eu uso o sistema proxy crawlera da Scarpinghub. É muito simples de usar e os resultados são ótimos.

Sem contras até agora. De vez em quando, um servidor / IP é banido, mas eles têm um grande conjunto de IPs para atendê-lo.

A eficácia - simplesmente funciona melhor e é mais consistente do que outros proxies.

O limite mensal de solicitações e como não há plano intermediário entre C10 e C50.

Nossa empresa, whatoplay.com, agrega dados de várias fontes ao redor do mundo. Desde que começamos a usar o Crawlera, não encontramos grandes problemas. Nossos mais comuns nos últimos 6 meses estão apenas atingindo nosso limite, então tivemos que aumentar nosso plano.

Estamos usando o Crawlera apenas para nossas necessidades de coleta de dados e funcionou perfeitamente desde que começamos a usá-lo em 2016. Quando tivemos que atualizar para um limite mais alto, a transição foi rápida e não houve desperdício de tempo atualizando nossa base de código existente.

O preço pode ser um pouco complicado, especialmente se sua necessidade estiver entre os planos.

Foram usados ​​em alguns projetos de raspagem para girar proxies.

O hub de raspagem é bastante fácil de usar e se conecta muito bem a qualquer projeto de raspagem que você esteja executando.

O hub de raspagem estava me fornecendo uma quantidade significativa de erros e o hub de raspagem não tem realmente um grande suporte para me ajudar a descobrir o que estava acontecendo.

O melhor para qualquer tipo de necessidade de raspagem. A nova API de raspagem baseada em IA é uma virada no jogo

O melhor para qualquer tipo de necessidade de raspagem. A nova API de raspagem baseada em IA é uma virada no jogo

Nada de ruim nisso. Vence a concorrência fora da água

Estou muito feliz com o Scrapinghub. Sempre que preciso executar um raspador pequeno que não consigo executar no meu laptop (já que não o deixo ligado 24 horas por dia, 7 dias por semana), eu apenas o executo no Scrapy Cloud. Enquanto isso, Crawlera é apenas o melhor!

Uso os serviços Scrapy e Scrapinghub desde 2013 e, até agora, estou muito satisfeito com os serviços deles. Crawlera, seu serviço de proxy, funciona muito bem! Não preciso mais configurar um farm de proxy ou configurar meus raspadores para apontar para milhares de serviços de proxy, pois eles fazem todo o trabalho pesado para você (tudo é automatizado).

Soluços menores de vez em quando no painel. Isso só me afeta quando quero ver estatísticas históricas, mas esse problema não afeta a funcionalidade.

Crawlera é uma ótima plataforma para rastreador. Eu usei por 2 anos em meus negócios e empregos.

Sua confiabilidade é confiável sobre a lista de IPs de proxy.

Seu método de pagamento apenas aceita cartões de crédito internacionais. Eu usei do Brasil.

Começando a usá-lo há 2 anos, a curva de aprendizado depende totalmente da estrutura, porque a plataforma em nuvem é bastante intuitiva, autoexplicativa e fácil de usar.

Uma plataforma totalmente integrada para uma estrutura bem feita para esse fim. Fácil de usar, com base na estrutura de outras estruturas, por isso, se você está acostumado ao desenvolvimento da Web em python, é fácil criar aranhas. A integração (scrapy + scrapinghub) é realmente boa, desde uma implantação simples até uma biblioteca ou uma janela de encaixe, tornando-a adequada para qualquer necessidade.

Até agora não há nada que eu não goste.

Muito fácil de usar. Ótimos painéis para monitorar trabalhos. Preços muito competitivos. Atendimento ao cliente amigável.

Há muito pouco a reclamar com o Scrapinghub - é realmente um ótimo produto!

Ótimo suporte ao cliente e gerentes de conta.

Facilidade de uso para baixar e gerenciar vários rastreadores

Dados em excesso que requerem muitas atividades de limpeza. Seria ótimo se os dados pudessem ser limpos e apresentados em formato pronto para uso

A facilidade de uso com o complemento Portia combinado com a fila de tarefas proporciona uma experiência gratificante.

Às vezes, a interface do usuário é desajeitada e você não tem certeza se não está interferindo nos raspadores atuais ao editar uma aranha.

Uso e recomendo essa plataforma há anos para meus clientes que precisam de sistemas de coleta de dados de nível empresarial prontos para produção.

- Tecnologia original e flexível

- Não é tão fácil de usar por profissionais de TI não profissionais que ainda desejam usar a raspagem de dados

Bom, eles são responsivos e profissionais. Recomendaria.

Como empresa, uma vez atingido um determinado tamanho, faz sentido terceirizar webscraping. O Scrapinghub tem a especialização necessária para fazer um bom trabalho.

Ainda precisa trabalhar do lado do cliente para garantir a qualidade e consistência dos dados. por Scrapinghub em 02/01/2019 Obrigado pela sua opinião, agradecemos todos os comentários dos clientes. Concordamos e a qualidade dos dados também é muito importante para nós. Estamos constantemente buscando melhorar nossa estrutura de controle de qualidade e trabalhando com nossos clientes para garantir uma qualidade consistente dos dados.