COMO ISTO É POSSÃVEL,NA INTERNET?
Boa tarde,Colegas!
A maior parte dos colegas,já deve ter visto na televisão,comerciais sobre
Sites de pesquisa de preço (Por exemplo,Trivago que faz pesquisa de preço
de Hoteis,pousadas,etc...)Nos comerciais,estas empresas dizem que comparam
preços de [Ô]centenas[Ô] de hotéis,pousadas,etc...
O problema:
Como um site,consegue [Ô]consultar[Ô] o preço de uma quantidade tão grande de hotéis,
pousadas,etc... ?????
Me ocorre somente dois modos,de se poder fazer isto:
1.) O site fez um acordo,com cada uma das [Ô]centenas[Ô] de Hotéis e pousadas,e esta acessando
a Base de dados dos sistemas de gestão destes Hotéis e consultando os dados.
(Isto me parece impraticavel na prática )
2.) O site esta pesquisando direto na página WEB,destes hotéis.Mesmo sem autorização dos hotéis (O que me parece mais provavel)
Minha dúvida técnica:
Qual a solução,é a que os sites de consulta de preço,utilizam na pratica,para resolver o problema
Os que mencionei acima,ou uma outra alternativa??????
Agradeço qualquer orientação
A maior parte dos colegas,já deve ter visto na televisão,comerciais sobre
Sites de pesquisa de preço (Por exemplo,Trivago que faz pesquisa de preço
de Hoteis,pousadas,etc...)Nos comerciais,estas empresas dizem que comparam
preços de [Ô]centenas[Ô] de hotéis,pousadas,etc...
O problema:
Como um site,consegue [Ô]consultar[Ô] o preço de uma quantidade tão grande de hotéis,
pousadas,etc... ?????
Me ocorre somente dois modos,de se poder fazer isto:
1.) O site fez um acordo,com cada uma das [Ô]centenas[Ô] de Hotéis e pousadas,e esta acessando
a Base de dados dos sistemas de gestão destes Hotéis e consultando os dados.
(Isto me parece impraticavel na prática )
2.) O site esta pesquisando direto na página WEB,destes hotéis.Mesmo sem autorização dos hotéis (O que me parece mais provavel)
Minha dúvida técnica:
Qual a solução,é a que os sites de consulta de preço,utilizam na pratica,para resolver o problema
Os que mencionei acima,ou uma outra alternativa??????
Agradeço qualquer orientação
Eu diria que as duas opções estão corretas! rsrsrsrs. Mas tem num outro fórum de PHP que tem um post relacionado a 2ª opção:
http://forum.codigofonte.net/topic/9738-script-igual-buscape/
http://forum.codigofonte.net/topic/9738-script-igual-buscape/
As vezes a gente pensa que algo é super high tech, mas não dá pra saber. Se o cara faz tudo na munheca para cada site ou não. Com um número mÃnimo de funcionários, isso não seria difÃcil nem muito demorado...
Mas sinceramente? Quase certeza que eles fizeram para cada site hehehe Se não o número de sites buscados seriam muito maiores. Mas em contrapartida, eles não teriam como controlar a confiabilidade da oferta. Pesquisando em sites especÃficos sérios, dá pra confirmar a procedência (pareceu até propaganda Friboi).
Dá pra fazer usando mineração de dados também. Mas haveria esse problema colocado a cima.
Então respondendo sua pergunta:
Eles pegam vários sites que julgam confiáveis, analisam o html e criam um módulo de pesquisa para cada site. A partir daÃ, conseguem transformar o html de retorno de pesquisa em objetos, por exemplo, com propriedades: Descrição do serviço, preço, local, etc.
Pode parecer muito trabalhoso, mas na verdade, não é tanto quanto parece...
Mas sinceramente? Quase certeza que eles fizeram para cada site hehehe Se não o número de sites buscados seriam muito maiores. Mas em contrapartida, eles não teriam como controlar a confiabilidade da oferta. Pesquisando em sites especÃficos sérios, dá pra confirmar a procedência (pareceu até propaganda Friboi).
Dá pra fazer usando mineração de dados também. Mas haveria esse problema colocado a cima.
Então respondendo sua pergunta:
Eles pegam vários sites que julgam confiáveis, analisam o html e criam um módulo de pesquisa para cada site. A partir daÃ, conseguem transformar o html de retorno de pesquisa em objetos, por exemplo, com propriedades: Descrição do serviço, preço, local, etc.
Pode parecer muito trabalhoso, mas na verdade, não é tanto quanto parece...
Verifique isso. é um gerenciador, onde cada hotel pode trabalhar com seus dados, incluir ofertas e tudo mais. Então boa parte dos dados é mantido pelos próprios hotéis. Outra parte pesquisa em WebAPI[ô]s de serviços deste tipo. E também é possÃvel que exista algum tipo de WebCrawler para também incrementar essa base de dados. O que tenho praticamente certeza que não é, é que ele busque em site HTML no momento da busca. Isso é tarefa do crawler.
Não entendi Kerplunk.
Até onde eu saiba, um WebCrawler precisa ler o html para poder encontrar os links e indexá-los...
Até onde eu saiba, um WebCrawler precisa ler o html para poder encontrar os links e indexá-los...
Por isso que eu disse que [Ô]é possÃvel[Ô]. O crawler fica fazendo a pesquisa o tempo todo, não somente no momento da reserva ou procura por parte do usuário.
Não acho que possa ser webcrawler.
o site não considera como ataque um crawler rodando toda hora e baixando o .html? estou estudando um pouco sobre licitações e precisei bolar um projeto para fazer isso
utilizei webcrawler e consegui ler os dados de alguns sites, porém devo fazer isso um única vez ao dia então cai como uma luva..
Agora um site ex trivago precisaria fazer isso a cada 1 segundo, o que eu acho que o servidor destino interpreta como um ataque e bloqueia o IP correto?
o site não considera como ataque um crawler rodando toda hora e baixando o .html? estou estudando um pouco sobre licitações e precisei bolar um projeto para fazer isso
utilizei webcrawler e consegui ler os dados de alguns sites, porém devo fazer isso um única vez ao dia então cai como uma luva..
Agora um site ex trivago precisaria fazer isso a cada 1 segundo, o que eu acho que o servidor destino interpreta como um ataque e bloqueia o IP correto?
MESTRE, em primeiro lugar isso é uma configuração no servidor, de considerar como ataque o uso muito ostensivo. Como disse, o webcrawler muito provavelmente funciona não mais que uma ferramenta auxiliar, não sendo nem de perto o principal coletor de dados.
Tópico encerrado , respostas não são mais permitidas