Nos bastidores do Google

Um artigo publicado na ZDNet UK revela públicamente alguns detalhes sobre a enorme, repito, enorme "máquina" que faz do Google provavelmente o melhor motor de busca da actualidade. Aqui ficam alguns dos dados, transcritos do artigo da ZDNet:

• Over four billion Web pages, each an average of 10KB, all fully indexed
• Up to 2,000 PCs in a cluster
• Over 30 clusters
• 104 interface languages including Klingon and Tagalog
• One petabyte of data in a cluster -- so much that hard disk error rates of 10-15 begin to be a real issue
• Sustained transfer rates of 2Gbps in a cluster
• An expectation that two machines will fail every day in each of the larger clusters
• No complete system failure since February 2000

Mas os números não param aqui. No entanto, a inteligência da política seguida pela Google talvez impressione mais do que a quantificação de toda esta estrutura tecnológica, uma vez que o próprio vice-presidente diz que o "segredo" está na capacidade de software lidar com as inúmeras falhas de hardware que acontecem todos os dias.
A tarefa do Google é, em si mesma, de uma enorme complexidade tendo em conta a natureza diversa da informação. Neste longo e detalhado artigo fala-se do famoso algoritmo de PageRank do Google, assim como, do processo de computação distribuida que envolve a indexação dos conteúdos web, a já referidas opções de hardware e a escalabilidade do Google.
É um artigo muito interessante que vale realmente a pena ler.