A Google, Inc., é uma das empresas mais inovadoras da web. Sua tecnologia e infra-estrutura de mecanismo de pesquisa na Internet trabalha rápido com até mesmo as pesquisas da web mais trabalhosas. Fundada em 1998 pelos candidatos a PhD da Universidade Stanford, Larry Page e Sergey Brin, a Google emergiu rápida e silenciosamente como um dos mais populares mecanismos de pesquisa na web.
Apesar de ter um orçamento de publicidade e marketing limitado, a Google (www.google.com e seus parceiros de marca) realiza mais de 13 milhões de pesquisas por dia – contra apenas 500.000 por dia em junho de 1999. Atualmente como mecanismo de pesquisa preferido no popular web site NetCenter, da Netscape, a empresa também oferece a sites de terceiros pesquisas na web gratuitas e pagas com base na Google.
Oportunidade: pesquisas rápidas
Se o negócio da Google puder ser resumido em uma palavra, ela seria “foco”. Enquanto os mecanismos de pesquisa gigantescos como Yahoo!* e AltaVista* criam portais e desenvolvem correio eletrônico, chat e outros serviços, a Google continua a refinar e estender sua tecnologia de pesquisa principal. O foco único está começando a render dividendos na forma de negócios de OEM lucrativos, aumentando o uso e um excelente boca a boca.
Sendo uma companhia fechada, a Google ganha dinheiro com o licenciamento de sua tecnologia a clientes como o Netscape NetCenter*, Red Hat*, Washington Post e Virgin Net*, e também com a publicidade em páginas de resultado de pesquisas. Coerente com a missão que a empresa tem de fornecer pesquisas rápidas, seus anúncios são feitos em texto simples.
Uma coisa é certa, se você deseja que os resultados da sua pesquisa sejam rápidos, não conseguirá isso com outros serviços de alta velocidade que não sejam da Google. Resultados de benchmark feitos por publicações independentes têm mostrado que a Google fornece as pesquisas mais rápidas da Web. Além disso, a maneira única que a Google tem de avaliar os resultados – pelo número de links que apontam para um site – parece produzir retornos extraordinariamente relevantes. Resultado: os usuários que visitam a Google.com uma vez tendem a voltar mais e mais vezes.
De fato, a Google foi incluída pela revista Time na lista “Best Cybertech of 1999” e classificada em primeiro lugar na lista “Top Ten Sites” da revista Time Digital em 2000. A Google também recebeu um prêmio de excelência técnica da PC Magazine em 1999. Além disso, em pesquisas de satisfação e lealdade de usuários realizadas pela NPD Online Research no último trimestre de 1999 e primeiro trimestre de 2000, o mecanismo de pesquisa também foi classificado em primeiro lugar geral duas vezes entre 13 sites de pesquisa e portais líderes. Apesar disso, como a Google ganhou clientes, ela tem lutado para sustentar um crescimento vertiginoso.
É claro, todos os prêmios não significam muito se a Google for à falência devido a hardware proprietário caro. Jim Reese, chief operations engineer da Google, diz que os servidores baseados na Arquitetura Intel® e no sistema operacional Linux* se encaixam nos planos de negócios da Google. “Com o Linux sendo executado na plataforma Intel®, não há melhor custo/benefício que possamos encontrar. Quando tudo é contabilizado, isso é a palavra final.”
Solução: padronização, em grande escala
A Google pode ser a proposta de expansão definitiva. A empresa emprega RAIS (Redundant Arrays of Inexpensive Servers) para conter um índice entre um e dois terabytes (1.000 gigabytes) de tamanho e constituído de mais de 200 milhões de páginas da web. Para fornecer resultados de pesquisas instantâneos de um banco de dados tão grande, a Google emprega uma vasta rede de mais de 3.500 servidores uniprocessador com base nos processadores da Arquitetura Intel® e ligados por meio de placas Intel® PRO/100 Ethernet. Os servidores são configurados com 256MB a 1GB de RAM e executam o sistema operacional Linux e um conjunto de aplicativos personalizados.
“A aplicação da Google torna o hardware proprietário caro e inadequado,” diz Reese. “Não somos como um site de e-Commerce com base em transações, onde faz sentido gastar grandes quantias em uma enorme rede de área de armazenamento e servidor. Nós planejamos nossa solução para ser expansível com o uso de servidores menores que são redundantes e muito rápidos por meio do balanceamento de carga. Isso também nos torna muito tolerantes a falhas—podemos perder todo um cluster ou clusters e ainda estaremos bem.”
No ambiente da Google, o desempenho de E/S é um fator essencial, mas o custo de subsistemas de disco SCSI especializados é proibitivo. Então, a empresa padronizou-se em torno de uma tecnologia IDE acessível, configurando cada servidor com um par de discos internos armazenando 22GB ou 40GB cada. “Fizemos muito benchmarking antes e descobrimos que, para o melhor custo/benefício, configuraríamos dois discos rígidos IDE, cada um deles em um controlador separado”, diz Reese.
O índice de pesquisa gigantesco da Google é distribuído e espalhado entre os cerca de 7.000 discos rígidos individuais, permitindo que um software de balanceamento de carga personalizado aponte as consultas para os servidores e subsistemas de disco mais disponíveis. A conectividade de rede é ativada por meio da adaptadores Intel® PRO/100 Ethernet nos servidores ligados a um backbone Ethernet de um gigabit. Resultado: respostas de pesquisas incomparáveis.
Ao empregar RAIS, a Google permite uma estrutura extremamente expansível, econômica e robusta que pode se adaptar à crescente demanda. A empresa estima adicionar aproximadamente 30 novos servidores por dia a rede, somente para acompanhar o aumento da demanda. Os servidores são divididos entre duas instalações co-location na área da baía de São Francisco e uma terceira instalação na costa leste. A empresa também está considerando instalações na Ásia e Europa como uma maneira de cortar a latência de pesquisas realizadas por usuários nessas regiões.
Adaptando soluções
Com uma previsão de 10.000 servidores a serem instalados até o fim do ano, os custos de co-location são um fator decisivo. Desde o começo, a Google trabalhou com diversos OEMs para obter gabinetes e elementos de formação de servidores inigualavelmente compactos. A empresa diz que pode colocar 80 servidores em um espaço de cerca de 2 metros de altura por 60 centímetros de largura e 75 centímetros de profundidade. O hardware é fornecido por diversos fornecedores para garantir entrega conveniente. A Rackable Systems, uma OEM especializada em servidores compactos, constrói os sistemas.
Claro, o gerenciamento de uma rede de servidores tão grande apresenta um desafio único. A empresa criou suas próprias soluções para operações como gerenciamento remoto e balanceamento de carga. A Google criou a maior parte do próprio software, incluindo consoles de gerenciamento remoto e mecanismos de balanceamento de carga. Ela também desenvolveu um método dinâmico de configuração de servidores que permite que os novos sistemas sejam colocados online com muita rapidez.
“Nós basicamente fazemos nossas máquinas em módulos. Começamos com o hardware básico e o sistema operacional Linux base e os ‘Google-izamos,’ se preferir, com o código base da Google de que qualquer máquina possa precisar,” explica. “Em qualquer ponto, qualquer máquina pode ser transformada em outra máquina. Portanto, se precisarmos adicionar servidores web, qualquer máquina pode ser transformada em um, pois todas têm configurações idênticas.”
A Google também continua a refinar seus serviços. O recurso GoogleScout adicionado aos resultados de pesquisas permite que os visitantes aprofundem suas pesquisas por páginas da web relacionadas a um determinado resultado de pesquisa. O botão “I’m Feeling Lucky” em cada página de pesquisa leva o usuário diretamente à página do melhor resultado de uma pesquisa. O processo de configuração do sistema altamente modular e rápido da Google permite que a empresa expanda sua infra-estrutura à medida que novos serviços como esses são implantados.
Resumo
Com mais de 3.500 servidores com base na Arquitetura Intel® zumbindo nas instalações de co-location da Google, a questão é: quantos mais a empresa instalará? Nesse ponto, o céu parece ser o limite. A Google diz que tem crescido a uma taxa de 25 por centro por mês e, à medida que mais e mais web sites empregam o serviço gratuito e pago de pesquisa na web da Google, essa taxa pode se acelerar.
Uma coisa é certa: a empresa está pronta, disposta e capaz de trazer mais servidores com base na Arquitetura Intel® para enfrentar o desafio. A Google criou uma infra-estrutura incrivelmente expansível que extrai o máximo de sua tecnologia sofisticada e exclusiva de mecanismo de pesquisa. À medida que o tráfego na www.google.com continuar a crescer aos saltos, a empresa simplesmente adicionará mais servidores para manter a vantagem da Google como um dos mecanismos de pesquisa mais rápidos da web.
