Recentemente o Twitter realizou sua primeira conferencia para desenvolvedores, chamada Chirp e junto seu primeiro hackday. Lá a equipe do Twitter fez as seguintes apresentações sobre sua infra estrutura e sobre como operam com “Big Data”.

Alguns pontos interessantes:

- O Twitter gera 7 TB/dia, 2 PB/ano.
- Solução para logs com Scribe após tentar com syslog-ng.
- Hadoop/HDFS para armazenamento e processamento distribuído. Pig para analise.
- Projeto próprio para gerenciar grafos sociais. FlockDB.
- Estão migrando de MySQL com memcached para Cassandra. Particionar MySQL leva a muitos pontos de falha, é computacionalmente pesado e demanda mais trabalho.
- Deploy em mais de 1000 maquinas em menos de 1 minuto com BitTorrent (Murder).
- Escalabilidade também é sobre contratar gente, criar metricas, analisar, definir processos e fazer deploy.