Джефф Дин раскрывает тайны Google

Гугл никогда не сообщал, сколько серверов работает в его Дата-Центрах и как они работают. Но вот, на недавней конференции, Джефф Дин, один из инженеров, работающих в компании с 1999г, выступил с презентацией, в которой он рассказал, что разрабатывает систему автоматического распределения ресурсов, называемую Spanner.
Система позволяет динамически выделить ресурсы для обработки данных и способна задействовать от 1 до 10 миллионов серверов. При этом автоматические выбирается наиболее дешевый вариант выполнения, учитывающий трафик и электричество.

Я советую открыть презентацию (PDF), если вас интересуют масштабируемые системы, высокая нагрузка, кластеризация, Дата-Центры и паралельные вычисления.

Кроме того, там можно найти:

• Фотографию одного из Дата-Центров Google
• Информацию об инфраструктуре и конфигурации используемых серверов
• Статистику про поломки серверов (2-4%) и дисков (1-5%)
• Статистику отказа по узлам типичного кластера за год
• Официальное подтверждение использования Linux
• Подробности о работе GFS
• Великолепную таблицу по таймингам от L1 кеша до отправки пакета из Калифорнии в Нидерланды и обратно
• Информацию о том, что же такое BigTable и как оно работает
• И конечно прочитать о том, как же будет работать Spanner