Os ataques de 11 de Setembro foram a maior ação terrorista já praticada em solo americano, com milhares de mortos, dezenas de bilhões de Dólares em prejuízos financeiros e efeitos que reverberaram por todo o planeta por vinte anos, e continuarão afetando a geopolítica mundial, mas também foram uma oportunidade para descobrir se os planos de contingência das empresas da área realmente funcionavam.
As Torres, ainda de pé. (Crédito: Michael Foran / Wikimedia Commons)
O World Trade Center era formado por sete prédios, abrigando uma penca de empresas, boa parte do ramo financeiro. Algumas empresas foram basicamente dizimadas, perdendo todos os funcionários. Outras morreram ao perder seus computadores e infra-estrutura. Entre as maiores, a sobrevivência foi mais freqüente. Em parte graças a um pânico criado pela mídia, pouco tempo atrás: O Bug do Milênio.
Quando os boards das empresas descobriram que tinham um Departamento de TI e que seus computadores poderiam ser afetados com a virada de 1999 para 2000, também foram levantadas outras hipóteses e cenários, que incluíam principalmente desastres naturais.
Não era uma época ainda de Nuvem, a maioria das empresas tinham CPDs próprios, e um desastre que afetasse escritórios E CPD seria o fim da empresa.
O que sobrou dos prédios do World Trade Center (Crédito: National Institute of Standards and Technology / Domínio Público)
Uma das empresas mais bem-preparadas era a American Express.
Legalmente empresas do ramo financeiro precisam de backups, redundância e planos de contingência, mas na maioria dos casos os planos só existiam para agradar aos auditores. No caso da American Express eles gastaram uma fortuna.
A empresa tinha linhas telefônicas e de dados extras, um prédio em Nova Jersey totalmente desabitado, com milhares de baias e computadores, nunca usados, debaixo daquelas capinhas de prástico que todo mundo usava.
Esse tipo de plano de contingência não era muito popular internamente na maioria das empresas, soava como aqueles malucos preppers que vivem planejando para o Fim do Mundo, e o cenário no qual todos os planos de contingência seriam necessários era altamente improvável, não aconteceria em um milhão de anos, exceto que aconteceu em 11 de Setembro de 2001.
Momento em que o United 175 atinge a segunda torre (Crédito: TheMachineStops (Robert J. Fisch) / Domínio Público)
Nem tudo deu certo. Os planos de evacuação da Amex previam que os funcionários se reuniriam em uma escola próxima, mas ela era muito próxima e o pessoal acabou fugindo em meio à multidão.
Algumas empresas já estavam escaldadas. Em 1993 um atentado terrorista detonou uma bomba na garagem do World Trade Center. Com o caos que se seguiu, o Morgan Stanley, um mega-banco de investimentos levou quatro longas horas para evacuar seus 3800 funcionários.
Planos, treinamentos e estratégias (do grego Strategos) foram criados para evitar repetir o fiasco. Em 11 de Setembro a Morgan Stanley perdeu 13 funcionários, os 3787 sobreviventes foram evacuados em apenas 45 minutos.
Alguns planos foram desarranjados pelas circunstâncias. A Mastercard tinha um datacentre e escritórios de backup, o datacentre ficava a 480Km de distância dos escritórios de backup, o que faz sentido logisticamente, mas principalmente na época nem toda a migração podia ser feita remotamente.
Uma das salas de guerra da Visa (Crédito: Visa)
No plano você mandaria uma equipe de avião até o site remoto, e cuidaria dos detalhes da ativação do datacentre reserva, mas e quando todos os vôos estão cancelados, os 10 mil aviões que estavam no ar algumas horas antes estão no chão e a ordem é “não vai subir ninguém?”
A Mastercard teve que mandar gente de carro, hoje já é possível resolver TUDO remotamente.
Enquanto isso a American Express estava tentando recuperar seus backups.
Em 11 de Setembro o serviço de backup era suprida pela EDS (Electronic Data Systems), uma das gigantes do setor, que hoje é uma divisão da HP, faturando US$22 bilhões por ano.
Isso não fez muita diferença, a Amex precisava das fitas de backup, mas o trânsito estava completamente parado. O jeito foi um funcionário deles se encontrar na metade do caminho com um courier da EDS, que repassou as preciosas fitas.
Um grupo de 30 funcionários se aglomerou no apartamento do cunhado de um deles, e começaram a organizar a situação. Eles procuravam por funcionários, ligavam para clientes grandes e filiais em outros países e intermediavam mensagens entre parentes e funcionários que estavam no escritório de emergência em Jersey.
Lá os funcionários tinham acesso aos sistemas da empresa, dentro do possível. E mais nada. Ninguém havia pensado em instalar televisões ou rádios. Os computadores não tinham navegadores web e o email, que em teoria eles teriam acesso, se comunicava com um servidor em uma das Torres Gêmeas.
Lembre-se, estamos falando de 11 se Setembro de 2001, computadores na época eram feitos de barro fofo e pedra lascada. A grande maioria tinha acesso a terminais burros, e só. Os funcionários da Amex tinham seus celulares, que mal falavam (o iPhone ainda estava 6 anos no futuro) e as linhas e antenas estavam totalmente congestionadas.
Datacentre da American Express no deserto perto de Phoenix, Arizona (Crédito: Ricor, Inc)
A presença física dos analistas de crédito era fundamental, transações grandes eram (e as grandes mesmo até hoje ainda são) aprovadas manualmente. E quem está passando um Amex Black Ultra Unobtanium Plus e comprando uma pequena nação não quer esperar muito tempo.
No final do 11 de Setembro a equipe da Amex conseguiu processar 70% das transações entradas no sistema, 19000 operações movimentando US$14,3 bilhões.
Algumas empresas tinham planos de realocação de pessoal e equipamentos contratados com firmas especializadas, outras tiveram que correr atrás de espaço em prédios da região, o que não era nada fácil de conseguir.
Em um caso uma empresa tinha um escritório de backup, mas o desastre ocorreu quando durante uma das faltas de luz constantes o Datacentre continuou funcionando, mas o ar-condicionado não voltou.
A Lehman Brothers, que tinha 6000 funcionários na área e 800 na 1ª Torre também trabalhou com ótimos planos de contingência, incluindo de evacuação, só perderam um funcionário no ataque de 11 de Setembro, mas tiveram que atulhar um monte de gente nos escritórios de backup e Nova Jersey, Manhattan e até em um Sheraton.
Os custos das operações em 11 de Setembro para a Lehman Brothers foram de US$127 milhões, com a receita no último trimestre de 2001 caindo 67%. Um dos culpados? Comunicações.
Com os funcionários E Datacentre no mesmo endereço, uma falha em telecomunicações afeta todos os serviços. Principalmente eles ainda não estavam muito investidos em serviços de Voz Sobre IP, usando linhas físicas convencionais.
Uma linha VOIP pode ser facilmente roteada para qualquer terminal do mundo, o que dá extrema agilidade e resiliência em caso de desastres como o de 11 de Setembro.
No total além de milhares de mortos e profissionais como bombeiros e policiais com seqüelas por contaminação que foram forçados a se aposentar, sem benefícios ou apoio oficial, os ataques de 11 de Setembro causaram US$83 bilhões em danos à Economia de New York, junto com 125 mil empregos perdidos com resultado direto do ataque.
As lições aprendidas em 11 de Setembro:
Tempo de recuperação de backups e sistemas é fundamental
Quando você processa milhões de transações por dia. A Mastercard achava que 24h era um bom prazo, depois de 11 de Setembro em pior cenário a meta é ter tudo no ar em 2 horas. Demorar demais a restaurar os backups gera um backlog de transações que tende ao infinito, se você depende das antigas para validar as novas. Em 11 de Setembro houve gente validando transações de 4 milhões de dólares redigitando dados de listagens e interfaceando manualmente dois sistemas.
Nenhum cenário é drástico demais.
O Departamento de VDM se torna estratégico, gente não muito boa da cabeça bola cenários mirabolantes, que são estudados e levados a sério. Pontos de falha são identificados e planos de contingência criados. Eu já vi um Datacentre com uptime de 99.999 em contrato ficar horas fora do ar, quando os três backbones independentes caíram. O Single Point of Failure era que todos saíam pela mesma canaleta, furada numa obra da prefeitura.
As empresas desde o 11 de Setembro passaram a pagar gente para apontar essas impossibilidades estatísticas, e isso salvou muita gente e muito dinheiro.
Trabalho Remoto é uma possibilidade.
Essa era uma realidade bem dura em 2001, quando a maior parte da Internet ainda usava pombos-correio, mas investimentos em links de alta velocidade e laptops deram mobilidade a funcionários estratégicos. Com a Pandemia essa decisão em especial se pagou muitas vezes.
Não só foi preciso aceitar a possibilidade como modificar a cultura das empresas para tratar o trabalho remoto como algo sério. Depois de 11 de Setembro era uma situação vista como emergencial, com o COVID-19, é o novo normal, e esse novo Normal é bom. Imagine quanto seria meu Vale-Transporte se tivesse que ir bater ponto na Sede do MeioBit…
Como se alguém tivesse uma mesa limpa assim. (Crédito: Pixabay / Domínio Público)
Não faz sentido botar todos os ovos na mesma cesta
Ter o CPD e o escritório na mesma localização é receita pra desastre. Quanto melhor pulverizar as operações, melhor. Isso inclusive diminui o custo dos escritórios de backup. Com teleconferência, links rápidos e instant messengers, não faz diferença se o sujeito está na sala ao lado ou no outro lado do país.
Backup é pra quem pode.
Quem lida com transações financeiras segundo a segundo não pode se dar ao luxo de fazer um backup diário. Sistemas tiveram que ser reescritos, estratégias de replicação e buffering de transações foram criados para replicar em bancos de dados remotos as operações locais.
Isso foi especialmente complicado na época. Uma linha T3, com 45Mbps de banda podia custar US$30 mil por mês. E nem queira saber o custo de uma linha dedicada entre dois Datacentres separados por centenas de quilômetros.
Pessoal é tão estratégico quando PCs
Em 11 de Setembro de 2001 a Cantor Fitzgerald ocupava do 101º ao 105º andar da Torre 1 do World Trade Center. O primeiro avião atingiu o prédio alguns andares abaixo. Todos os funcionários que já estavam na empresa, morreram. Dos 960 que trabalhavam na cidade, 658 perderam a vida. Incluindo o irmão de Howard Lutnick, CEO da empresa. Howard estava na rua, levando o filho para o jardim de infância.
Reunindo-se com os sobreviventes em uma conference naquela noite, Howard falou:
“Temos duas opções.
Podemos fechar a empresa e ir ao funeral de nossos amigos. Lembrem-se de que serão 20 funerais por dia, todos os dias, durante 35 dias consecutivos. E tenho que dizer, não estou realmente interessado em trabalhar. Tudo o que quero fazer é entrar debaixo das cobertas e abraçar minha família.
Mas se vamos trabalhar, vamos fazer isso para cuidar da família de nossos amigos. Então o que vocês querem fazer? Querem fechar a empresa? Ou vocês querem trabalhar mais duro do que vocês já trabalharam antes em suas vidas?”
Mesmo tendo perdido quase 69% de sua força de trabalho, servidores, arquivos, tudo, os funcionários conseguiram ressuscitar a Cantor Fitzgerald, em uma semana eles estavam operando de novo.
A Cantor por sua vez se comprometeu a distribuir 25% dos lucros pelos próximos cinco anos, e pagar por 10 anos o plano de saúde das famílias dos 658 funcionários mortos. No total foram mais de US$180 milhões para as famílias.
Outras empresas montaram redes de apoio com profissionais de saúde, terapeutas, psicólogos, para atendimento imediato e a longo prazo dos funcionários afetados pelo ataque de 11 de Setembro.
A melhor resposta ao 11 de Setembro não foi a 2ª Guerra do Golfo, ou a Guerra do Afeganistão. A melhor resposta a um ataque direto aos EUA e ao Sonho Americano foi manter o sonho vivo, levantar, sacudir a poeira e seguir adiante. Quando mesmo diante do mais traumatizante ataque terrorista em décadas, um jovem em Connecticut compra um sorvete com um cartão de débito, e graças ao esforço de milhares de pessoas em meio a um desastre a transação passa, isso sim é um tapa na cara do Osama.
Claro, os vários tiros de calibre 5.56 do fuzil Heckler & Koch’s HK416 usado pelo Seal Team 6 doeram mais que um tapa, mas só por um momento.
Fontes:
Source link
