Os usuários do supercomputador da Universidade de Kyoto perderam 77 TB de informações devido a uma falha no sistema de backup, que ocorreu por falha da divisão japonesa da HPE. Devido a um erro, os dados foram perdidos em 1,5 dias de trabalho - mais de 34 milhões de arquivos. Como resultado do incidente, os dados de 14 grupos de usuários foram afetados, quatro dos quais a informação foi irremediavelmente perdida.
A falha ocorreu há duas semanas, e ontem a administração da universidade divulgou uma mensagem na qual divulgou os detalhes do incidente e se desculpou profundamente aos usuários pelo transtorno e possíveis danos. O erro parece ter ocorrido devido a um descuido ao atualizar o script bash envolvido no processo de backup e excluir logs com mais de 10 dias.
A versão atualizada do script foi sobrescrita sobre a versão anterior no momento em que ela já estava sendo executada. De acordo com a HPE, que reconheceu o problema após investigá-lo, os valores das variáveis foram perdidos e uma nova versão do script foi carregada do meio, o que resultou na exclusão dos arquivos em vez de seus logs associados. Ao mesmo tempo, as medidas padrão que poderiam evitar esse comportamento (ou seja, interromper a execução do script com uma mensagem de erro), aparentemente, não foram tomadas.
No momento, o sistema de backup está suspenso, e sua retomada está prevista para o final de janeiro de 2022, após a eliminação de problemas no software e a tomada de medidas para prevenir a recorrência do incidente. No futuro, está planejado o uso não apenas de backup por meio de espelhamento, mas também a introdução de um sistema adicional e mais avançado de backups incrementais. Os especialistas do centro trabalharão para melhorar não só a funcionalidade, mas também a gerenciabilidade do sistema a fim de minimizar os riscos.
2021-12-30 22:03:26
Autor: Vitalii Babkin