Transferir dados para o Amazon S3 rapidamente usando o AWS Import Export

Se você tiver centenas de gigabytes ou até mesmo terabytes de dados em sua rede local em casa, provavelmente terá tudo armazenado em um computador, um disco rígido externo ou um dispositivo NAS (armazenamento conectado à rede). Ter backups dos seus dados é extremamente importante, mas tê-los todos em um só lugar nunca é uma boa ideia.

Eu percebi isso quando vi mais de 2 TB de fotos, vídeos, backups, etc armazenados no meu NAS local. Claro que tem 4 discos rígidos e se um deles falhar, nenhum dos meus dados será perdido. No entanto, se minha casa queimar ou ficar inundada, tudo será perdido junto com o NAS. Então decidi fazer backup dos dados para a nuvem.

Eu verifiquei o Dropbox, o SkyDrive, o Google Drive, o CrashPlan e o Amazon S3 e o Glacier antes de finalmente estabelecer o Amazon S3. Por que a Amazon? Bem, eles têm um serviço bacana onde você pode enviar um disco rígido externo de até 16 TB e enviá-lo diretamente para seus servidores, evitando assim o enorme problema de tentar carregar esses dados pela sua conexão lenta à Internet..

Com a AT & T no meu bairro, recebo uma incrível velocidade de upload de 1,4 Mbytes / s. Levaria muitos meses para carregar os 2,5 TB de dados armazenados no NAS. Com o Amazon Import / Export, você pode pagar uma taxa de serviço de US $ 80 e fazer com que eles enviem todos os dados para você em um dia. Acabei fazendo um tutorial em vídeo que percorre todo o processo, desde a inscrição no Amazon Web Services até o empacotamento do disco rígido e envio para a Amazon..

Aqui está a transcrição completa do vídeo:

Ei pessoal Este é o Aseem Kishore da Online Tech Tips. Eu vou estar fazendo algo novo hoje. Vou fazer um tutorial em vídeo sobre os recursos do Amazon Web Services Import Export. Então, qual é o recurso de importação e exportação? Bem, é basicamente uma maneira de obter uma grande quantidade de dados em um bucket do Amazon S3 ou em um cofre do Glacier. O Amazon S3 e o Glacier são basicamente duas opções de armazenamento que você tem para backup de dados e arquivamento de dados com a Amazon. Então, por que você gostaria de usar este serviço da Amazon?

Bem, basicamente permite que você mova uma grande quantidade de dados para a nuvem muito rapidamente. Se você é alguém como eu, você pode ter centenas de gigabytes de fotos e vídeos armazenados localmente em seu computador ou em um disco rígido externo. Tentar enviar 100 gigabytes ou 500 gigabytes ou até mesmo um terabyte de dados para a nuvem levará semanas, se não meses, em uma conexão de upload lenta. Em vez disso, o que você pode fazer é copiar esses dados em um disco rígido externo que pode ter até 16 terabytes de tamanho e enviá-los para a Amazon, onde serão levados para o data center e carregados diretamente no seu bucket ou vault. pode ir em frente e acessar isso da web.

Então, para começar, a primeira coisa que você terá que fazer é criar uma conta da Amazon Web Services. Para fazer isso, você irá ao aws.amazon.com e irá em frente e clique no botão Sign Up. Vá em frente e digite o seu endereço de e-mail e selecione "Eu sou um novo usuário", se você não tiver uma conta na Amazon. Se fizer isso, vá em frente e selecione "Eu sou um usuário recorrente" e você pode usar sua conta atual da Amazon para se inscrever no Amazon Web Services..

Depois de criar sua conta do Amazon Web Services, você terá que baixar a ferramenta Importar exportação. Esta ferramenta é muito simples de usar. É preciso uma pequena configuração, que eu vou seguir em frente e explicar. Mas você pode ver na tela, há um link para baixo que eu vou adicionar na legenda na parte inferior deste vídeo. Então vá em frente e faça o download e extraia isso em um diretório em seu computador.

Agora que você baixou essa ferramenta e a extraiu, você deve ter um diretório semelhante a este. Neste ponto, precisaremos editar um arquivo chamado "Credenciais da AWS". Ele contém dois valores, ID da chave de acesso e Chave secreta. Basicamente, esses são dois valores que a Amazon usa para vincular sua conta. Você pode obter esses dois valores da sua conta do Amazon Web Services indo para o seguinte endereço. É aws.amazon.com/securitycredentials. Na página Credenciais de Segurança, você vai em frente e clica em Chaves de Acesso.

Agora fica um pouco confuso aqui. Se você já usou o Amazon Web Services e já criou chaves no passado, não poderá ver sua chave secreta aqui. Esta é uma nova interface da Amazon e para ver suas chaves secretas existentes, você precisa clicar no link Credenciais de segurança que leva você à antiga página Legado..

Se você acabou de criar uma nova conta, poderá criar uma nova chave raiz. Este botão estará ativo. Nesse ponto, você receberá uma ID de chave de acesso e obterá a chave secreta para que ela forneça os dois valores. E esta é a página Legacy Security, na qual você pode acessar suas chaves secretas se já tiver criado uma ID de chave de acesso para o Amazon Web Services. Então, como você pode ver aqui, eu tenho duas chaves de acesso e se eu quiser ir em frente e ver minha chave secreta, posso ir em frente e clicar no botão Mostrar e então posso copiar esses dois valores no arquivo de Credenciais da AWS que eu mostrei você mais cedo. Então, você quer ir em frente e colar a chave do ID de acesso aqui e colar a chave secreta aqui.

Agora, neste ponto, se você estiver ficando confuso com o ID da chave de acesso e a chave de acesso secreto, tudo bem. Você realmente não precisa saber o que eles são ou se preocupam com eles de qualquer forma. Tudo que você precisa fazer é assinar e obter os valores e copiá-los e colá-los nesse arquivo.

A próxima coisa que vamos fazer é criar um trabalho de importação. Agora as próximas duas partes são as duas partes mais difíceis de todo esse procedimento. Para criar um trabalho de importação para o Amazon S3, vamos em frente e criar um arquivo de manifesto. Este arquivo de manifesto contém basicamente algumas informações no seu dispositivo. Onde quer que você queira armazenar os dados e para onde deseja que o dispositivo seja enviado de volta.

Agora, o bom é que não temos que criar este arquivo de manifesto nós mesmos. Já está criado para nós, só temos que ir em frente e preenchê-lo. Então, o que você quer seguir em frente é entrar no diretório e onde você tem sua ferramenta de importação e exportação e clique em Exemplos. Aqui você vai seguir em frente e abrir o manifesto de importação do S3. Como você pode ver aqui, eu já fui preenchendo as informações para o meu trabalho de importação. Então vamos em frente e dar uma olhada nisso um pouco mais de perto.

Como você pode ver, a primeira coisa que você precisa fazer é digitar sua ID de chave de acesso novamente. Você tem que se livrar dos colchetes, e você apenas vai em frente e cole diretamente após o cólon. A próxima coisa que você vai querer fazer é digitar o nome do intervalo. Você vai ter que ir em frente e criar um bucket, que eu vou seguir em frente e mostrar depois disso, mas por enquanto vá em frente e digite qualquer nome que você queira onde seus dados serão armazenado. Então, se você criar uma pasta chamada Back Up, qualquer coisa que você tenha no seu dispositivo, qualquer pasta ou qualquer coisa lá, vai passar por baixo desse nome do bucket.

A próxima coisa que você vai querer ir em frente e fazer é digitar o seu ID do dispositivo. Este é basicamente um identificador exclusivo para o seu disco rígido externo. Este pode ser o número de série que está na parte de trás do disco rígido. Se você não tem um número de série que esteja na parte de trás do seu disco rígido, o que você pode fazer é apenas criar um número próprio ou criar um identificador. Basta escrever que em algo, um adesivo que você pode colocar no seu dispositivo e, em seguida, basta digitar esse valor aqui. Só tem que ser algo que é o mesmo no dispositivo e neste arquivo. Apague o dispositivo, ele já está definido como Não, então você vai deixar isso. Você pode deixar o próximo. Nível de serviço é padrão, você pode deixar isso. E o endereço do remetente, você vai em frente e preenche seu endereço como eu fiz aqui. No arquivo original, existem alguns campos opcionais. Você tem que ir em frente e removê-los se não for usá-los. Então você pode ir em frente e apagar essas linhas.

Ok, então a próxima coisa que vamos fazer depois de preencher o arquivo de manifesto é salvá-lo no diretório apropriado. Para fazer isso, vamos em frente e clicar em Arquivo, Salvar como e vamos voltar para o diretório da Ferramenta de Serviços da Web de exportação de importação. Esta é também a localização do arquivo de propriedades do ponto que preenchemos anteriormente. Aqui você terá que ir em frente e nomear o seu arquivo, “my import manifest.txt. Como o seu tipo Salvar como já é txt, você não precisa digitar isso no nome do arquivo. Vá em frente e clique em Salvar.

Agora que editamos o arquivo Credenciais da AWS e creditamos o arquivo Meu Manifesto de Importação, podemos criar um intervalo no Amazon S3. Isso é muito simples de fazer. O que você vai fazer é ir ao aws.amazon.com, e você vai em frente e clica no console My Account e depois no AWS Management Console. Depois de fazer o login, você deve obter uma tela assim com todos os diferentes Amazon Web Services. Neste ponto, tudo o que nos interessa é o Amazon S3, que está aqui embaixo, no canto inferior esquerdo. Clique nele e ele vai continuar e carregar o console do S3. E como você pode ver aqui, não há muito a não ser baldes. Então eu tenho dois baldes, este é o meu backup do meu synology nas, que é o dispositivo de armazenamento do tipo de rede.

O que você quer seguir em frente é clicar em Criar bucket e acha que vai em frente e dar ao seu bucket um nome de bucket. Você também pode escolher uma região diferente, mas sugiro que vá até a região que ela preenche automaticamente. O nome do intervalo só pode ter pontos e deve ser exclusivo em toda a região em que está sendo armazenado. Então, se alguém já tiver esse nome de depósito, isso causará um erro. Por exemplo, se eu disser, nasbackup, e eu digo criar, isso vai me dar um erro que o nome do intervalo solicitado não está disponível. Nesse caso, você pode usar pontos para colocar 'ponto' e o que você quiser e clicar em criar, e se isso for único, e então ele vai em frente e cria esse nome de depósito. Então você pode ir em frente e criar um balde, ou seja, um dado em todo esse disco rígido externo será armazenado.

Neste ponto, você pode estar se perguntando o que mais deve ser feito. Então, vamos dar uma olhada no que fizemos até agora. Nós nos inscrevemos para o serviço da AWS. Nós baixamos e extraímos a ferramenta. Nós editamos as chaves de arquivo e editor. Fomos em frente e criamos o arquivo de manifesto para salvá-lo no manifesto de importação no mesmo diretório do arquivo de credenciais e criamos um intervalo no Amazon S3. Então, há apenas mais algumas coisas para fazer isso.

A próxima coisa que temos que fazer é criar uma solicitação de emprego usando uma ferramenta de linha de comando Java. Isso é um pouco técnico e isso é provavelmente a coisa mais técnica que você terá que fazer, mas não é tão difícil assim. Agora, para criar esta solicitação de trabalho, precisamos executar um comando Java no prompt de comando. Mas para fazer isso, precisamos ter o kit de desenvolvimento Java instalado. Isso é diferente do Java Runtime Environment, que normalmente é instalado na maioria dos computadores, mas não permite executar comandos Java no prompt de comando..

Para fazer isso, o que você fará é ir ao Google e fazer uma busca por Java SE, e este é o Java Standard Edition. Vá em frente e clique no primeiro link aqui e isso leva você a esta página. Aqui você pode rolar para baixo e verá três opções, servidor JDK, JRE e JRE. Nós não precisamos nos preocupar com esses dois aqui. Nós vamos seguir em frente e baixar o JDK. Na próxima página, vá em frente e clique em Aceitar Acordo de Licença e, em seguida, você pode fazer o download do arquivo que corresponde às especificações do seu sistema. No meu caso, eu baixei o arquivo executável do Windows 64 bit.

Agora que você instalou o kit executável Java, podemos prosseguir e executar o comando Java, e você pode ir em frente e ver esse comando aqui na documentação que destaquei aqui. E, a propósito, se você precisar acessar esta documentação, a maneira mais fácil é acessar o Google e pesquisar "Documentos de exportação de importação da AWS". Em seguida, vá em frente e clique em criar seu trabalho de importação e, em seguida, clique em criar seu primeiro trabalho de importação do Amazon S3 e você será levado a esta página.

Agora podemos prosseguir e executar o comando indo ao prompt de comando. Para fazer isso, clicamos em Iniciar, digite CMD e pressione Enter. Agora que temos um prompt de comando, precisamos entrar no diretório em que a ferramenta de exportação de importação da Amazon está localizada. No nosso caso, é em Downloads e, em seguida, há uma pasta chamada Import Export Web Service Tool. Então, para navegar pelos diretórios no prompt de comando, você digita “cd” e depois eu vou digitar “downloads”, e então eu vou digitar “cd” de novo, e eu vou para digitar "ferramenta de serviço da web de exportação de importação", que é o nome do diretório. Agora que estou nesse diretório, vou simplesmente copiar esse comando e colá-lo no prompt de comando.

Você deve ter notado que no comando que acabamos de copiar e colar, o nome do arquivo de manifesto é Meu S3 Import Manifest.txt. Eu acho que isso é um problema com a documentação porque quando eu tentei executá-lo dessa maneira, recebi um erro dizendo que o arquivo tinha que ser chamado My Import Manifest.txt. Então, simplesmente mova o cursor e exclua a parte S3, e você poderá executar o comando. Agora eu não vou seguir em frente e executar o comando agora porque já o executei antes. Mas quando você vai em frente e aperta Enter você deve obter algo como isto, emprego criado, ID de trabalho, o endereço de remessa AW, e o conteúdo do arquivo de assinatura.

O conteúdo do arquivo de assinatura é basicamente um arquivo que é criado no diretório raiz aqui sob Assinaturas de chamadas da ferramenta Importar serviços da Web de exportação. Isso será criado quando você executar o comando real. Se tudo correr bem, então você pode pegar este arquivo e você vai ter que copiar para a raiz do seu disco rígido.
Estamos quase chegando ao fim aqui. A próxima coisa que temos que fazer é copiar o arquivo de assinatura para a raiz do disco rígido. Podemos encontrar o arquivo chamado Assinatura no Diretório de Ferramentas de Importação de Serviços da Web de Exportação depois de executar o comando Java.

O segundo ao último passo é imprimir o recibo de entrega e preenchê-lo. Isto é o que o deslizamento de embalagem parece. É um documento muito simples. Vá em frente e coloque a data, sua ID de conta de e-mail, seu número de contato, seu nome e número de telefone, o ID do trabalho e o identificador que você colocou para o seu dispositivo. Mais uma vez você pode encontrar este documento aqui fora da documentação.

E, finalmente, o último passo é simplesmente empacotar seu disco rígido e enviá-lo para a Amazon. Há poucas pequenas coisas que você deve tomar nota. Em primeiro lugar, você precisa incluir a fonte de alimentação e quaisquer cabos de alimentação e quaisquer cabos de interface, portanto, se for USB 2.0, 3.0, esata, você precisa incluir o cabo USB ou o cabo esata. Se não, eles vão em frente e devolvê-lo para você. Você também precisará preencher o comprovante de embalagem que mencionei anteriormente e colocar dentro da caixa. E, por último, você enviará o pacote para o endereço que você recebeu do comando create response que nós rodamos.

Há duas outras pequenas coisas para observar quando você está enviando. Em primeiro lugar, certifique-se de que a etiqueta de envio tenha essa ID de trabalho lá. Se não, eles vão devolvê-lo de volta. Então você precisa ter certeza de que você tem o ID do trabalho na etiqueta de envio. Em segundo lugar, você também deve preencher um endereço de entrega de retorno. Isso será diferente do endereço de remessa de retorno que colocamos no arquivo de manifesto. Se eles não processarem seu disco rígido por algum motivo, se houver algum problema ou algo assim, eles retornarão o disco rígido para o endereço de entrega na etiqueta de remessa. Se eles processarem seu disco rígido e puderem transferir todos os dados, eles retornarão o disco rígido para o endereço de entrega que você tem no homem. Por isso, é importante incluir também o endereço de devolução no rótulo. Você pode escolher qualquer operadora que quiser. Eu escolhi a UPS. É bom ter o número de rastreamento, e eles podem ir em frente e fazer tudo isso sem problemas.

E é sobre isso. São alguns passos e demora um pouco na primeira vez que você faz isso. Mas depois disso, é muito rápido e é uma ótima maneira de economizar muitos dados para a nuvem, uma Amazon também é barata para armazenamento. Portanto, se você precisar armazenar uma tonelada por dia e quiser fazer o backup em algum lugar que não seja em sua casa ou em seu disco rígido externo, o Amazon Web Services S3 é uma ótima opção..

Espero que você tenha gostado deste tutorial Online Tech Tips. Por favor, volte e visite.