| Новые программы oszone.net |  |
Одним из значительных нововведений после 7 июня 2012 года стало усовершенствование функции Copy Blob. При написании этой статьи я использовал материалы команды разработки, которые можно найти здесь. Что привлекло моё внимание – функциональность copy blob позволяет копировать блобы извне Windows Azure, если они публично доступны. То есть им нет необходимости находиться в Windows Azure. Это заставило меня сесть и подумать.. То есть сейчас у меня есть вариант простого переноса моих файлов в хранилище блобов Windows Azure, при этом большинство работы будет выполнено самой платформой. Поэтому я и подумал, а не написать ли простое приложение, которое попробует скопировать файл (объект) из Amazon S3 в хранилище блобов Windows Azure. Получилось это сделать за несколько часов (часов потому что не было аккаунта в S3 до определенного момента, соответственно знания о клиентской библиотеке для хранилища были несколько ограничены). Но что я хочу сказать: это реально работает и это реально просто сделать. Зачем это делать?
Хранилище блобов Windows Azure действительно конкурентноспособно
Хранилище блобов Windows Azure как бэкап для существующих данных
Покажите мне код!!!
Prerequisites
Код
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using Microsoft.WindowsAzure;
using Microsoft.WindowsAzure.StorageClient;
namespace CopyAmazonObjectToBlobStorage
{
class Program
{
private static string azureStorageAccountName = “";
private static string azureStorageAccountKey = "";
private static string azureBlobContainerName = "";
private static string amazonObjectUrl = "";
private static string azureBlobName = "";
static void Main(string[] args)
{
CloudStorageAccount csa = new CloudStorageAccount(new StorageCredentialsAccountAndKey(azureStorageAccountName, azureStorageAccountKey), true);
CloudBlobClient blobClient = csa.CreateCloudBlobClient();
var blobContainer = blobClient.GetContainerReference(azureBlobContainerName);
Console.WriteLine("Trying to create the blob container....");
blobContainer.CreateIfNotExist();
Console.WriteLine("Blob container created....");
var blockBlob = blobContainer.GetBlockBlobReference(azureBlobName);
Console.WriteLine("Created a reference for block blob in Windows Azure....");
Console.WriteLine("Blob Uri: " + blockBlob.Uri.AbsoluteUri);
Console.WriteLine("Now trying to initiate copy....");
blockBlob.StartCopyFromBlob(new Uri(amazonObjectUrl), null, null, null);
Console.WriteLine("Copy started....");
Console.WriteLine("Now tracking blob's copy progress....");
bool continueLoop = true;
while (continueLoop)
{
Console.WriteLine("");
Console.WriteLine("Fetching lists of blobs in Azure blob container....");
var blobsList = blobContainer.ListBlobs(true, BlobListingDetails.Copy);
foreach (var blob in blobsList)
{
var tempBlockBlob = (CloudBlob) blob;
var destBlob = blob as CloudBlob;
if (tempBlockBlob.Name == azureBlobName)
{
var copyStatus = tempBlockBlob.CopyState;
if (copyStatus != null)
{
Console.WriteLine("Status of blob copy...." + copyStatus.Status);
var percentComplete = copyStatus.BytesCopied / copyStatus.TotalBytes;
Console.WriteLine("Total bytes to copy...." + copyStatus.TotalBytes);
Console.WriteLine("Total bytes copied...." + copyStatus.BytesCopied);
if (copyStatus.Status != CopyStatus.Pending)
{
continueLoop = false;
}
}
}
}
Console.WriteLine("");
Console.WriteLine("==============================================");
System.Threading.Thread.Sleep(1000);
}
Console.WriteLine("Process completed....");
Console.WriteLine("Press any key to terminate the program....");
Console.ReadLine();
}
}
}Код достаточно прост. Что я делаю: я указываю учетные данные для доступа к хранилищу Windows Azure и URL блоба-источника (в Amazon S3); создаю контейнер блобов в Windows Azure и начинаю копирование блоба с URL источника. После отправки запроса на копирование всё, что делает приложение, это мониторит процесс копирования. Как вы видите, ни одной строки кода для копирования байт из источника в приемник. Всё это делает Windows Azure. После того, как объект скопирован, я могу увидеть его в хранилище блобов Windows Azure, используяCloud Storage Studio. Как вы увидели, Windows Azure предоставляет возможность простого переноса данных. Если вы рассматриваете возможность перехода с другой облачной платформы на Windows Azure, но беспокоились о всяких связанных с этим проблемах, одной проблемой стало меньше. Prerequisites
Код
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using Amazon.S3;
using Amazon.S3.Model;
using Amazon.S3.Transfer;
using Amazon.S3.Util;
using Microsoft.WindowsAzure;
using Microsoft.WindowsAzure.StorageClient;
using System.Globalization;
namespace CopyAmazonBucketToBlobStorage
{
class Program
{
private static string azureStorageAccountName = “”;
private static string azureStorageAccountKey = “”;
private static string azureBlobContainerName = “”;
private static string amazonAccessKey = “”;
private static string amazonSecretKey = “”;
private static string amazonBucketName = “”;
private static string objectUrlFormat = “https://{0}.s3.amazonaws.com/{1}”;
private static Dictionary<string, CopyBlobProgress> CopyBlobProgress;
static void Main(string[] args)
{
//Создание ссылки на аккаунт хранилища Windows Azure
CloudStorageAccount azureCloudStorageAccount = new CloudStorageAccount(new StorageCredentialsAccountAndKey(azureStorageAccountName, azureStorageAccountKey), true);
//Получение ссылки на контейнер блоба, куда будут скопированы объекты.
var blobContainer = azureCloudStorageAccount.CreateCloudBlobClient().GetContainerReference(azureBlobContainerName);
//Создание контейнера блобов, если это необходимо.
Console.WriteLine(«Trying to create the blob container....»);
blobContainer.CreateIfNotExist();
Console.WriteLine(«Blob container created....»);
//Создание ссылки на клиент Amazon
AmazonS3Client amazonClient = new AmazonS3Client(amazonAccessKey, amazonSecretKey);
//Инициализация словаря
CopyBlobProgress = new Dictionary<string, CopyBlobProgress>();
string continuationToken = null;
bool continueListObjects = true;
//Так как ListObjects может возвратить за один раз не более 1000 объектов, //вызываем функцию до тех пор, пока не будут возвращены все объекты.
while (continueListObjects)
{
ListObjectsRequest requestToListObjects = new ListObjectsRequest()
{
BucketName = amazonBucketName,
Marker = continuationToken,
MaxKeys = 100,
};
Console.WriteLine(«Trying to list objects from S3 Bucket....»);
//Получение списка объектов в Amazon S3
var listObjectsResponse = amazonClient.ListObjects(requestToListObjects);
//Список объектов
var objectsFetchedSoFar = listObjectsResponse.S3Objects;
Console.WriteLine(«Object listing complete. Now starting the copy process....»);
//Просматриваем, не доступны ли еще объекты. Сначала обрабатываем полученные объекты, потом переходим на следующее множество с использованием continuation token.
continuationToken = listObjectsResponse.NextMarker;
foreach (var s3Object in objectsFetchedSoFar)
{
string objectKey = s3Object.Key;
//ListObjects возвращает файлы и папки, пропускаем папки, проверяя для этого значение S3 Object Key. Если оно кончается на /, предполагаем что это папка.
if (!objectKey.EndsWith(«/»))
{
//формируем URL для копирования
string urlToCopy = string.Format(CultureInfo.InvariantCulture, objectUrlFormat, amazonBucketName, objectKey);
//Создаем экземпляр CloudBlockBlob
CloudBlockBlob blockBlob = blobContainer.GetBlockBlobReference(objectKey);
var blockBlobUrl = blockBlob.Uri.AbsoluteUri;
if (!CopyBlobProgress.ContainsKey(blockBlobUrl))
{
CopyBlobProgress.Add(blockBlobUrl, new CopyBlobProgress()
{
Status = CopyStatus.NotStarted,
});
//Запускаем копирование. Оборачиваем его в блок try/catch
//так как копирование из Amazon S3 будет произведено только для публично доступных объектов.
try
{
Console.WriteLine(string.Format(«Trying to copy \»{0}\» to \»{1}\»«, urlToCopy, blockBlobUrl));
blockBlob.StartCopyFromBlob(new Uri(urlToCopy));
CopyBlobProgress[blockBlobUrl].Status = CopyStatus.Started;
}
catch (Exception exception)
{
CopyBlobProgress[blockBlobUrl].Status = CopyStatus.Failed;
CopyBlobProgress[blockBlobUrl].Error = exception;
}
}
}
}
Console.WriteLine(««);
Console.WriteLine(«==========================================================«);
Console.WriteLine(««);
Console.WriteLine(«Checking the status of copy process....»);
//Мониторим процесс
bool checkForBlobCopyStatus = true;
while (checkForBlobCopyStatus)
{
//Получаем список блобов в контейнере блобов
var blobsList = blobContainer.ListBlobs(true, BlobListingDetails.Copy);
foreach (var blob in blobsList)
{
var tempBlockBlob = blob as CloudBlob;
var copyStatus = tempBlockBlob.CopyState;
if (CopyBlobProgress.ContainsKey(tempBlockBlob.Uri.AbsoluteUri))
{
var copyBlobProgress = CopyBlobProgress[tempBlockBlob.Uri.AbsoluteUri];
if (copyStatus != null)
{
Console.WriteLine(string.Format(«Status of \»{0}\» blob copy....», tempBlockBlob.Uri.AbsoluteUri, copyStatus.Status));
switch (copyStatus.Status)
{
case Microsoft.WindowsAzure.StorageClient.CopyStatus.Aborted:
if (copyBlobProgress != null)
{
copyBlobProgress.Status = CopyStatus.Aborted;
}
break;
case Microsoft.WindowsAzure.StorageClient.CopyStatus.Failed:
if (copyBlobProgress != null)
{
copyBlobProgress.Status = CopyStatus.Failed;
}
break;
case Microsoft.WindowsAzure.StorageClient.CopyStatus.Invalid:
if (copyBlobProgress != null)
{
copyBlobProgress.Status = CopyStatus.Invalid;
}
break;
case Microsoft.WindowsAzure.StorageClient.CopyStatus.Pending:
if (copyBlobProgress != null)
{
copyBlobProgress.Status = CopyStatus.Pending;
}
break;
case Microsoft.WindowsAzure.StorageClient.CopyStatus.Success:
if (copyBlobProgress != null)
{
copyBlobProgress.Status = CopyStatus.Success;
}
break;
}
}
}
}
var pendingBlob = CopyBlobProgress.FirstOrDefault(c => c.Value.Status == CopyStatus.Pending);
if (string.IsNullOrWhiteSpace(pendingBlob.Key))
{
checkForBlobCopyStatus = false;
}
else
{
System.Threading.Thread.Sleep(1000);
}
}
if (string.IsNullOrWhiteSpace(continuationToken))
{
continueListObjects = false;
}
Console.WriteLine(««);
Console.WriteLine(«==========================================================«);
Console.WriteLine(««);
}
Console.WriteLine(«Process completed....»);
Console.WriteLine(«Press any key to terminate the program....»);
Console.ReadLine();
}
}
public class CopyBlobProgress
{
public CopyStatus Status
{
get;
set;
}
public Exception Error
{
get;
set;
}
}
public enum CopyStatus
{
NotStarted,
Started,
Aborted,
Failed,
Invalid,
Pending,
Success
}
}Код достаточно прост. Приложение:
После окончания копирования следующее состояние хранилища блобов Windows Azure показал Cloud Storage Studio. Резюме
Теги:
Комментарии посетителей
Комментарии отключены. С вопросами по статьям обращайтесь в форум.
|
|
.png)
.png)
.png)
.png)
