async

Асинхронное программирование в .NetСергей ТепляковSTeplyakov@luxoft.com

О Вашем инструкторе

Сергей Тепляков Visual C# MVP, RSDN Team

member Sergey.Teplyakov@gmail.com SergeyTeplyakov.blogspot.com

Цели курса…

Достоинства и недостатки синхронного программирования

Существующие паттерны асинхронного программирования на платформе .Net

Использование библиотеки PowerThreading

Использование библиотеки TPL Новые возможности C# 5

Слушатели изучат:

Необходимая подготовка

Быть знакомы с основами языка C# и платформы .Net

Обладать базовыми знаниями многопоточности

Слушатели должны:

Roadmap

Модель синхронного программирования

Паттерны асинхронного программирования на платформе .Net

Недостатки существующих моделей

Библиотека PowerThreading Библиотека TPL C# 5.0: async и await 1-5

Недостатки синхронного программирования

Плохая масштабируемость Блокирование пользовательского

интерфейса Низкая эффективность операций

ввода/вывода Невозможность использования в

некоторых контекстах (например, с JavaScript и Silverlight)

Плохая масштабируемость. последовательное выполнение

sd Sync

Client HttpWebRequest

webRequest1.GetWebResponce()

ProcessWebResponce1()

webRequest2.GetWebResponce()

ProcessWebResponce2()

Плохая масштабируемость

Неэффективное использование мощностей современных многоядерных процессоров для CPU-Bound операций

Неэффективное выполнение IO-Bound операций даже для одноядерных процессоров

Блокировка пользовательского интерфейса

// Обработчик кнопки получения данных от веб-страницprivate void receiveDataButton_Click(object sender, EventArgs e){ Stopwatch sw = Stopwatch.StartNew(); // 1 _summaryContentLength = 0; // 2 foreach (var url in urls) { // GetResponse возвращает результат синхронно using (WebResponse webResponse = GetResponse(url)) // 3 { ProcessResponse(webResponse); // 4 executionTimeTextBox.Text = sw.ElapsedMilliseconds.ToString(); } }}

А ведь это и не всегда возможно!

Некоторые среды, такие как Silverlight и JavaScript не поддерживают синхронные операции

Рассматриваемые темы

Библиотека PowerThreading Библиотека TPL C# 5.0: async и await

Асинхронная модель программирования

Два паттерна асинхронного программирования Classical Async Pattern Event-Based Async Pattern

Classical Async Pattern

Структура паттерна:// Синхронный метод public <return> Operation(<parameters>, <out params> )

// Методы классического асинхронного паттернаpublic IAsyncResult BeginOperation(<parameters>, AsyncCallback callback, object state)public <return> EndOperation(IAsyncResult asyncResult, <out paramss>)

Пример:public WebResponse GetWebResponse(string url, out TimeSpan duration);public IAsyncResult BeginGetWebResponse(string ulr, object state);public WebResponse EndGetWebResponse(IAsyncResult ar, out TimeSpan duration);

Метод BeginXXX инициирует асинхронную операцию

Метод BeginXXX возвращает IAsyncResult, который является маркером асинхронной операции

AsyncCallback представляет собой функцию, которая будет вызвана при завершении операции

State представляет собой любой пользовательский объект

Все by-value и by-ref параметры синхронного метода становятся by-value параметрами BeginXXX метода

Тип возвращаемого значения синхронного метода совпадает с типом возвращаемого значения EndXXX метода

ref и out параметры синхронного метода добавляются в EndXXX метод

Исключения, генерируемые синхронным методом, генерируются методом EndXXX

Примеры Classical Async Pattern

Класс System.IO.Streampublic int Read(byte[] buffer, int offset, int count)public IAsyncResult BeginRead(byte[] buffer, int offset, int count, AsyncCallback callback, object state)public int EndRead(IAsyncResult asyncResult)

Класс System.Net.WebRequestpublic WebResponse GetWebResponse();public IAsyncResult BeginGetWebResponse(AsyncCallback callback, object state);public WebResponse EndGetResponse(IAsyncResult asyncResult);

Асинхронное выполнение sd ClassicAsync

Client HttpWebRequest IO completionForm

webRequest1.BeginGetResponse()

webRequest2.ProcessResponse()

ProcessResponse()

UpdateUIElements()

webRequest1.ProcessResponse()

ProcessResponse()

UpdateUIElements()

В обработчике UI события: Проинициализировать дополнительные поля (теперь

без них не обойтись) Сделать неактивной кнопку В цикле начать все операции асинхронно (вызывать

метод BeginGetResponse)

В обработчике завершения асинхронной операции: Получить WebResponse (вызывать метод

EndGetReponse) Обработать ответ, не забывая, что обработка

происходит не в потоке UI Понять, что все асинхронные операции завершены

(??) (посчитать количество завершенных операций) Сделать активной кнопку, если все операции таки

завершены Если перед началом выполнения асинхронных

операций были выделены ресурсы, то освободить их вручную

Разница синхронного и асинхронного вариантов для трех веб-узлов

Среднее выполнение синхронного варианта: 520мс

Среднее выполнение асинхронного варианта: 280 мс

Количество строк кода в синхронном решении: 20

Количество строк кода в асинхронном решении: 78

Event-Based Async Pattern

class Class Model

AsyncCompletedEv entArgs

+ Canceled: bool+ Error: Exception+ UserState: object

Находится в пространстве имен: System.ComponentModel

MethodResult

MethodCompletedEv entArgs

+ Arg1: int+ Arg2: string+ Result: MethodResult

SomeType

+ event MethodCompleted+ event ProgressChanged

+ CancelMethod() : void+ MethodAsync(string, int) : void

Событие MethodCompleted вызывается как при успешном, так и при неудачном завершенииметода.

Метод CancelMethod и событие ProgressChanged являются опциональными.

MethodAsync инициирует асинхронную операцию

Есть только одно событие MethodCompleted, EventArgs которого содержат Result, Error, IsCanceled

Возможна, но не обязательна, поддержка отмены и прогресса выполнения

By-value и ref параметры синхронного метода являются входными параметрами метода MethodAsync

Ref и out-параметры становятся readonly полями MethodCompletedEventArgs

Событие MethodCompleted вызывается в «правильном» потоке (в потоке UI для WinForms или WPF)

// Функция обработки принятых данныхprivate void receiveDataButton_Click(object sender, EventArgs e){ // Подготовка операции (отключение кнопки «Принять», // инициализация счетчиков и т.д. foreach (var url in urls) { var webClient = new WebClient(); webClient.DownloadDataAsync(new Uri(url)); webClient.DownloadDataCompleted += (s, ev) => { // Для обработки ошибки в этом случае нужно // обратиться к ствойству ev.Error. // Обработка результатов }; }}

Да как же между ними выбрать?

Классический паттерн более низкоуровневый и более гибкий

Event-Based паттерн более простой в применении, в частности с UI дизайнерами

Классический паттерн – для кода общего назначения, Event-Based – для компонентов

Не применяйте оба паттерна для одного класса

Недостатки моделейасинхронного программирования

Непонятный поток исполнения (Control Flow)

Сложность чтения кода и его сопровождения

Сложность обработки ошибок Невозможность использования

привычных языковых конструкций (using, try/finally etc)

PowerThreading Library

Разработана Джеффри Рихтер и компанией Wintellect

Содержит класс AsyncEnumerator для упрощения работы с асинхронными операциями

Содержит вспомогательные классы для работы с многопоточностью (ResourceLock, ReaderWriterGate etc)

Другие вспомогательные классы (Disposer, Exception<T>, Singleton etc)

Класс AsyncEnumerator.Основные концепции

Поддерживает гибкое управление асинхронными операциями (отмену, таймауты и т.п.)

Использует преимущество блока итераторов (Iterator block) для упрощения потока исполнения

Использует SynchronizationContext для маршалинга потока выполнения в поток UI

Класс AsyncEnumerator.Простой пример

static IEnumerator<int> WorkerMethod(){ // Инициируем n асинхронных операций, // вызываем BeginRead, BeginGetWebResponse, BeginExecuteCommand etc // "возвращаем" n, что говорит AsyncEnumerator-у // о количестве запущенных асинхронных операций yield return n; // класс AsyncEnumerator вызовет в следующий раз // метод MoveNext нашего енумератора (и мы здесь получим управление) // только после завершения указанного количества асинхронных операций. // Причем, если экземпляр класса AsyncEnumerator-а создавался // с контекстом синхронизации (например, он создавался в потоке UI) // то метод MoveNext будет вызван в потоке UI! // Начинаем еще несколько асинхронных операций (например, k) yield return k; } // Создаем экземпляр енумератораAsyncEnumerator ae = new AsyncEnumerator();// Запускаем асинхронные операции, всю грязную работу// берет на себя AsyncEnumeratorae.BeginExecute(WorkerMethod(), ae.EndExecute);

Отступление от темы. Блоки итераторов

static IEnumerator<int> GetNumbers(){ string padding = "\t\t"; Console.WriteLine(padding + "Первая строка метода GetNumbers()"); Console.WriteLine(padding + "Сразу перед yield return 7"); yield return 7; Console.WriteLine(padding + "Сразу после yield return 7"); Console.WriteLine(padding + "Сразу перед yield return 42"); yield return 42; Console.WriteLine(padding + "Сразу после yield return 42");}

Визуализация итераторов

static IEnumerator<int> GetNumbers(){ string padding = "\t\t"; Console.WriteLine(padding + "Первая строка метода GetNumbers()"); // 1 Console.WriteLine(padding + "Сразу перед yield return 7"); // 2 yield return 7; // 3 Console.WriteLine(padding + "Сразу после yield return 7"); // 4 Console.WriteLine(padding + "Сразу перед yield return 42"); // 5 yield return 42; // 6 Console.WriteLine(padding + "Сразу после yield return 42"); //7}

WriteLine("Вызываем GetNumbers()");IEnumerator<int> iterator = GetNumbers();

WriteLine("Вызываем MoveNext()...");bool more = iterator.MoveNext();WriteLine("Result=...", iterator.Current);

WriteLine("Снова вызываем MoveNext()...");more = iterator.MoveNext();WriteLine("Result=...", iterator.Current);

WriteLine("Снова вызываем MoveNext()...");more = iterator.MoveNext();WriteLine("Result={0} (stopping)", more);

Результат:Вызываем GetNumbers()

static IEnumerator<int> GetNumbers(){ string padding = "\t\t"; Console.WriteLine(padding + "Первая строка метода GetNumbers()"); Console.WriteLine(padding + "Сразу перед yield return 7"); yield return 7; Console.WriteLine(padding + "Сразу после yield return 7"); Console.WriteLine(padding + "Сразу перед yield return 42"); yield return 42; // 6 Console.WriteLine(padding + "Сразу после yield return 42"); }

Результат:Вызываем GetNumbers() Вызываем MoveNext()... Первая строка метода GetNumbers() Сразу перед yield return 7 Result=True; Current=7

static IEnumerator<int> GetNumbers(){ string padding = "\t\t"; Console.WriteLine(padding + "Первая строка метода GetNumbers()"); Console.WriteLine(padding + "Сразу перед yield return 7"); yield return 7; Console.WriteLine(padding + "Сразу после yield return 7"); Console.WriteLine(padding + "Сразу перед yield return 42");

yield return 42; Console.WriteLine(padding + "Сразу после yield return 42");}

WriteLine("Снова вызываем MoveNext()...");more = iterator.MoveNext();WriteLine("Result=...“, iterator.Current);

Результат:Вызываем GetNumbers() Вызываем MoveNext()... Первая строка метода GetNumbers() Сразу перед yield return 7 Result=True; Current=7 Снова вызываем MoveNext()... Сразу после yield return 7 Сразу перед yield return 42 Result=True; Current=42

static IEnumerator<int> GetNumbers(){ string padding = "\t\t"; Console.WriteLine(padding + "Первая строка метода GetNumbers()"); Console.WriteLine(padding + "Сразу перед yield return 7"); yield return 7; Console.WriteLine(padding + "Сразу после yield return 7"); Console.WriteLine(padding + "Сразу перед yield return 42"); yield return 42; Console.WriteLine(padding + "Сразу после yield return 42");}

Результат:Вызываем GetNumbers() Вызываем MoveNext()... Первая строка метода GetNumbers() Сразу перед yield return 7 Result=True; Current=7 Снова вызываем MoveNext()... Сразу после yield return 7 Сразу перед yield return 42 Result=True; Current=42 Result=False (stopping)

AsyncEnumerator. Участники

Класс AsyncEnumerator Рабочий метод, возвращающий

IEnumerator<int> Кто-то, связывающий все это

воедино

AsyncEnumerator sd AsyncEnumerator

AsyncEnumerator WorkerMethod WebRequest IO Completion

В качестве метода обработки завершения асинхронной операции передается метод класса AsyncEnumerator-а.

Теперь рабочий метод (WorkerMethod) может обработать завершенные операции и начать новые асинхронные операции.

Первый вызов MoveNext енумератора инициирует асинхронные операции.

calling to MoveNext()

WebRequest2Complete()

WebRequest1Complete()

calling toMoveNext()

Пример использования класса AsyncEnumerator

private IEnumerator<int> GetWebData(AsyncEnumerator enumerator){ // Начинаем несколько асинхронных операций WebRequest webRequest1 = WebRequest.Create(url1); webRequest1.BeginGetResponse(enumerator.End(), null);

WebRequest webRequest2 = WebRequest.Create(url2); webRequest2.BeginGetResponse(enumerator.End(), null);

yield return 2; // 2 - это количество асинхронных операций

// Сюда мы попадем уже тогда, когда все асинхронные операции завершены WebResponse webResponse1 = webRequest1.EndGetResponse(enumerator.DequeueAsyncResult()); WebResponse webResponse2 = webRequest2.EndGetResponse(enumerator.DequeueAsyncResult());

// Обрабатываем полученные результаты аналогичным образом}

Пример использования класса AsyncEnumerator

private void receiveDataButton_Click(object sender, EventArgs e){ asyncEnumerator = new AsyncEnumerator(); // AsyncEnumerator автоматически запоминает контекст синхронизации // Запускаем процесс получения данных асинхронно asyncEnumerator.BeginExecute(GetWebData(asyncEnumerator), asyncEnumerator.EndExecute);}

Библиотека TPL

Параллелизм задач Класс Parallel (Parallel.ForEach

etc) Parallel LINQ (a.k.a. PLINQ)

Ключевые классы

Task – инкапсулирует единицу работы Task<TResult> - единица работы с

определенным типом результата TaskFactory, TaskFactory<TResult> – фабрики

создания задач TaskScheduler – управляет «расписанием»

запуска задач TaskCompletionSource – управляет «временем

жизни» задачи

Класс Task<T>

Представляет собой «незавершенную операцию» или «единицу работы»

Это может быть операция ввода/вывода, операция в фоновом потоке, в выделенном потоке и т.д.

Поддерживает «продолжения» с помощью ContinueWith

var task2 = task1.ContinueWith(t => … t.Result …);

Содержит ряд вспомогательных методов: WhenAll, WhenAny etc

Примеры использования

1. Простая задачаTask.Factory.StartNew(() => Console.WriteLine("Hello from a task!"));

2. Запуск задачи в выделенном потокеTask task = Task.Factory.StartNew( () => {

Console.WriteLine("Выполняем длительную операцию"); Thread.Sleep(TimeSpan.FromHours(1)); Console.WriteLine("Длительная операция завершена");

}, TaskCreationOptions.LongRunning);

Примеры использования

3. Получение данных от веб-узлаTask<long> task = new Task<long>(() => { var webRequest = WebRequest.Create(url); using (var webResponse = webRequest.GetResponse()) { return webResponse.ContentLength; } });task.Start();task.Wait();long result = task.Result;4. Использование классического асинхронного APIvar webRequest = WebRequest.Create(url);Task<WebResponse> task = Task<WebResponse>.Factory.FromAsync( webRequest.BeginGetResponse, webRequest.EndGetResponse, null);task.Wait();var response = task.Result;

Продолжения

Task task1 = new Task(() => Console.WriteLine("Task1..."));Task task2 = task1.ContinueWith(t1 => Console.WriteLine("\tTask2..."));Task task3 = task2.ContinueWith(t2 => Console.WriteLine("\t\tTask3...")); // Запускаем цепочку задачConsole.WriteLine("Запускаем первую задачу");task1.Start();Console.WriteLine("Ожидаем завершения цепочки задач");task3.Wait();Console.WriteLine("Все задачи завершены");

Вывод:(ничего не происходит, поскольку задача еще не запущена)

Вывод:(все еще ничего не происходит, поскольку первая задача не запущена)(первой задаче установлена вторая задача в виде продолжения)

Вывод:(все еще ничего не происходит, поскольку первая задача не запущена)(Связке первых двух задач установлена третья задача в виде продолжения)

Вывод:Запускаем первую задачу

Ожидаем завершения цепочки задач

Вывод:(Выполняется первая задача)Запускаем первую задачуОжидаем завершения цепочки задач

Task1...

Вывод:(Выполняется вторая задача, поскольку первая уже завершилась)Запускаем первую задачуОжидаем завершения цепочки задачTask1...

Task2...

Вывод:(Выполняется третья задача, поскольку первая и вторая уже завершились)Запускаем первую задачуОжидаем завершения цепочки задачTask1... Task2...

Task3...

Вывод:(Выполняется третья задача, поскольку первая и вторая уже завершились)Запускаем первую задачуОжидаем завершения цепочки задачTask1... Task2... Task3...

Все задачи завершены

Модель асинхронного программирования в C# 5

Аналогична синхронной модели Построена по тому же принципу,

что и класс AsyncEnumerator Использует Task<T> для

асинхронных операций Никто не знает, когда выйдет C#

5 Сейчас доступно Async CTP

(Community Technology Preview)

Два новых ключевых слова: async – указывает, что метод или

лямбда-выражение является асинхронным

await – является аналогом yield return и возвращает сразу же управление вызывающему коду до тех пор, пока асинхронная операция не будет завершена

static async Task<long> GetWebResponseContentLength(string url){ var webRequest = WebRequest.Create(url); Console.WriteLine("Перед вызовом await-a. Thread Id: {0}", Thread.CurrentThread.ManagedThreadId); // Начинаем асинхронную операцию Task<WebResponse> responseTask = webRequest.GetResponseAsync();

// Ожидаем получения ответа WebResponse webResponse = await responseTask; Console.WriteLine("После завершения await-а. Thread Id: {0}", Thread.CurrentThread.ManagedThreadId); // В этой строке мы уже получили ответ от веб-узла // можем обрабатывать результаты. Тип возвращаемого значения // должен соответствовать обобщенному параметру класса Task return webResponse.ContentLength;}

Работа простого метода

static async Task<long> GetWebResponseContentLength(string url){ var webRequest = WebRequest.Create(url); WriteLine("Перед вызовом await-a. Thread Id: {0}"); // Начинаем асинхронную операцию Task<WebResponse> respTsk = webRequest.GetResponseAsync();

// Ожидаем получения ответа WebResponse webResponse = await respTsk; WriteLine("После завершения await-а. Thread Id: {0}");

return webResponse.ContentLength;}

WriteLine("Начало исполнения. Thread Id: {0}");

Task<long> task = GetWebResponseContentLength(url); // ожидаем завершения асинхронной операцииtask.Wait(); WriteLine("ContentLength: {0}, Thread Id: {1}");

Результаты:Начало исполнения. Thread Id: 10

Перед вызовом await-a. Thread Id: 10(Асинхронная операция запущена)

// Ожидаем получения ответа WebResponse webResponse = await respTsk; WriteLine("После завершения await-а. Thread Id: {0}"); return webResponse.ContentLength;}

Task<long> task = GetWebResponseContentLength(url); // ожидаем завершения асинхронной операцииtask.Wait(); WriteLine("ContentLength: {0}, Thread Id: {1}");

Результаты:Начало исполнения. Thread Id: 10Перед вызовом await-a. Thread Id: 10

После завершения await-a. Thread Id: 14 (Эта строка выполнится только после завершения операции)

// Ожидаем получения ответа WebResponse webResponse = await respTsk; WriteLine("После завершения await-а. Thread Id: {0}"); return webResponse.ContentLength;}

Task<long> task = GetWebResponseContentLength(url); // ожидаем завершения асинхронной операцииtask.Wait(); WriteLine("ContentLength:{0},Thread Id: {1}");

Результаты:Начало исполнения. Thread Id: 10Перед вызовом await-a. Thread Id: 10После завершения await-a. Thread Id: 14

ContentLength: 1672, Thread Id: 10

IEnumerator<T> -> async Task<T>

yield return n -> await task

Сравнение с AsyncEnumerator

Асинхронный метод может возвращать void – для асинхронных операций

типа “fire and forget” Task – вызывающий код может

дождаться завершения асинхронной операции, которая не возвращает значения

Task<T> - для асинхронной операции, возвращающей T (string для Task<string> etc)

Модель асинхронного программирования C# 5

private async void receiveDataButton_Click(object sender, EventArgs e){ Stopwatch sw = Stopwatch.StartNew(); receiveDataButton.Enabled = false; IEnumerable<Task<WebResponse>> tasks = from url in urls let webRequest = WebRequest.Create(url) select webRequest.GetResponseAsync(); // Начинаем выполнять все задачи WebResponse[] webResponses = await TaskEx.WhenAll(tasks); // Теперь мы можем обработать результаты long summaryContentLength = webResponses.Sum(s => s.ContentLength);

executionTimeTextBox.Text = sw.ElapsedMilliseconds.ToString(); summaryContentLengthTextBox.Text = summaryContentLength.ToString(); receiveDataButton.Enabled = true; foreach(var wr in webResponses) wr.Close();}

Преимущества новой асинхронной модели

Простота использования Привычный поток исполнения Простота обработки ошибок и

возможность использования конструкций using, try/finally etc

try { WebResponse[] data = await TaskEx.WhenAll(tasks); // Обработка данных}catch (WebException we) { //Обработка ошибки получения данных }

Преимущества новойасинхронной модели

Построена на основе проверенных идиом (Iterator blocks, AsyncEnumerator, Reactive Extensions)

Построена на основе TPL (преимущества от ее использования можно закладывать уже сейчас)

Что мы изучили?

Дополнительные ссылки

Visual Studio Asynchronous Programming (http://msdn.microsoft.com/en-us/vstudio/async.aspx)

Асинхронные операции и AsyncEnumerator (http://sergeyteplyakov.blogspot.com/2010/10/asyncenumerator.html)

«Реактивные расширения и асинхронные операции (http://sergeyteplyakov.blogspot.com/2010/11/blog-post.html)

Знакомство с асинхронными операциями в C# 5 (http://sergeyteplyakov.blogspot.com/2010/12/c-5.html)

Джефри Рихтер. Упрощение модели асинхронного программирования с помощью AsyncEnumerator (http://msdn.microsoft.com/ru-ru/magazine/cc546608.aspx)

Джеффри Рихтер. Дополнительные возможности AsyncEnumerator (http://msdn.microsoft.com/ru-ru/magazine/cc721613.aspx)

Дополнительные ссылки

Итераторы в языке программирования C# Часть 1: http://sergeyteplyakov.blogspot.com/2010/06/c-1.html Часть 2: http://sergeyteplyakov.blogspot.com/2010/06/c-2.html Часть 3: http://sergeyteplyakov.blogspot.com/2010/06/c-3.html

Eric Lippert. Continuation Passing Style: http://blogs.msdn.com/b/ericlippert/archive/tags/continuation+passing+style/

Reactive Extensions Official release (http://channel9.msdn.com/Blogs/Charles/Announcing-the-Official-Release-of-Rx)

Вопросы?

async

Technology

deep dive into android async operations

c# 5.0 : async

async programming-2014-08-22-pub

async navigation with a lightweight es6 framework

async programming on net

async – magična riječ za uspjeh vase aplikacije

parallel & async in c# - time cockpit · und asynchrone...

async deepdive basics

歌舞伎座.tech 1 lt - scalikejdbc async & skinny...

emacs, ui, async

todo lo que -no- querés saber · 2018-11-28 ·...

[drupalday2017] - async navigation with a lightweight es6...

async io frame

async, await

async design with unity3d

async javascript

half sync/half async

async history in .net

compose async with rxjs

about those python async concurrent frameworks - fantix @...