Параллельные методы суперкомпьютерных вычислений
Игорь Николаевич Коньшин (ИВМ РАН)
Очные занятия: пятница 15:30-18:30 в 324а ЛК: 4-й курс 15:30-18:30, 5-й курс 15:30-18:30
(лекции и практика на кластере ИВМ РАН)
Для записи на наш курс отправьте письмо по адресу, указанному в списке студентов нашей объединенной группы >>>здесь<<<.
Проспект курса (pdf) и общий обзор курса (pdf).

Структура курса:
- Теоретическая часть: классификация суперкомпьютеров, параллельные компьютеры с общей и распредененной памятью, OpenMP и MPI, оценка параллельной эффективности, статический и динамический параллелизм, открытое ПО и коммерческие пакеты
- Практика на кластере ИВМ РАН
- Выполнение практических заданий
- Реализация на суперкомпьютере выбранного алгоритма (или подготовка доп. лекции)
- Получение зачета/экзамена

12.04.2024:
Параллельная эффективность алгоритмов математической физики. Явные и неявные методы. Уточнение оценок. Параллельная реализация игры "Жизнь"

05.04.2024:
Продолжение...

29.03.2024:
Продолжение...

22.03.2024:
MPI: Оценка параллельной эффективности вообще и для линейной алгебры в частности.
Почему получается разное ускорение для разных операций и разных компьютеров? (pdf).

15.03.2024:
MPI: Неблокирующие и прочие обмены.

08.03.2024:
Праздник = выходной

01.03.2024:
MPI: Продолжение.

23.02.2024:
Праздник = выходной

16.02.2024:
MPI: Блокирующие обмены. Примеры распаралеливания. Такое же почему?

09.02.2024:
OpenMP: Примеры распаралеливания. Почему получается разное ускорение для разных операций? (pdf).

02.02.2024:
Общий обзор курса (pdf).
Практика: кластер ИВМ РАН (pdf).
Программирование в системах с общей памятью: OpenMP. Оценка ускорения: закон Амдала

Список файлов:
*) список студентов нашей объединенной группы (здесь)
1) короткий тест-викторина из 10 вопросов (..)
2) теоретическая задача и устные вопросы для зачета/экзамена (..)
3) список практических заданий (здесь)
+) список дополнительных лекций для получения оценки автоматом (здесь)

Литература:
[1-2] - теория параллельных вычислений и некоторые альтернативные мысли
[3-4] - справочники по OpenMP и MPI
[5-7] - оценка параллельной эффективности
[8-9] - параллельная программная платформа INMOST
[10-12] - описания некоторых примеров из практического задания
[13-...] - для экспертов при подготовке дополнительных лекций

[1] В.В.Воеводин, Вл.В.Воеводин, Параллельные вычисления, СПб, 2002, 602 с. (pdf)
[2] Г.В.Байдин, О некоторых стереотипах параллельного программирования, ВАНТ, Матем. модел. физ. проц., 2008, No.1, 67-75. (pdf)

[3] А.С.Антонов, Параллельное программирование с использованием технологии OpenMP, МГУ, Москва, 2009 (pdf)
[4] А.С.Антонов, Параллельное программирование с использованием технологии MPI, МГУ, Москва, 2004 (pdf)

[5] G.M.Amdahl, Validity of the single processor approach to achieving large scale computing capabilities. AFIPS, 1967. (pdf - закон Амдала)
[6] И.Н.Коньшин, Модели параллельных вычислений для оценки реального ускорения исследуемого алгоритма. Труды международной конференции: Суперкомпьютерные дни в России, М.: Изд-во МГУ, 2016, 269-280. (pdf)
[7] И.Н.Коньшин, Оценка эффективности алгоритмов математической физики для компьютеров с распределенной памятью. Труды международной конференции: Суперкомпьютерные дни в России, М.: Изд-во МГУ, 2018, 183-194. (pdf)

[8] INMOST - Параллельная платформа для распределенного математического моделирования. http://inmost.org/
[9] Ю.В.Василевский, И.Н.Коньшин, Г.В.Копытов, К.М.Терехов, INMOST - программная платформа и графическая среда для разработки параллельных численных моделей на сетках общего вида. Изд-во Московского университета, Москва, 2013, 144 c. (pdf)

[10] С.Д.Тулебаев, Параллельное программирование с использованием технологии MPI, 2010, 60 с. (pdf)
[11] И.Е.Федотов, Некоторые приемы параллельного программирования, МГИРЭА, Москва, 2008, 188 с. (pdf)
[12] В.Д.Корнеев, Параллельное программирование в MPI, Новосибирск, 2002 (pdf)

[13] MPI Forum. MPI standards efforts: from 2.0 to 4.0 (mpi-forum.org)
[14] Э.Уильямс, Параллельное программирование на C++ в действии. ДМК, Москва, 2012, 672 с. (pdf)
[15] Дж.Закконе, Книга рецептов параллельного программирования на Python, 2019. (html)
[16] Куан Нгуен, Полное руководство параллельного программирования на Python, 2018. (html)

Список материалов будет пополняться по ходу лекций...

Справочные файлы для работы на кластере ИВМ РАН находятся здесь: http://cluster2.inm.ras.ru/~student/yy-xxx.
Официальный краткий рекламный текст нашего курса находится здесь.