MPI Introduction

Commnuication Methods

MPI API

Point-to-Point Communication

同一个程序，通过分支判断在不同的机器上跑，下面不同分支中的x是不一样的，通过MPI接口进行沟通。

Collective Commnuication Routines: 集体通信

Group and Commnuicator Management Routines

MPI-IO

An HPC platform’s I/O subsystems are typically slow as compared to other part. I/O gap between memory speed and average disk access stands at roughly 10^-3

数据存储在分布式文件系统，如果集群的所有节点都调用带有读权限的fopen()，分布式文件系统是不允许的。一个解决方案是把文件拆成很多份，每个节点读其中一份。但是这样也会带来很多其它问题。