并行系统练习题&答案

发布时间 2023-10-10 05:39:17作者: Offer多多

问题:

  1. 以下互连拓扑的优点和缺点是什么:二维网格、二叉树和超立方体。
  2. 注意:最好在 MPI 讲座之后做问题 2B;该问题将在那里重复并进行讨论。
    一些并行机包含具有不同拓扑的多个网络。例如,Blue Gene 有一个具有 3D 网状拓扑的网络和另一个具有树形拓扑的网络。
    1. 解释为什么在一台机器上拥有不同的网络很有用。
    2. 假设您要在 IBM Blue Gene 机器上实现 MPI 库。如何利用这台机器的不同网络来高效地实现MPI中的不同通信机制?
  3. 描述 NUMA 多处理器和分布式共享内存之间的相似点和一个关键区别。

答案:

问题 1(拓扑):

超立方体具有极佳的直径(对数)和最佳的平分宽度(维数N的指数),但其边数随着维数的增加而增加,使其在实践中难以构建。二叉树还具有出色的(对数)直径,但二分宽度非常差(为 1)。网格具有合理的直径和二等分宽度。

问题2(Blue Gene):

a) 网格具有更好的二分宽度,树具有更好的直径(log(P) 与 sqrt(P)),因此这取决于应用程序,哪一个最好。

b) 将在“消息传递”模块中讨论

问题 3(NUMA/DSM):

在DSM和非统一内存访问(NUMA)多处理器中,内存都是分布式的,每台机器都可以访问所有内存,但本地内存的访问速度比其他内存要快。DSM是软件,NUMA是硬件;因此,DSM 的本地/远程访问时间之间的差异比 NUMA 的差异要大得多。