一个新项目让人想起旧的 Xgrid 时代,它通过 Thunderbolt 电缆将 Mac Studio 连接在一起,并将它们串联起来用于大规模并行计算任务。
很久以前,我参与了集群计算,并协助在弗吉尼亚州进行了一些以 Mac 为中心的集群构建。在 Apple 提供的 Xgrid 即将结束时,我还使用米色 G3 主板构建了一个 Xgrid 集群。你知道,只是因为我可以。
虽然企业和联邦政府资助的 Xgrid 相当不错,但自建项目却相当简陋且脆弱。苹果的 Xgrid 在极其特殊的情况下工作得很好,但在这些情况之外就很糟糕了。
Mac Studio 集群确实因问题规模而大放异彩。要利用组合 GPU,请转变您的思维:明智地选择批量大小和数据集划分(块与交错)。在 2 MS 上训练大型 MLP 的速度提高了 2 倍 @awnihannun @angeloskath pic.twitter.com/P8NpPRt6TG
— 斯塔夫罗斯·卡西诺斯 (@KassinosS) 2024 年 6 月 15 日
然而,一个名为 MLX 的新项目使用 Mac 和 Thunderbolt 网络似乎比这顺利得多。更好的是,它使用标准的 MPI 分布式计算方法。
该项目的安装相当复杂,Xgrid 的安装也是如此。新项目有一台主机,以及尽可能多的工作 Mac,使用 Thunderbolt 4 电缆直接连接到主机。这在主机和工作人员之间提供了极高速的通信。
假设还启用了屏幕共享,工作计算机可以是无头的,选择自动登录。网络是手动配置的。
通过 HomeBrew 使用 Open-MPI 安装计算软件。接下来安装 MLX 项目存储库。完整的故障排除和配置超出了本文的范围,但这是您开始时需要执行的操作的概述。
与任何大规模并行计算一样,跨设备的扩展并不是完全线性的。一个测试集群由三个节点组成,处理单个问题的速度比单个 Mac Studio 快 2.9 倍。
我配置大规模并行系统的日子早已结束。我现在需要与一些帮助我完成高端专业硬件审查的人一起做的任何工作都在预先存在的网格上。它们都有由别人决定的参数和配置事项。
如果我没记错的话,我最后一次使用 MPI 是大约二十年前的版本 2。 MPI 论坛成员目前正在评估版本 4.2 和 5,所以我的时间已经过去了。
因此,我将大部分研究和执行工作留给读者。然而,一组 Mac Studio 可以轻松运输,装在一个像行李袋一样小的包装中,具有节能和热效率,并且可以使用 iPad 作为屏幕。
而且,配置相邻办公桌上已有的工作机器以创建临时集群看起来很容易。如果您愿意,您可以使用 Thunderbolt 将最多六名 Apple Silicon Mac 工作人员连接到 M1 Ultra 或 M2 Ultra Mac Studio 主机。
显然,从尺寸和功率的角度来看,Mac Studio 是最佳选择。从预算的角度来看,这可能不是最好的。
我会关注这个项目。也许是时候回到这样的事情了。
在 Google 新闻上关注我们
免责声明
部分内容(图片、文章)翻译/转载自国内外资讯/自媒体平台。文中内容不代表本站立场,如有侵权或其它,请联系 macmao.com@gmail.com,我们会第一时间配合删除。(转载请注明来源自:www.macmao.com)