OpenAI 将 k8s 扩展至 7500 个节点以支持机器学习
我要评论为了满足 GPT-3、CLIP 和 DALL+ 等大型模型的需要，以及类似于神经语言模型的缩放定Op律的快速小规模迭代研究，OpenAI 将基础设施 k8s 集群扩展到 7500 各节点。
据其描述，对于大型机en器学习作业来说，一个节点通常由单个 pod 占据，并且 OpenAI 部署的集群具有二等分带宽，因此尽管其AI有许多节点，但是调度程序的压力相对较低，仅在一项新任务一次性创建数百个 pod 时会有调度压力 将。
除此之外，OpenAI 还详细说明了其在扩展 k8s 集群时的重要工作内容，比如通过改用基于别名 k的 IP 寻址来解决大量节点的联网问题，在专用节点上部署 etcd 和 API 服务器以分散负载，定位使用8s Prometheus 和 Grafana 收集指标时的 OOM 问题，设计对集群的健康检查，以及在 扩团队中合理分配集群资源等。
不过，OpenAI 也指出，在扩展 k8s 集群时，目前仍有一些问题要解展至决，比如大规模时 Prometheus 的内置 TSDB 存储引擎压缩速度过慢，并且需要很长的时间才能重 7新启动 WAL(写入预录)，以及扩展集群时，由于每个 pod 都会被计算为需要一定带宽而带来的网络带50宽压力。然而，尽管还有很多地方需要改进，但 k8s 凭借其出色的扩展能力，仍然能满足其研究需求。
本文转0 自OSCHINA
本文标题：OpenAI 将 k8s 扩展至 7500 个节点以支持机器学习
本文地址：ht个节tps://www.oschina.net/news/127949/openai-sca点以le-k8s-7500
相关文章
掘金AI基建!Lambda与微软达成数十亿美元GPU部署协议
云计算公司 Lambda 周一宣布与科技巨头 微软（Microsoft） 达成一项价值数十亿美元的人工智能基础设施协议，旨在加深双方的合作关系，共同部署大规模 AI 超级计算机。 部署数万块英伟达GP2026-11-16
云梦级6月26日云梦级消息，比亚迪法务部今日表示，持续推进网络侵权维权工作，公布比亚迪车主和网友们关心的部分案件进展。 网络账号“虎狼说车”针对比亚迪发布侮辱性、诽谤性言辞，经起诉，一审法院判决其构成2026-11-16
新浪科技讯 北京时间4月1日下午消息，据日本共同社报道，日本经济产业省把亚马逊日本、谷歌、苹果3家美资公司以及乐天集团、雅虎2家日本公司指定为管制IT巨头新法的适用对象。该法规定上述企业有义务公开合同2026-11-16
云梦级3月27日云梦级消息，招商证券3月28日发布2025年年报显示，公司全年实现营业收入249.72亿元，同比增长19.53%；归母净利润123.50亿元，同比增长18.91%；扣非归母净利润1222026-11-16
谷歌携手印度信实Jio 推出Gemini Pro AI免费套餐 助力数百万用户拥抱先进AI
谷歌与印度信实工业集团旗下电信巨头Jio今日宣布战略合作，将其尖端人工智能技术引入印度市场。符合条件的Jio用户将免费获得为期18个月的Google AI Pro套餐，该套餐价值约合3.51万卢比（约2026-11-16
云梦级3月31日云梦级消息，30日，全球智能机器人引领者极智嘉（2590.HK）发布2025年度业绩报告。凭借领先的具身智能+AI技术与全球化业务扩张，公司于报告期内实现营收、利润、现金流全面突破，树2026-11-16
最新评论