当前位置: 首页 > 科技资讯 > 英伟达启动AI代工新纪元,联手Meta开源Llama 3.1,为企业量身打造“超级模型”部署方案

英伟达启动AI代工新纪元,联手Meta开源Llama 3.1,为企业量身打造“超级模型”部署方案

发布时间:2024-07-28 22:05:35 作者:电子资源网 阅读:2次

7月24日消息,英伟达公司宣布正式启动“NVIDIA AI Foundry”晶圆代工服务,以及“NVIDIA NIM”推理微型服务,标志着英伟达在人工智能和半导体制造领域迈出重要一步,为企业客户提供更强大的AI解决方案与云端推理能力支持。

英伟达启动AI代工新纪元,联手Meta开源Llama 3.1,为企业量身打造“超级模型”部署方案

“NVIDIA AI Foundry”代工服务

英伟达表示客户可以使用 Meta 的 Llama 3.1 AI 模型,以及英伟达的软件、计算和专业知识,为特定领域定制构建“超级模型”。

客户可以利用专有数据、由 Llama 3.1 405B 和英伟达 Nemotron Reward 模型生成的合成数据来训练这些“超级模型”。

NVIDIA AI Foundry 由 NVIDIA DGX™ Cloud AI 平台提供支持,该平台与世界领先的公共云共同设计,为企业提供大量计算资源,并可根据 AI 需求的变化轻松扩展。

NVIDIA AI Foundry 包括 Nemotron 和 Edify 等英伟达创建的 AI 模型、流行的开放式基础模型、用于定制模型的 NVIDIA NeMo™ 软件,以及 NVIDIA DGX™ Cloud 上的专用容量(由 NVIDIA AI 专家构建并提供支持)。

输出结果由 NVIDIA NIM(一个推理微服务,其中包括定制模型、优化引擎和标准 API)负责,可以部署到任何地方。

NVIDIA NIM 推理微服务

注:NVIDIA NIM 是一套加速推理微服务,允许企业在云计算、数据中心、工作站和 PC 等任何地方的 NVIDIA GPU 上运行 AI 模型。

通过使用行业标准的 API,开发人员只需几行代码就能利用 NIM 部署人工智能模型。NIM 容器无缝集成 Kubernetes(K8s)生态系统,可以高效地协调和管理容器化人工智能应用。

欧盟警示:英伟达AI芯片供应链遭遇“重大障碍”,技术与市场双重挑战浮现

近日消息,欧盟委员会竞争事务专员玛格丽特·维斯塔格公开表达了对英伟达(NVIDIA)AI芯片供应链状况的深切担忧。维斯塔格专员指出,英伟达AI芯片的供应正面临“巨大瓶颈”,这一状况不仅限制了相关技术的广泛应用,也可能引发市场失衡,阻碍数字经济的健康发展。

欧盟警示:英伟达AI芯片供应链遭遇“重大障碍”,技术与市场双重挑战浮现

“我们已经向他们提出了一些问题,但还处于非常初步的阶段,”她在访问新加坡期间告诉彭博社,目前这还“不足以”成为监管行动的依据。

自从成为 AI 支出热潮的最大受益者以来,英伟达一直受到监管机构的关注。因为能够处理开发 AI 模型所需的海量信息,英伟达的 GPU 备受数据中心运营商青睐。报道指出,这些芯片已成为科技界最热门的商品之一,云计算提供商为了获得这些芯片而相互竞争。

数据显示,英伟达的 H100 处理单元供不应求,助力英伟达拿下超过 80% 的 AI 计算市场份额,领先于竞争对手英特尔和 AMD。

维斯塔格认为,在面临供应紧张状况同时,AI 芯片供应的二级市场可能有助于激发创新和公平竞争。但她也表示,未来占据主导地位的公司可能会面临某些行为限制。

“如果公司在市场上处于主导地位,有些事情你是不能做的,而小公司可以。”她说,“但除此之外,只要你好好经营业务并尊重规则,那就没问题。”

据此前报道,英伟达全新 GB200 系列 AI 芯片供不应求,英伟达向台积电追加先进制程投片量后,上月又向后段封测厂追单,日月光、京元电第四季度相关订单量将环比增长一倍。

英伟达RTX 4070 10GB原型显卡:160bit显存与AD104-275 GPU背后的秘密

7月16日消息,英伟达在开发RTX 4070显卡的过程中,确实探索了多种配置选项,其中就包括一种配备10GB GDDR6X显存的版本。

英伟达RTX 4070 10GB原型显卡:160bit显存与AD104-275 GPU背后的秘密

然而,最终推向市场的RTX 4070选择了12GB GDDR6X显存和192bit的接口,这表明英伟达在综合考虑性能、成本和市场需求后,认为12GB的显存版本能够提供更好的用户体验。

闲鱼用户分享了一组 RTX 4070 10GB 原型卡的 GPU-Z 截图和实拍照,让我们有机会看到这款废弃方案的最初样貌。

GPU-Z 显示,这款显卡采用了 AD104-275 GPU,其中禁用了 AD104 芯片上的六个 32bit 内存控制器,因此仅保留了 160bit 的位宽,加上五个 2GB GDDR6X 显存芯片共 10GB 容量(18 Gbps)。

结果就是,这款显卡带宽和容量严重受限,带宽仅为 420 GB/s,相比现有 RTX 4070(2023 年 4 月推出)低 16.7%。

相对地,这款 10GB 原型卡提供了更多 CUDA 核心来弥补 VRAM 和带宽的不足,GPU-Z 显示它拥有 7168 个 CUDA 核心,比普通 RTX 4070 多 1280 个,刚好与后来推出的 RTX 4070 Super 数量相同。

此外,这款原型卡的 PCB 板上有着八个内存焊接位置,这说明英伟达当时很可能为其引入了 AD103(RTX 4080)板的参考设计。

英伟达海外促销:购40系列显卡免费赠送《黑神话:悟空》

英伟达宣布了一项海外促销活动,为购买RTX 40系列显卡及其搭载设备的消费者送上福利。自7月9日至8月19日,凡在指定零售商购买RTX 40系列桌面显卡(如RTX 4090、RTX 4080系列、RTX 4070系列)或相应移动端显卡(适用于高端笔记本)的用户,均可免费获得Steam版《黑神话:悟空》游戏兑换码。

英伟达海外促销:购40系列显卡免费赠送《黑神话:悟空》

《黑神话:悟空》将于8月20日发售,登陆PC平台(Steam/Epic/WeGame)和PS5。玩家将扮演一位“天命人”,为了探寻昔日传说的真相,踏上一条充满危险与惊奇的西行之旅。

渝ICP备20008086号-14 违法和不良信息举报/未成年人举报:dzjswcom@163.com

CopyRight©2003-2018 违法和不良信息举报(12377) All Right Reserved