6月27日消息，加州大学圣克鲁兹分校的科研团队近日宣布了一项革命性进展，他们研发的创新AI算法仅需13瓦特电力即可驱动拥有十亿参数的复杂语言模型，这一能耗水平堪比日常使用的LED灯泡。相比之下，目前数据中心广泛采用的GPU在执行相似的大规模语言模型运算任务时，平均耗电量高达700瓦特。
AI 浪潮下很多公司、机构的研究主方向是应用、推理方面，很少考虑效率等指标。该研究人员为缓解这种状况，淘汰了矩阵乘法的密集型技术，提出了“三元数”方案，只有负一、零或正一三个数值。
团队还使用一种名为现场可编程门阵列（FPGA）的高度定制电路创建了定制硬件，让他们能够最大限度地利用神经网络中的所有节能功能。
在定制硬件上运行时，可以达到与 Meta 的 Llama 等顶级模型相同的性能，但神经网络功率是常规配置的五十分之一。
该神经网络设计还可以用于在人工智能行业常用的标准 GPU 上运行，测试结果显示，与基于矩阵乘法的神经网络相比，显存占用仅为十分之一。
新闻阅读
40MB
生活休闲
85.20MB
18.74MB
社交通讯
18.45MB
1.50MB
便携购物
61.48MB
影音播放
25.37MB
0KB
休闲益智
20MB
模拟经营
14.51MB
角色扮演
133.27MB
20.19MB
5.66MB
48.36MB
150.98MB
飞行射击
24MB
12.46MB
渝ICP备20008086号-14 违法和不良信息举报/未成年人举报：dzjswcom@163.com
CopyRight©2003-2018 违法和不良信息举报（12377） All Right Reserved
革新AI算法面世：能耗低至常规水平5%，显存需求缩减至十分之一
6月27日消息，加州大学圣克鲁兹分校的科研团队近日宣布了一项革命性进展，他们研发的创新AI算法仅需13瓦特电力即可驱动拥有十亿参数的复杂语言模型，这一能耗水平堪比日常使用的LED灯泡。相比之下，目前数据中心广泛采用的GPU在执行相似的大规模语言模型运算任务时，平均耗电量高达700瓦特。
AI 浪潮下很多公司、机构的研究主方向是应用、推理方面，很少考虑效率等指标。该研究人员为缓解这种状况，淘汰了矩阵乘法的密集型技术，提出了“三元数”方案，只有负一、零或正一三个数值。
团队还使用一种名为现场可编程门阵列（FPGA）的高度定制电路创建了定制硬件，让他们能够最大限度地利用神经网络中的所有节能功能。
在定制硬件上运行时，可以达到与 Meta 的 Llama 等顶级模型相同的性能，但神经网络功率是常规配置的五十分之一。
该神经网络设计还可以用于在人工智能行业常用的标准 GPU 上运行，测试结果显示，与基于矩阵乘法的神经网络相比，显存占用仅为十分之一。
新闻阅读
40MB
生活休闲
85.20MB
生活休闲
18.74MB
社交通讯
18.45MB
生活休闲
18.74MB
新闻阅读
1.50MB
便携购物
61.48MB
影音播放
25.37MB
生活休闲
0KB
休闲益智
20MB
模拟经营
14.51MB
角色扮演
133.27MB
休闲益智
20.19MB
角色扮演
5.66MB
模拟经营
48.36MB
角色扮演
150.98MB
飞行射击
24MB
模拟经营
12.46MB