当前位置: 首页 > 科技资讯 > 腾讯开源混元DiT文生图模型新版本:6G显存轻松驾驭,打标工具同步开放

腾讯开源混元DiT文生图模型新版本:6G显存轻松驾驭,打标工具同步开放

发布时间:2024-07-28 10:10:14 作者:电子资源网 阅读:9次

近日消息,腾讯宣布其先进的文生图大模型——混元DiT,已正式开源其优化后的小显存版本。这一版本经过精心设计,只需6GB的显存便能流畅运行,极大地降低了硬件门槛,使得更多个人开发者和小型团队能够在自己的PC上进行模型部署和创新实验。

腾讯开源混元DiT文生图模型新版本:6G显存轻松驾驭,打标工具同步开放

此外,腾讯宣布混元文生图打标模型“混元 Captioner”正式对外开源。该模型支持中英文双语,针对文生图场景进行专门优化,可帮助开发者快速制作文生图数据集。

腾讯混元 DiT 模型升级

腾讯混元 DiT 模型宣布了三大更新:推出小显存版本与 Kohya 训练界面,并升级至 1.2 版本,进一步降低使用门槛的同时提升图片质量。

基于 DiT 架构的文生图模型生成图片质感更佳,但对显存的要求却非常高,混元 DiT 因此推出小显存版本,最低 6G 显存即可运行优化推理框架,对使用个人电脑本地部署的开发者比较友好。

经过与 Hugging Face 合作,小显存版本、LoRA 与 ControlNet 插件,都已经适配到 Diffusers 库中。开发者无需下载原始代码,仅用三行代码仅可调用,简化了使用成本。

同时,混元 DiT 宣布接入 Kohya,让开发者可以低门槛地训练专属 LoRA 模型。

Kohya 是一个开源的、轻量化模型微调训练服务,提供了图形化的用户界面,被广泛用于扩散模型类文生图模型的训练。

用户可以通过图形化界面,完成模型的全参精调及 LoRA 训练,无需涉及到代码层面的细节。训练好的模型符合 Kohya 生态架构,可以低成本与 WebUI 等推理界面结合,实现一整套“训练-生图”工作流。

混元 Captioner

在提升模型易用性的同时,腾讯混元团队最新开源了打标模型 —— 混元 Captioner。

借助打标模型,开发者可以快速生成数据集。具体来说,文生图开发者将原始图片集导入混元 Captioner,后者将生成标注;也可以导入图片与原始描述,利用混元 Captioner 过滤其中的无关信息,并完善和优化图片描述,以提高数据质量。

目前,业界对于图片描述文本的生成,主要使用通用多模态 Captioner 模型,存在描述过于简单或繁琐(与画面描述的无关信息过多)、缺少背景知识导致无法识别知名人物和地标等问题,并且许多模型并非中文原生,中文描述不够精准。

Captioner 模型号称针对文生图场景专门进行优化:

构建了结构化的图片描述体系;

在模型层面,通过注入人工标注、模型输出、公开数据等多种来源提升 Caption 描述的完整性;

注入知名文学作品形象、地标、食物、动物、中国元素与知识等背景知识。

腾讯分布式新能源微电网实现并网发电,足以为6000户家庭全年供电

今日(1月5日)消息,腾讯官方宣布,天津高新云数据中心分布式新能源微电网项目于今日正式并网发电!

腾讯分布式新能源微电网实现并网发电,足以为6000户家庭全年供电

这是天津最大规模的IDC微电网光伏项目,总装机容量达10.54兆瓦,年产零碳绿电量1200万度,相当于6000个家庭一年的用电量。

数据中心一直是耗电大户,尤其是AI浪潮下对电力的需求急剧增加。

2023年,腾讯自发新能源装机量超过32兆瓦,比上年翻番。

目前,腾讯的总装机量已经超过50兆瓦,年发电量6000万度,相当于3万个家庭一年的用电量。

腾讯分布式新能源微电网实现并网发电,足以为6000户家庭全年供电

腾讯分布式新能源微电网实现并网发电,足以为6000户家庭全年供电

其实,太阳能板发的是直流电,而数据中心需要交流电,必须配备电力转换设备,而且服务器需要24小时不间断运行,对电力稳定性要求极高,不能存在谐波、电磁干扰等。

为此,腾讯在天津高新云数据中心引入了滤波和抑制技术,让粗糙的光伏电变得更加“细腻”。

为了应对新能源的波动性,腾讯在天津高新云数据中心还建起了小型储能设备。

它可以在用不完的时候能把富余的电力暂存起来,遇到突发状况可提供短时电力供应,在社会用电高峰期多使用储能系统电力。

此外,腾讯还引入了AI能源优化,通过机器学习,空调该关的关掉,该开大的开大,还可以实时接收并处理各种能源数据,并智能预测未来用电量、发电量。

这就是腾讯正在打造的“分布式新能源微电网”系统。

腾讯分布式新能源微电网实现并网发电,足以为6000户家庭全年供电

腾讯分布式新能源微电网实现并网发电,足以为6000户家庭全年供电

2022年,腾讯还参加了国内首次市场化绿电交易,2024年签约绿电采购量超过13亿度,比2023年翻番。

目前,绿电在腾讯自有数据中心的年度用电量中的占比已经达到54%,自建大园区绿电比例达到71%。

腾讯分布式新能源微电网实现并网发电,足以为6000户家庭全年供电

腾讯与米哈游强强联合,网易面临前所未有的挑战

在游戏行业风云变幻的当下,两大巨头腾讯与米哈游的一纸合作协议,犹如一颗重磅炸弹投入市场,引起了业界的广泛关注与讨论。

腾讯与米哈游强强联合,网易面临前所未有的挑战

这份合作协议不仅标志着双方在游戏开发与发行领域迈出了更为紧密的一步,同时也预示着网易等竞争对手或将面临前所未有的挑战。

腾讯,作为中国乃至全球游戏行业的领军企业,其游戏产品覆盖多个平台,拥有庞大的用户基础与雄厚的资金实力。

而米哈游,则以其创新的游戏设计理念及高质量的游戏内容,在短时间内迅速崛起,特别是《原神》的推出,不仅在国内市场大获成功,更在全球范围内收获了极高的人气与口碑。

此次腾讯与米哈游的强强联合,无疑是两大品牌优势资源的深度融合,有望在游戏开发技术、市场推广、用户流量等方面产生巨大的协同效应,从而进一步巩固其在游戏市场的领先地位。

而对于网易而言,这一消息无疑是一记重锤。网易作为国内游戏行业的另一重要参与者,近年来虽亦推出了多款备受欢迎的游戏作品,但面对腾讯与米哈游的合作,其市场份额与影响力可能受到冲击。

网易的游戏生态体系虽相对完善,但在与两大巨头的竞争中,如何保持自身特色,吸引并留住玩家,将成为其必须面对的关键问题。

腾讯与米哈游的合作,不仅是一场商业上的联姻,更是游戏行业格局重塑的信号。它提醒所有从业者,创新与合作的重要性,在日益激烈的市场竞争中,只有不断突破自我,才能在游戏这片红海中立于不败之地。

而对于玩家来说,这场巨头间的博弈,或许将带来更多的优质游戏作品,让游戏世界更加丰富多彩。

网易作为游戏行业的老将,其应对策略与后续动作无疑将备受瞩目。在腾讯与米哈游的挑战面前,网易能否化压力为动力,持续输出高品质的游戏内容,保持其市场竞争力,将是对网易综合实力的一次重大考验。

无论结果如何,这场行业内的较量,都将为游戏爱好者们带来一场视觉与体验的双重盛宴。

腾讯暂停研发《原神》 旗舰游戏成创作困局

据雪豹财经社报道,腾讯内部对标《原神》的产品陷入难产,此前宣布的旗舰级游戏项目“登月计划”暂停研发。

据雪豹财经社报道,腾讯的《原神》陷入难产,“登月计划”旗舰游戏暂停研发

雪豹财经社表示腾讯旗下天美工作室已于近期暂停研发一款对标《原神》的游戏项目(内部代号:NXS),整个团队目前已转向另一个二次元游戏项目,原项目负责人贺甲也已转岗。

NXS的初衷是一款3A级别的二次元开放世界游戏,在腾讯内部十分受重视,属于“登月计划”之一。一名接近该项目的人士称,腾讯一直视NXS为旗舰游戏,天美承诺给贺甲上亿美元的预算投入,而本作将采用虚幻5引擎进行开发,而开发难度太大,进度不及预期,是项目暂停的主要原因。

登月计划是腾讯内部对研发中的旗舰级游戏项目的称呼。腾讯高级副总裁马晓轶曾公开表示,腾讯内部有数个登月项目,“希望用5-8年时间,做出和GTA、《赛博朋克2077》同一水准的产品”。

渝ICP备20008086号-14 违法和不良信息举报/未成年人举报:dzjswcom@163.com

CopyRight©2003-2018 违法和不良信息举报(12377) All Right Reserved