在轻薄本上体验生成式AI和大语言模型 英特尔给出的答案是肯定的
时间:2023-08-19 10:55:34来源:中关村在线


(资料图片)

现阶段AI应用有两个离不开,一个是离不开网络,不少AI应用的计算过程是在云端进行的,无法脱离网络;另一个是离不开强大的算力,比如生成式AI,往往依赖规格很强的显卡。这两个离不开也意味着,大家很难在移动设备上体验到AI所带来的便利。不过英特尔却表示,这些都可以在搭载了英特尔酷睿处理器和锐炫显卡的PC上得到支持,包括便携性极强的轻薄本。

那么,英特尔是如何做到的?我们从开篇提到的两个离不开说起。

依赖云的代表就是大语言模型了,如何把大语言模型从云端搬到本地,英特尔先优化了模型,降低了模型对于硬件的要求。然后通过第13代酷睿的XPU加速、low-bit量化和其他层面的优化,实现了160亿参数的大语言模型。然后通过BigDL-LLM框架,让其可以在内存容量为16GB及以上的笔记本上运行。

从实际的演示效果来看,即使是轻薄本,运行大语言模型的效率还是非常不错的,速度完全不会影响到阅读,满足使用是没有问题的。如此出色的表现,在PC个人助理等方面有着非常不错的应用前景。

依赖强算力的代表就是Stable Diffusion了,英特尔的做法是,除了依靠本身不错的硬件外,还与AI社区构建软件生态。英特尔积极拥抱AI社区,在OpenVINO PyTorch后端方案的基础上,通过Pytorch API让开源模型可以在英特尔的处理器、显卡(集成和独立)和专用AI引擎上运行。

目前已经通过这种方式,实现了Stable Diffusion的Automatic1111 WebUI的运行。它可以在搭载英特尔处理器和独显的PC上运行FP16精度模型。从现场演示的效果来看,生成一张512x512的图片,2-3秒钟就可以完成,效率还是比较可观的。

在文字生成图片、图片生成图片和图片修复等方面,这项功能的实用性非常强。

通过构建生态和模型优化,再加上本身英特尔酷睿处理器和锐炬显卡的强大性能,英特尔实现了在个人PC上运行大语言模式和生成式AI,并且实际效果超出预期,可用性非常不错。这也意味着,未来越来越多AI场景都可以在个人PC上落地,不仅仅是在台式机上,包括更加便携的轻薄本等设备上。在AI的辅助下,个人PC的使用体验将会迎来革命性的进步。

标签:

最新
  • 在轻薄本上体验生成式AI和大语言模型 英特尔给出的答案是肯定的

    现阶段AI应用有两个离不开,一个是离不开网络,不少AI应用的计算过程是

  • 电脑集成显卡坏了 集成显卡坏了怎么办

    1、先看一下有没有AGP或PCI-E显卡插槽,有的话,再买个独立显卡安装上

  • 犯绑架罪怎么量刑?

    根据《刑法》第239条的规定来看,犯绑架罪的一般是对行为人判10年以上

  • 再融资风向骤紧:年内31个项目终止 超去年全年

    21世纪经济报道记者杨坪深圳报道再融资风向近期引起市场广泛关注。近日

  • 罗智强曝遭民进党查水表 老狗变不出新把戏

    台湾民众党新竹市长高虹安遭台北地检署以贪污罪起诉,中国国民党2024“

  • 深圳AR眼镜品牌叶木科技获数百万种子轮融资

    每经AI快讯,8月15日,记者获悉,AR眼镜品牌叶木科技于近日完成了数百

  • 小学生研究基因获全国大奖引质疑 父母是研究所人员!

    7月12日,一则云南省昆明市盘龙小学六年级学生陈某石通过研究突变基因

  • 体谈

    原标题:体谈亚运会8月14日,杭州亚运会门票开启实时销售,首批共上架2

  • 今年高考那个用脚答题的女孩,被录取了!

    海口“折翼”女孩廖玉婷用脚答题完成了今年的高考近日她被海南工商职业

  • 乐高积木拼搭图(乐高积木拼装图纸大全)

    来为大家解答以上的问题。乐高积木拼搭图,乐高积木拼装图纸大全这个很

  • 国泰君安:股票指数横盘震荡,大跌之后下行有底

    国泰君安证券研报消息,大跌之后下行有底,震荡底部不必过虑。近期市场

  • 红烧牛肉的做法(红烧牛肉的做法窍门)

    你们好,最近小活发现有诸多的对于红烧牛肉的做法,红烧牛肉的做法窍门

  • 导弹为什么这么准,导弹为什么能追上战机

    1979年12月13日,美国海军成功地发射了一枚三叉戟Ⅰ式导弹。这枚三叉戟

  • 浏阳集里开展暑期多彩文化实践 丰富孩子精神世界

    为满足青少年的暑期实践需求,帮助青少年健康快乐成长,增进孩子们对健

  • 灌南新安镇:用好“楼栋长”赋能“微治理”

    近年来,灌南县新安镇在抓好基层社会治理工作中,坚持党建引领,依托“

  • 专访:用镜头捕捉中国保护生物多样性的故事——访英国知名动物摄影家蒂姆·弗拉赫

    新华社伦敦8月1日电专访:用镜头捕捉中国保护生物多样性的故事——访英

  • 旅游
    • 雄伟!玉林北站雏形初现!

    • 江西科技师范大学召开外聘人员队伍调整优化工作协调会

    • 懒人必备一周穿搭!7套小裙子美翻了!

    • wlk坐骑宏飞行坐骑和陆地坐骑切换 魔兽世界怎么将飞行坐骑陆地坐骑和水下坐骑做宏就是那种自动