清华团队再获突破!研制出全球首款多阵列忆阻器存算一体系统能效比GPU高两个数量级

有很多童鞋可能不知道忆阻器是什么?在开始今天的话题之前,雷锋网编辑先为大家普及下忆阻器是什么。

所谓忆阻器,全称记忆电阻器(Memristor),是继电阻、电容、电感之后的第四种电路基本元件,表示磁通与电荷之间的关系,这种组件的的电阻会随着通过的电流量而改变,而且就算电流停止了,它的电阻仍然会停留在之前的值,直到接受到反向的电流它才会被推回去,等于说能“记住”之前的电流量。

2012年4月至2012年6月,任内蒙古自治区通辽市交通运输局党组书记

曹文敏,男,汉族,1963年2月出生,大学学历,通辽市开鲁县人,1989年5月加入中国共产党,1983年8月参加工作。

2020年22日0-24时,全市确诊病例增加541例,全市新增出院病例965例,新增死亡病例82例,新增疑似病例454例。

1983年8月至1984年7月,在内蒙古自治区开鲁县家畜改良工作站工作

2018年,李锦军接棒,成为青海银行新董事长。从年报看,2019年该行局面有所改善,净利润实现增长,不良贷款压降成效显著。

1991年3月至1992年9月,任内蒙古自治区开鲁县三棵树乡人民政府乡长

利用混合训练方法得到 mCNN

2016年2月至2020年3月,任内蒙古自治区通辽市委常委、科尔沁区委书记

除了使用不同卷积核对共享输入执行并行卷积外,忆阻器阵列还复制了多个相同卷积核,以并行处理不同的输入。相较于当前最优的图形处理器(GPU),基于忆阻器的 CNN 神经形态系统的能效要高出一个数量级,且实验证明该系统可扩展至大型网络,如残差神经网络。该结果或可促进针对深度神经网络和边缘计算提供基于忆阻器的非冯诺伊曼(non-von Neumann)硬件解决方案,在处理卷积神经网络(CNN)时的能效比图形处理器芯片(GPU)高两个数量级,大幅提升了计算设备的算力,成功实现了以更小的功耗和更低的硬件成本完成复杂的计算。

与之相反,基于忆阻器的神经形态计算可以提供非冯诺伊曼计算范式,即存储数据,从而消除数据迁移的消耗。忆阻器阵列直接使用欧姆定律进行加法运算,使用基尔霍夫定律(Kirchhoffs law)进行乘法运算,因而能够实现并行存内(in-memory)MAC 运算,从而模拟存内计算(in-memory computing),并实现速度和能效的大幅提升,减小误差。

在这些研究成果的基础之上,钱鹤、吴华强团队逐渐优化材料和器件结构,制备出了高性能的忆阻器阵列。

1996年4月至1997年7月,任内蒙古自治区开鲁县畜牧局局长

2009年12月至2012年4月,任内蒙古自治区通辽市粮食局局长、党组书记、粮食系统党委书记

不过,最近雷锋网(公众号:雷锋网)了解到,清华大学微电子所、未来芯片技术高精尖创新中心钱鹤、吴华强教授团队与合作者在《自然》在线发表了题为“ Fully hardware-implemented memristor convolutional neural network ”的研究论文,报道了基于忆阻器阵列芯片卷积网络的完整硬件实现。

忆阻器单元使用 TiN/TaO_x/HfO_x/TiN 的材料堆叠,通过调节电场和热,在增强(SET)和抑制(RESET)这两种情况下均展现出连续电导率调节能力。材料和制造流程与传统的 CMOS 流程兼容,从而使忆阻器阵列可以方便地内置在晶圆的后段制程中,以减少流程变动,实现高复现性。得到的交叉阵列在同等的编程条件下具备均匀的模拟开关行为。因此,多忆阻器阵列硬件系统基于自定义印刷电路板(PCB)和 FPGA 评估板(ZC706, Xilinx)构建。

1994年6月至1996年4月,任内蒙古自治区开鲁县北清河工委书记

该阵列展示了极具可重复性的多级电导率状态,成功证明了存算一体架构全硬件实现的可行性。

其中,青海银行第二大股东西部矿业(601168,股吧)集团关联贷款余额占比达9.04%,第三大股东西宁伟业房地产开发公司关联贷款余额占比达5.02%。

此外,该研究在三个并行忆阻器卷积器中复制了卷积核,从而将 mCNN 的延迟降低约 2/3。该研究得到的高度集成神经形态系统弥补了基于忆阻器的卷积运算和全连接 VMM 之间的吞吐量差距,从而为大幅提升 CNN 效率提供了可行的解决方案。

在年报中,青海银行也提出了相对保守的2020年经营目标:资产总额保持在1000亿元以上,实现各项收入45.5亿元,实现净利润5亿元;不良贷款率控制在上年水平之内,各项监管指标持续达标。

虽然青海银行资产规模表现不佳,但盈利性方面,该行出现业绩拐点,净利润同比实现翻倍增长。

2020年3月9日至今,任内蒙古自治区通辽市委常委、统战部部长。

首个完全基于忆阻器的 CNN 硬件实现

值得一提的是,日前,在青海银行深耕21年之久的原董事长王丽被“双开”。据青海省纪委监委消息,王丽在担任原西宁市商业银行行长,青海银行董事长、行长期间,将国有金融企业视为个人的“提款箱”,设立“小金库”,随意支取资金归个人使用,违规将国有资金挪作他用,为他人谋取利益等问题。

2月21日18时-22日18时,全市发热门诊接诊3547人,较上一日减少196人。其中首诊2279人。2月22日当日,全市核酸检测17767人。

据介绍,当前国际上的忆阻器研究还停留在简单网络结构的验证,或者基于少量器件数据进行的仿真。基于忆阻器阵列的完整硬件实现仍然有很多挑战。

王丽任职期间,青海银行实现了稳步发展。不过,王丽离开后的青海银行问题也不断暴露出来,资产规模下降,不良率飙升,净利润大幅下滑。

2004年8月至2009年11月,任内蒙古自治区霍林郭勒市委常委、副市长

1987年11月至1991年3月,任内蒙古自治区开鲁县兽医工作站副站长

青海银行2019年报显示,该行报告期内,办理重大关联授信4笔,授信总额为32.69亿元。截至2019年末,该行授信使用额度为28.89亿元,关联方贷款余额为25.95亿元,占公司资本净额的26.32%。

资本充足水平方面,青海银行资本充足率和一级资本充足率均有所下降。截至2017年末、2018年末及2019年末,该行资本充足率分别为13.14%、14.22%及13.77%;一级资本充足率分别为12.12%、13.48%及12.62%。

2019年度,青海银行资产减值损失9.81亿元,同比下降22.7%;实现净利润4.55亿元,同比增长120.87%;资产利润率为0.44%,同比增长0.25个百分点。

但是,计算效率的进一步提升最终受限于系统的冯诺伊曼架构,该架构中的内存和处理单元是物理分离的,从而导致大量能耗,以及不同单元之间数据搬运的高延迟。

4笔重大关联贷款余额占资本净额26.32%

雷锋网原创文章,。详情见转载须知。

在器件方面,该研究成功实现了一个完整的五层 mCNN,用于执行 MNIST 手写数字图像识别任务。优化后的材料堆栈(material stack)能够在 2048 个单晶体管单忆阻器(one-transistor–one-memristor,1T1R)阵列中实现可靠且均匀的模拟开关行为。使用该研究提出的混合训练机制后,实验在整个测试集上的识别准确率达到了 96.19%。

截至2月22日0—24时,全市累计确诊病例46201例,其中(大疫情网按行政区统计):

累计治愈出院8171人,累计死亡1856人。全市现有确诊病例36174人(危重1454人,重症7774人),现有疑似病例2382例。

系统方面,该系统主要包含八个基于忆阻器的处理元件(PE)。每个 PE 集成了 2048 个单元的忆阻器阵列。每个忆阻器与晶体管的漏级端相连,即 1T1R 配置。核心 PCB 子系统具备八个忆阻器阵列芯片,每个忆阻器阵列具备 128 × 16 个 1T1R 单元。在水平方向上共有 128 条并行字线和 128 条源线,在垂直方向上共有 16 条位线。

他们提出用高能效比、高性能的均匀忆阻器交叉阵列实现 CNN,该实现共集成了 8个 PE ,每个 PE 包含2048 个单元的忆阻器阵列,以提升并行计算效率。此外,研究者还提出了一种高效的混合训练方法,以适应设备缺陷,改进整个系统的性能。研究者构建了基于忆阻器的五层 CNN 来执行 MNIST 图像识别任务,识别准确率超过 96%。

架构方面,之前基于忆阻器的 demo 依赖于单一阵列,其主要原因是生成高度可重复的阵列面临巨大挑战。忆阻器设备的易变性和不完美特性被认为是神经形态计算应用的主要瓶颈。该研究提出了一种基于忆阻器的灵活计算架构,适用于神经网络。

2009年11月至2009年12月,任内蒙古自治区通辽市粮食局党组书记、粮食系统党委书记

1998年10月至2003年12月,任内蒙古自治区开鲁县政府副县长

据了解,青海银行2019年主要经营目标是:资产总额保持在1000亿元以上,实现各项收入47.82亿元,实现净利润6亿元,不良贷款率控制在上年水平之内,各项监管指标持续达标。现在看来,大部分经营目标已实现。

2012年8月至2015年5月,任内蒙古自治区通辽市扎鲁特旗委书记

1997年7月至1998年10月,任内蒙古自治区开鲁县政府科技副县长

青海银行表示,报告期内,该行采取积极举措,持续完善不良贷款管理制度体系,加大不良贷款存量清收处置和新增控制力度全面推进不良贷款实现“双降”,为经营利润和资产质量双提升奠定了坚实基础。

2018年度,青海银行业绩“大变脸”,资产减值损失高达12.69亿元,同比暴增221.27%;净利润和资产利润率均大幅下滑,由2017年度的7.75亿元下滑至2.06亿元,资产利润率由0.69%降至0.19%。

1992年9月至1994年6月,任内蒙古自治区开鲁县畜牧工商开发服务中心主任

2012年6月至2012年8月,任内蒙古自治区通辽市交通运输局党组书记、局长

简言之,忆阻器(memristor)可以在断电之后,仍能“记忆”通过的电荷,其所具备的这种特性与神经突触之间的相似性,使其具备获得自主学习功能的潜力。因此,基于忆阻器的神经形态计算系统能为神经网络训练提供快速节能的方法,但是,图像识别模型之一 的卷积神经网络还没有利用忆阻器交叉阵列的完全硬件实现。

CNN 的典型计算步骤需要大量滑动卷积操作。从这个方面来看,CNN 需要支持并行乘积累加运算(MAC)的计算单元。而这需要重新设计传统的计算系统,以便以更高的性能、更低的能耗来运行 CNN,这些计算系统包括通用应用平台(如 GPU)、应用特定的加速器等。

2015年5月至2016年2月,任内蒙古自治区通辽市政府副市长

资产质量方面,青海银行全力支持不良贷款处置化解工作。截至2019年末,青海银行拨备覆盖率由2019年初的121.33%升至172.75%。不良贷款余额由22.48亿元降至13.79亿元,不良贷款率由2019年初的4.31%降至2.49%,实现“双降”。

2003年12月至2004年8月,任内蒙古自治区霍林郭勒市政府副市长

1984年7月至1987年10月,在内蒙古自治区开鲁县畜牧局工作

武汉开发区1470例

据此前报道,新加坡抗疫跨部门工作小组2日在发布会上宣布,阻断措施实施4周以来,外籍工人宿舍的新冠肺炎病例仍保持高位。但是考虑到宿舍区是封闭管理,社区病例大幅下降,新加坡决定从5月5日开始,分周逐步放宽部分严控措施。一些商业活动可在保持安全社交距离的情况下恢复,毕业班学生和高等学校小范围恢复上课。

众所周知,CNN 是最重要的深度神经网络之一,在图像处理相关任务中发挥关键作用,如图像识别、图像分割和目标检测。

青海银行原名西宁市商业银行,2008年10月更为现名。2017年年报中,该行总结了20年的发展历程,资产规模从9.97亿元增至1096.94亿元。

然而,2018年末,青海银行资产规模由2017年末的1096.94亿元缩水至1039.05亿元。2019年末,该行资产规模持续小幅缩水至1032.96亿元。

比如,器件方面,需要制备高一致、可靠的阵列;系统方面,忆阻器因工作原理而存在固有缺陷(如器件间波动、器件电导卡滞、电导状态漂移等),会导致计算准确率降低;架构方面,忆阻器阵列实现卷积功能需要以串行滑动的方式连续采样、计算多个输入块,无法匹配全连接结构的计算效率。

基于忆阻器的硬件系统具备可靠的多级电导率状态