近年来,机器学习受到了越来越多的关注,帮助人们从海量数据中提取有用信息。随着边缘计算的需求增加,特别是移动设备上的高效、低功耗人工智能芯片变得越来越重要。由于摩尔定律逐渐失效,以及传统计算机通信瓶颈的限制,现有的硅基计算系统已经难以满足这些需求。因此,开发新的计算概念和架构,以加速机器学习,已成为一个明确的技术趋势。
近期,一篇发表在《Science Advances》上的论文展示了如何利用基于阻变存储器阵列的存内计算技术,一步完成传统的机器学习算法,如线性回归和逻辑回归。这项技术还可以应用于多项式回归、神经网络等其他算法。
阻变存储器,也称忆阻器,是一种新型的非易失性存储技术,与传统的电荷存储器不同,它利用电阻的物理特性进行存储。除了用于二进制存储,其连续可调性使其能够实现模拟存储。这种存储器通常采用交叉阵列结构,以提高存储密度。基于这种架构,人们可以轻松实现存内计算,加快矩阵-向量乘法运算。矩阵-向量乘法是许多数据密集型任务的核心操作,如神经网络训练、信号处理等,因此基于阻变存储器阵列的存内计算具有显著的应用潜力。通过构建反馈电路,阻变存储器阵列还可以一步求解线性方程组,在数值模拟、统计分析等领域具有广泛应用前景。
目前,最令人兴奋的机器学习算法是深度学习,这是2017年一项针对数据科学和机器学习的调查得出的结果。然而,最令人兴奋并不一定意味着最常用。实际上,调查显示,线性回归和逻辑回归是最常用的算法。机器学习算法的训练通常通过迭代计算完成,例如重复进行包括矩阵乘法在内的运算,最终收敛到最优解。因此,基于阻变存储器阵列的矩阵-向量乘法被用于加速机器学习。不过,迭代计算会导致计算速度慢且能耗高。在这篇论文中,作者们提出了一种存内计算电路,可以在一步内完成线性回归和逻辑回归等算法的训练,无需迭代,从而大幅提升计算速度和降低能耗。
线性回归是指找到一条最佳拟合直线,使得数据点与直线之间的误差最小。这种算法广泛应用于生物学、经济学等领域。为了最小化拟合误差,存在一个伪逆解,具体方式如图所示。为了获得这个解,作者们利用阻变存储器阵列构建了一个反馈电路。在这个电路中,所有数据点的自变量值存储在两个相反的阻变存储器阵列中,相应的因变量值作为输入电流。该电路自动完成了线性回归的计算,正反馈运放的输入电压即为拟合系数向量。实验结果表明,该电路可以一步训练线性回归模型。
逻辑回归广泛应用于模式识别和分类任务,如垃圾邮件识别,或作为深度神经网络的最后一层分类层。与纯线性模型不同,逻辑回归包含一个非线性函数来产生二值输出,可以被视为一个单层前馈神经网络。为了训练这个模型,可以通过应用非线性函数的逆函数,将样本标签值转换为输入的线性组合,从而将问题简化为线性回归。因此,作者们构建的存内计算电路也可以用于训练逻辑回归。实验结果显示,该电路的分类结果与理想结果非常接近,进一步验证了其机器学习功能。
为了证明该电路的可扩展性,作者们使用波士顿住房数据集训练了一个更大规模的线性回归模型。在该模型中,阻变存储器阵列的规模为333×14,模拟的拟合系数与理想结果之间的误差低于1%。此外,他们还利用该电路训练了一个两层神经网络,用于MNIST数字识别。实验显示,模拟训练的权重与理想结果高度一致。当使用训练好的权重识别数字测试集时,识别率也与理想值相同。这些结果表明,由于其高速计算的能力,存内计算在加速机器学习方面具有巨大潜力,有望应用于边缘端的人工智能芯片。
该论文近期发表在《Science Advances》上,作者来自米兰理工大学。此前,他们在2019年的《PNAS》上发表了一篇论文,提出了一个存内计算电路,能够在一步内解线性方程组,其时间复杂度优于量子计算。第一作者孙仲博士毕业于清华大学,即将加入北京大学黄如院士的团队,担任研究员和博士生导师,欢迎有志之士加入团队共同研究。
您可以访问 https://advances.sciencemag.org/content/6/5/eaay2378 查看论文原文。