学术论文网

  • 当前位置:主页 > 理工论文 > 计算机论文 > 正文>许多知名大学联合撰写了评论论文,新的《自然》杂志也推出了。这是你经常听到的贝叶斯统

    许多知名大学联合撰写了评论论文,新的《自然》杂志也推出了。这是你经常听到的贝叶斯统

    发布日期:2021-02-03 14:13 计算机论文

    新年伊始,《自然》新增三种期刊:《自然老化》(《自然 - 老龄化》)、《自然计算科学》(《自然 - 计算科学》)、《自然评论方法引子》(《自然综述 - 方法导论》)。其中,《自然评论方法初级读本》以评论文章的形式向读者概述各种科学方法及其在不同研究问题上的应用,每周发表一次。期刊上的所有文章都将采取手稿的形式,涵盖生命科学和物理科学中使用的分析、应用、统计、理论和计算方法。

    1月14日,第一期《自然评论方法初级读本》发行,发表了一篇关于贝叶斯统计和建模的综合文章。作者来自乌特勒支大学、加州大学、默塞德、爱丁堡、牛津、乔治敦大学、莱斯大学、哥伦比亚大学、艾伦图灵研究所等机构。本文描述了贝叶斯分析的各个阶段,从指定先验和数据模型到推理、模型检验和改进,讨论了先验和后验预测检验的重要性,并从后验分布、变分推理和变量选择中选择合适的技术进行抽样。

    此外,本文还提供了贝叶斯分析在许多研究领域成功应用的实例,包括社会科学、生态学、遗传学、医学等。并提出重现性策略和报告标准,总结更新后的WAMBS检查表(何时担心误用贝叶斯统计,如何避免)。最后,本文介绍了贝叶斯分析对人工智能的影响。

    贝叶斯统计是基于贝叶斯定理的数据分析和参数估计方法。它的唯一性在于统计模型中的观测参数和未观测参数是基于联合概率分布的,即先验分布和数据分布。

    典型的贝叶斯工作流包括三个主要步骤(见下图1):通过先验分布捕获统计模型中给定参数的可用知识,先验分布通常在数据收集之前确定;利用观测数据中可用参数的信息确定似然函数;利用贝叶斯定理,结合先验分布和似然函数,得到后验分布。

    后验分布平衡了先验知识和观测数据,从而反映了更新的知识,可用于进行推理。在对联合概率分布进行平均时,贝叶斯推断是最优的,这些定量推断是基于观测数据的条件分布。图1:贝叶斯研究阶段。a .标准研究过程;b .使用贝叶斯统计的研究工作流程。(注:图中p(y)的后验表示应为p(y))

    贝叶斯统计的基础最早出现在托马斯贝叶斯牧师的文章中,后来这篇文章由贝叶斯的朋友理查德普莱斯于1763年发表,主要讲的是逆概率,即如何仅根据过去的事件来确定未来事件的概率。1825年,皮埃尔西蒙拉普拉斯重新发现了贝叶斯公式,也就是我们今天所说的贝叶斯定理。逆概率和贝叶斯定理在数学中存在已久,但这些工具直到最近50年才在应用统计学中兴起。贝叶斯定理。(来源:)

    贝叶斯工作流的前两个步骤如上图1所示。首先确定先验分布,在实现贝叶斯模型时,先验选择通常被认为是研究者更重要的选择,因为它对最终结果有很大的影响。为了实现适当的先验,有必要使用先验预测检验过程。然后确定似然函数,结合似然函数和先验得到后验分布(或后验)。先验和似然函数对于确定后验分布非常重要。这个张文提供了几个例子来说明整个过程。

    第一个例子是关于博士学位的延长。研究人员询问了333名博士生完成博士论文所需的时间,然后计算出延迟时间,即计划时间与实际时间的差值(时间单位为月)。

    先验分布在贝叶斯统计中起着决定性的作用。下面的图2展示了这个例子中的似然函数、先验分布和后验分布之间的关系:图2:贝叶斯定理的重要组成部分示意图。

    由于基于贝叶斯分析的推理受到先验“正确性”的限制,我们需要仔细检查指定的模型是否能够生成实际数据。这一部分是通过预先预测测试过程完成的。

    先验预测测试有助于避免模型的错误指定(见下图3),例如将先验预测分布(图3a)与基于正确超参数的分布(图3b)进行比较。此外,观测数据和模拟数据的核密度估计,即概率密度函数的估计结果,也在这里给出(图3c)。图3:博士延伸实例中的先验预测检验。

    似然函数用于贝叶斯推理和频率推理。在两种推理范式下,似然函数的作用是将观测数据的概率表示为未知参数。在某些情况下,指定似然函数是非常直接的,比如扔硬币的实验。似然函数的硬币实验实例。(来源:)

    在指定先验和似然函数并收集数据后,可以获得后验分布。本文解释了如何用数据拟合模型以获得后验分布,如何选择变量,以及为什么需要后验预测检验。

    建模是一个迭代的过程,任何一个贝叶斯模型都可以看作是一个占位符,在面对新数据或者现有数据拟合不足时可以进行改进,或者只能通过模型改进的过程来实现。

    在贝叶斯推理中,一种很好的模型拟合方法是马尔可夫链蒙特卡罗方法(MCMC)。MCMC可以通过计算机模拟间接获得关于后验分布的推论。下面的表1总结了基于多芯片组件和不基于多芯片组件的采样技术。表1:基于MCMC和基于非MCMC的采样技术概述。

    下图为博士点扩展示例中MCMC方法的后验估计:另外,实现贝叶斯分析的标准计算包很多,见下表2:表2:常用开源贝叶斯软件包。

    在获得特定模型的后验分布后,我们可以使用它来模拟基于这种分布的新数据,这有助于评估模型是否提供了有效的预测和推断未来事件。这些模拟可以用于多种目的,例如通过比较观察数据和模拟数据的核密度估计值来检查模拟数据是否与观察数据相似。当评估模型是否与数据生成机制很好地匹配时,需要更正式的后验预测测试方法。任何参数相关的统计量或差异都可以用于后验预测检验。这类似于先前的预测测试,但在比较观察数据和模拟数据时更为严格。

    为了解释后验预测分布的用法,本文展示了另一个例子:理解一个维基百科页面的页面浏览量以及与页面浏览量相关的时间相关因子。图6:基于当前观察数据的后验预测测试和未来页面视图预测。

    贝叶斯推理已经广泛应用于许多科学领域。本文重点介绍其在“社会与行为科学”、“生态学”和“遗传学”等领域的应用,此处不再介绍。

    适当的统计信息报告(包括数据和脚本共享)是研究验证和再现性的关键因素。优秀的研究实践鼓励再现性,其工作流程如下图7所示:图7:研究工作流程中的再现性因素。

    本文展示了贝叶斯研究阶段(图1)和WAMBS清单在更广泛的研究透明度中的应用,并提供了WAMBS清单的更新版本。WAMBS清单的更新版本。

    为了支持大规模应用,贝叶斯概念利用以深度学习为中心的新技术的发展,包括深度学习框架(TensorFlow,Pytorch),创建了一个具有更强表示能力的数据驱动模型。除了提供选择灵活和模块化生成模型的强大工具之外,DNN还被用来开发新的近似推理方法,并提出了贝叶斯实践的新范式,该范式将统计建模和计算集成到其核心中。

    一个典型的例子是变分自编码器,它已经成功地应用于许多领域,如单细胞基因组学,为这些领域提供了一个通用的建模框架。该框架带来了许多扩展,包括后期因子分解。基础统计模型是一个简单的贝叶斯层次潜变量模型,它将高维观测值映射到低维潜变量,低维潜变量通过DNN定义的函数呈现正态分布。变分推理用于逼近潜在变量的后验分布。

    然而,在标准变分推理中,我们为每个潜在变量引入一个局部变分参数。在这种情况下,计算需求将随着数据样本的数量线性增加。变分自编码器使用一种称为变更的近似过程,用单个全局参数集(识别网络)代替许多单个变分参数的推理。识别网络用于参数化DNN并输出每个数据点的局部变分参数。

    值得注意的是,当模型和推理结合起来解释时,作为一种编码和解码算法的变分自编码器有一个优雅的解释:它由一个概率编码器和一个概率解码器组成。概率编码器是一个DNN,可以把每个观测数据映射到潜在空间的分布;概率解码器是一个互补的DNN,它将潜在空间中的每个点映射到观察空间中的分布。因此,模型设计和推理与可变的自编码相关联,这表明贝叶斯建模和深度学习技术之间的界限正变得越来越模糊。其他最近的例子包括使用DNN来构建概率模型,通过应用一系列逆变换来构建复杂的概率分布,以及为可交换的序列数据定义模型。

    DNN的表达能力及其在建模和推理算法中的应用需要做出一些妥协,这需要贝叶斯研究。模型和推理的融合趋势使得这些技术更适用于大规模数据问题,但是基本的贝叶斯概念仍然被完全纳入到这个范式中。虽然贝叶斯方法应用于神经网络学习已经有几十年的历史,但我们仍然需要进一步研究涉及复杂网络结构的现代贝叶斯深度学习模型的先验分配,以了解先验是如何转化为特定的功能特征的。

    最近,人工智能领域的争论提到了贝叶斯方法及其替代方法的必要性。例如,在处理模型不确定性时,深度集成已被证明是贝叶斯方法的替代方法。但最近的研究也表明,深度整合实际上可以理解为近似贝叶斯模型平均。同样,丢弃是DNN训练中广泛使用的正则化方法,它通过在网络训练期间随机丢弃节点来提高模型的鲁棒性。实验表明,剔除可以提高泛化能力,减少过拟合。辍学也出现了贝叶斯解释:概率模型——深度高斯过程的贝叶斯近似形式。虽然贝叶斯定理并没有完全推广到人工智能领域的所有最新发展,但贝叶斯思维已经深深嵌入到最近的大量创新研究中,这无疑是一个成功。未来十年,贝叶斯智能将会出现新一波的创新发展。

    这篇文章自发表以来引起了广泛的关注,但也存在一些缺陷。比如知名科学博主@光头怪博士就指出了图1中的后验表象错误,并推荐了另一篇他认为不错的文章。本文对MCMC方法进行了基本介绍,并从理论和实践上对MCMC方法试图解决的问题、为什么使用MCMC方法以及MCMC方法的工作原理进行了概念性的理解。论文链接:

    2021年2月的第一周,机器之心将携手AI的20多位知名重客在线直播。通过圆桌讨论、趋势谈话、报告解读、案例分享,为关注人工智能行业发展趋势的AI人士解读技术演进趋势,共同探索行业发展脉络。连续七天,精彩。

    原标题:《多所知名高校合著综述论文、Nature新子刊创刊首发,这是你常听到的贝叶斯统计与建模》


    网友转发请注明出处转载请保留链接:许多知名大学联合撰写了评论论文,新的《自然》杂志也推出了。这是你经常听到的贝叶斯统本文链接http://www.yule868.com/a/jisuanjilunwen/27130.html,谢谢合作!868学术论文网


    上一篇:计算机二级培训给你很好的建议   下一篇:计算机模型有助于找到COVID19疗法


    论主学术论文网 学术论文网专业指导写论文的要点和技巧,指导如何写论文,本科毕业论文,写作大学毕业论文,专为工程类,医学类,教育类,经理类,管理类,会计类,艺术类等原创毕业论文如何写,值得信赖值得靠谱的毕业论文写作网站.
  • 文章总数
  • 3574726访问次数
  • 建站天数
  • XML地图 XML_1地图 备案蜀ICP备16030853号 推荐:火锅底料苗苗鱼