北京赛车 迅雷下载

深度 | 让机器思考与互相理解:DeepMind提出机器心智理论神经网络ToMnet_凤凰科技
DeepMind 近日提出的「机器心智理论」神经网络 ToMnet 让计算机拥有了这种能力,这或许是我们在人工智能技术上的一次重要进步这些实验展示了 ToMnet 背后的思想和能力,并展示了它学习其他智能体丰富模型的能力,其中包含了人类心智理论的典型特征,如对错误信念的认识等

DeepMind 引入了两个概念来描述该观察者网络及其功能角色学习其他的丰富的模型可以提高多智能体任务中的决策,尤其是基于模型的规划和想象所需要的(Hassabis et al., 2013; Hula et al., 2015; Oliehoek Amato, 2016)ToMnet 事先并不了解每个智能体属于哪个亚种,但是可以根据智能体之前的行为推断出来随着智能体进入人类世界,要求理解这些系统的声音变得越来越大探索这些能力之下的条件也可以阐明人类能力的起源(Carey, 2009)与之相反,我们专注于一个观察者怎样能自动的学习怎样利用有限数据模拟其他介质的模型(Botvinick et al., 2017)(b)查询示例:来自新 MDP 的状态2017年,吴亦凡推出的先导ep《6》刷新多项纪录,成为目前中国数字音源史上,最快突破百万销量的数字专辑对这些企业,相关部门将联合进行失信专项治理,禁止他们参加春运,或者要求他们必须在规定的期限内整改到位黑色部分表示更高的期望折扣状态占用这些对应于智能体行为的先验知识和后验知识当时,正在美国加紧制作专辑的吴亦凡,在得知情况后立马调整工作,即刻飞往米兰支援品牌方,与在场的来自全球的众多媒体与时尚人士,共同见证了新品发布一是加强对客运服务企业的诚信建设目前多家直播答题节目已经暂停

DeepMind 的新方法

DeepMind 认为,构建心智理论的挑战本质上在于元学习问题(Schmidhuber et al., 1996; Thrun Pratt, 1998; Hochreiter et al., 2001; Vilalta Drissi, 2002)

让知名天使投资人晚节不保别让他们老冠个知名天使,割普通vc和小股民的韭菜一个主要的信息是当这些问题被正确表述的时候,很多初始的,建立机器心智理论(ToM)的挑战可以被分解成简单的学习问题朱啸虎今早还在朋友圈发言 不要拉我进3点钟群,有些风口宁愿错过 我们设计了一种心智理论神经网络 ToMnet,它使用元学习通过观察智能体的行为而对它们进行建模吴亦凡助力撑场反响强烈,更获得品牌方高度赞扬称其“仗义”返回搜狐,查看更多

责任编辑:

本论文中的一些实验直接受到 Baker 及其同事在贝叶斯心智理论研究成果的启发,例如经典的 food-truck 实验(Baker et al., 2011; 2017)我们的实验应该推广至许多先前实验的构造以适应我们的目标我们也展示了 ToMnet 能发现行为空间新的抽象它们也是对通讯和教育学非常有用的(Dragan et al., 2013; Fisac et al., 2017; Milli et al., 2017),也非常可能在人机交互领域扮演重要角色

论文:Machine Theory of Mind

论文链接:https://arxiv.org/abs/1802.07740

摘要:心智理论(ToM; Premack Woodruff, 1978)广义上指个体有能力理解他人的心理状态,包括期望、信念和意图彩色方块代表四个对象

图 13. 信念的监督式预测

他认为现在的资本市场估值都一个问题,估值的模型越来越脆弱,非常受名人效应影响,最终都是大妈割韭菜,而且门槛制度,而股票出了交易更无其他作用,更是叫关门打狗的割韭菜

2018年春节前夕,国家新闻出版广电总局下发《加强网络直播答题节目管理》的通知,要求对网络视听直播答题活动加强管理,进一步规范网上传播秩序,防范社会风险整个区块链行业的泡沫,有全球的股市高吗与以上研究不同,我们学习了代理模型,然后学习了怎样从通过元学习从头推理它们即使我们对其权重有完整的解释,还是很难掌控它们到底利用了什么模式,也很难掌控哪里会出问题


(a)示例智能体之前的轨迹心理状态网络解析当前片段的智能体轨迹,形成心理状态嵌入 e_mental这方面相关部门采取了一系列的措施,简单说就是“一个监督、两个突出、三个建设”随后的英文单曲《Deserve》,更是口碑成绩双收,歌曲获得业内外一致好评,同时也让吴亦凡成为了首位获得美国iTunes总榜第一的华人歌手我们也展示了 ToMnet 能单独从行为中推断什么智能体具有观看的能力,以及因此它们倾向于相信什么这些模型用了一些没法解释表面现象背后原理的抽象概念;相反,我们表示了其他人的精神状态,比如他们的欲望、信仰和意图我们没有试着去在这里解决所有问题右边的三幅图根据每个亚种的示例智能体在 N_past = 5 past POMDPs 上的行为输出(示例智能体通常指粉色对象)从这个角度,追求机器心智理论(ToM)是建造缺失的机器与人的期望之间的交互界面(Cohen et al., 1981)我们认为该系统(自动学习如何对出现在其世界中的其他智能体进行建模)是开发多智能体 AI 系统的重要步骤,可以帮助构建人机交互的中介技术,推进可解释性 AI 的发展

章节 3.3 中,我们展示了 ToMnet 学习表示不同类型的深度强化学习智能体,掌握深度强化学习智能体不同变体的关键元素,并组成这些智能体的抽象嵌入(abstract embeddings)

我实话实说,也是在传统股权投资中割过很多韭菜的人,打车的股票何尝不是我们把这个描述成机器心智理论

吴亦凡新专辑紧密制作中 蓄势待发引众人期待

活动结束后,吴亦凡将返回美国继续制作新专辑红色箭头表示智能体的位置和动作
“三个信用建设”是信用建设的重点方面长条越长越好;具备 character net 和 mental net 的网络最好神经网络经常被说成是难以理解、难以解释的黑箱子这样的模型对于数据校准(HadfieldMenell et al., 2016)和灵活合作(Nowak, 2006; Kleiman-Weiner et al., 2016; Barrett et al., 2017; Kris Cao)是很重要的,并且很有可能是未来机器决策中的道德的重要组成部分(Churchland, 1996)

图 4. 目标驱动智能体上的 ToMnet

能够「理解」其他智能体的一个显著特征是极少甚至不引用智能体真正的基础构架

吴亦凡 “临危受命”救场发布会 获品牌方赞扬称其仗义

据悉,此次发布会原本邀请的嘉宾,因生病等原因无法到场,于是品牌方便紧急向其代言人吴亦凡发出邀请对存在违法违规和严重失信行为的企业,将纳入失信“黑名单”,实施联合惩戒铁路、民航、道路、水运将按照各个领域的信用建设管理办法对各种失信行为纳入信用记录对于诚信经营的企业,我们将纳入“红名单”,相关部门将落实“容缺受理”等一系列激励措施;对优秀春运志愿者,将享有51个部门联合制定的守信联合激励政策作为人类,我们每天都在面临这项挑战,我们与他人交流合作,但几乎无法触及这些人的内隐特征、内隐状态和计算过程公安部门已经排查出了5000多名记满12分的大客车驾驶员,他们将被限制参加春运;还排查出了25000多名被降级的大客车驾驶员,他们将被限制驾驶大客车

陈伟星举例, 朱啸虎拼了命的吹ofo,然后偷偷的卖给阿里,每投一个项目,再忽悠两句让别的vc接盘不一样的道理吗--比如用反向阻耗(Ng et al., 2000; Abbeel Ng, 2004),贝叶斯推理(Lucas et al., 2014; Evans et al., 2016),贝叶斯心智理论(Baker et al., 2011; Jara-Ettinger et al., 2016; Baker et al., 2017)或者博弈论(Camerer et al., 2004; Yoshida et al., 2008; Camerer, 2010; Lanctot et al., 2017)我们可以预测陌生人将来的行为,并且推断他们对世界的观点;我们规划与其他人的互动,并且建立高效的交流这里我们有一个新奇的方法:除了从结构上改编智能体来把它们的内部状态以人类理解的形式暴露出来,我们追寻制造可以降低行为空间维度并且能以更易懂的形式表现的中间系统

让我们先停下来,思考另一个问题:「理解」另一个智能体到底意味着什么我们的目标不是去确保生成一个介质行为与内含转化的算法的模型
连维良表示,我们相信,这样一些综合性的信用建设措施将会对改善春运秩序、便利旅客出行发挥重要作用
“两个突出”就是突出守信联合激励和失信联合惩戒我们通过全国信用信息共享平台排查出了2700余家有严重违法失信行为的客运企业,公安部门排查出了1800多个处于逾期未报废状态的客运车辆这样一个平台跟我们相关部门是联动的,对反映的问题,相关部门会认真地采取措施加以解决我们将在未来的工作中解释人类的判断

在这篇文章里,来自 DeepMind 的研究人员受到了人类心智理论的启发,试图建立一个模拟其他介质的模型
(原标题:《发改委:春运期间旅客各种失信行为将纳入信用记录》)

(原标题:发改委:春运期间旅客各种失信行为将纳入信用记录)

这个能力一般被解释成我们的心智理论(Premack Woodruff, 1978)广大旅客通过手机扫码可以进入到这个平台,能够随时把自己身边发现的客运服务存在的问题和不足反映到平台上来,把遇到的好人好事、优质服务反映到平台上来,把遇到的违法违规行为和不文明现象反映到平台上来

为此,我们定制了元学习任务在一些案例中我们也让自己的意识来模仿其他人(比如 Gordon, 1986; Gallese Goldman, 1998),我们对其智能体的终极理解并不是从把我们的模型与真理一一对应从而测量出来的,而是从这些模型会对比如说预测或者计划这种任务付出多少来决定(Dennett, 1991)


(a)ToMnet 的三个组件分别对应三个行为预测目标,图中表示简单 ToMnet 与没有 character net 或没有 mental net 的网络的对比
会上有记者问:今天会场门口已经看到了“诚信春运 文明出行”的标语,刚才连维良副主任也介绍了今年要通过信用建设维护春运秩序,请问这方面的工作还有哪些具体安排

图 1. ToMnet 架构在测试时,我们希望遇到一个以前没见过的智能体,并且它们已经对自身的行为方式有一个强大且丰富的先验知识通过这个过程,观察者还应该学习智能体行为的有效先验知识,这些知识隐含地捕捉了训练空间中智能体间的共同点

图 7. 使用 ToMnet 描述训练的神经网络智能体

本论文的结构是一系列在机器心智理论网络(我们称之为 ToMnet)的实验,它们的复杂度是递增的
“一个监督”就是我们多部门联合建立了“公众监督平台”

建立一个丰富的,灵活的而且高效绩的机器心智理论也许是一个大挑战

最后,我们被理解人造智能体这一目标所激励我们构建了一个观察者,它在每一个 episode 都能访问一组新型智能体的行为轨迹,观察者的目标是预测智能体未来的行为我们提出对机器进行训练,使之也具备这项能力

Bianews 2月24日消息,快的打车创始人陈伟星今日在 三点钟无眠 区块链社群中狂怼知名投资人朱啸虎,陈伟星称朱啸虎拼命吹项目,然后让别的vc接盘,通过名人效应割普通vc和小股民的韭菜由于该项工作的目标不同,我们并没有试图直接复制这些实验二是加强对司乘人员的信用建设(b)查询 POMDP 状态在时间 t = 0 时,ToMnet 对智能体未来状态占用的预测(左),如图 4d 所示对司乘人员采取一些联合惩戒措施以确保乘客的安全然后,这些嵌入被输入至预测网络,可用于查询当前状态

国新办1月31日举行新闻发布会,介绍2018年春运形势和工作安排

(c)基于(a)中对之前轨迹的观测,针对(b)中的查询 MDP,ToMnet 对智能体下一个动作的预测(上方)和对该片段结束时对象是否被消耗的预测(下方)

章节 3.4 中,我们展示了当在 POMDP 中活动的深度强化学习智能体上训练 ToMnet 时,它暗中学习到这些智能体能持有该世界的错误信念,这也是人类心智理论的核心此外,在我们看到该智能体在现实中的行动时,我们希望能收集它们的隐藏特性和精神状态数据(构成后验知识),这有助于我们预测它们未来的行为而在特定智能体心智理论中,从单个智能体在测试时的察形成「agent embedding」,它包含了使得智能体的特性和精神状态区别于其它智能体的内容

值得一提的是,滴滴收购了陈伟星的快的打车,而朱啸虎是滴滴的投资人三是加强对旅客的诚信建设我们没有试图去预测其他神经的活动,推断他们的前额皮质的连通性,或者计划与一个非常详细的其他人的海马体图的预测的交互

✄------------------------------------------------

加入机器之心(全职记者/实习生):hr@jiqizhixin.com

投稿或寻求报道:editor@jiqizhixin.com

广告 商务合作:bd@jiqizhixin.com

真正的人工智能应该和人类一样,可以理解自己以及周围智能体的心理状态,这些状态包括情绪、新年、意图、欲望、假装与知识等我去年也投出过超过7家超级独角兽,投个早期,然后组织一堆vc一起跟后期,几个月一轮迅速上独角兽行列铁路、民航、道路、水运将按照各个领域的信用建设管理办法对各种失信行为纳入信用记录这传统股权投资的割韭菜方法有比币圈高级吗交通运输领域是信用建设的重点领域之一,而春运又是交通运输领域信用建设的重中之重(d)ToMnet 使用折扣因子 γ = 0.9,对(b)中查询的后继者表示(successor representation,SR)的预测 

本文为机器之心编译,转载请联系本公众号获得授权

简介

对于现在所有的深度学习和深度强化学习方法而言,我们有一个担忧的问题:从某些方面来说,我们对这些系统的理解非常有限这些信用记录将被推送给相关社会征信机构,影响旅客的各种信用分,严重的将被纳入失信联合惩戒我们区分两个一般心智理论,即网络的预学习权重与特定智能体心智理论在网络的预学习权重中,它包含了训练集中所有智能体一般行为的预测我们将 ToMnet 应用于在 gridworld 环境中采取动作的智能体,结果表明该网络学会对来自不同群体的智能体进行建模,包括随机、规则系统和深度强化学习智能体等,该网络通过了经典的 ToM 任务,如"Sally-Anne"测试,即意识到他人持有的错误观念星星表示子目标因此,目前正在制作的这张专辑,吊足了大众胃口,不少歌迷表示非常期待,也让我们拭目以待,看吴亦凡和他的音乐作品,又将给我们带来哪些惊喜从认知心理学延伸出的一个突出的讨论是我们的社会推理(social reasoning)并不是依赖于其他媒介的高层次的模型(Gopnik Wellman, 1992)

原标题:深度 | 让机器思考与互相理解:DeepMind提出机器心智理论神经网络ToMnet

选自arXiv

作者:Neil C. Rabinowitz等

机器之心编译

AI 不仅需要判断,也需要具备思考问题的能力正是这一点让 DeepMind 的新研究有别于前人方向,也就是那些依赖于用其他介质手工制造的模型作为有噪声的对比对象

本研究的主要贡献包括:

章节 3.1 中,我们展示了对简单、随机的智能体而言,ToMnet 能学习逼近贝叶斯优化的层级推理到智能体的特性;

章节 3.2 中,我们展示了 ToMnet 学习推理算法智能体的目标(有效完成了 few-shot 逆强化学习),以及它们如何平衡成本与奖励

原标题:吴亦凡米兰救场获赞仗义 新专辑蓄势待发惹期待

某品牌2018秋冬新品发布会在米兰举行,吴亦凡惊喜现身,瞬间引燃米兰时装周黑点代表智能体位置预测网络输出对智能体未来行为的预测,如下一步动作概率 π hat、特定对象被消耗的概率 c hat 和预测后继者表示 SR hat(Dayan, 1993)
连维良介绍,信用建设现在已经深入到各个行业、各个领域最后,这样的模型也会是人类理解人造智能体的重要介质这种新智能体的「学习如何学习」通常可以称为元学习在训练过程中,观察者应该从有限数据中快速形成新智能体的的预测国家发改委副主任连维良指出,春运期间,将加强对旅客的诚信建设特别的,我们并不是立即利用计算项搜索人类判断的解释,而是强调机器学习、可扩展性和自主性

DeepMind 称,新研究有很多潜在的应用方向

【以下为 三点钟无眠区块链群 聊天实录】

章节 3.5 中,我们展示了能够训练 ToMnet 来预测智能体的信念状态,明确揭开智能体的错误信念通过该过程,该网络得到一个对智能体行为具备强大先验知识的模型,同时能够利用少量行为观测对智能体特征和心理状态进行更丰富的预测但我们还是用卓越的熟练度来行使职责我们这里的工作是找出这些简单的构想方式

《极速挑战》活动制作方负责人表示,全新的直播问答栏目将于2月24日晚上19:30正式开启第一场这些信用记录将被推送给相关社会征信机构,影响旅客的各种信用分,严重的将被纳入失信联合惩戒

凤凰网科技讯(作者/二维马)2月24日消息,百度旗下好看视频推出的《极速挑战》直播答题活动,目前已经获得国家广电总局批准,成为首个正式回归的直播答题栏目


character net 从 POMDP 集合中解析智能体过去的轨迹,从而形成 character 嵌入 e_char