北京pk10滚雪球技巧

报名 | 理论+实践—字节跳动启动Alex Smola、周志华、朱军、贾扬清等13位大咖授课的AI夏令营_凤凰科技
研究者意识到,仅有他们之前的研究 [1] 来尝试避免这一冗余,但也没有详细介绍用于避免冗余的方法最后在附录部分,为深度学习框架 Torch 的示例源代码,使本研究的贡献更加清楚易懂此外,(不同模型)预测速度也不同,而对很多应用来说速度是一个重要的影响因素别忘了,模型需要一个四维的 NDArray,其中包含 224 x 224 图像的红色、绿色以及蓝色通道预测时会使用这些类别描述该新兴领域越来越多地转向会议论文和免费的公开评审网站,回避传统渠道它使用和 FBTS 智能体相同的参数,除了未使用 rollout」

AI 现在不仅是开放获取,同时还开放评议

图 2:通过本文的方法,从网络 CP 中生成网络 CI3 是通道数量:红色、绿色和蓝色(按此顺序)


图 1. 基于反馈的树搜索算法

本文介绍了如何利用 Apache MXNet 预训练出的多个模型如果我们同时预测多个图像,由于 GPU 架构的大规模并行性,二者差距会更大

我们需要为每一个模型下载两个文件:

包含神经网络 JSON 定义的符号文件:层、连接、激活函数等所以,我们创建一个叫 Batch 的元组,它将作为伪迭代器,在其 data 属性被引用时返回输入 NDArray(模型库地址:http://mxnet.io/model_zoo/)

三个模型分别是:

VGG-16,获得 2014 年 ImageNet 大规模视觉识别挑战赛分类项目冠军小兵负责守卫通往水晶的路,并自动攻击范围内的敌人(其攻击力较弱)

我们使用 squeeze() 将其转换为数组他们的方法普遍性很强,可应用于几乎全部现有的 CNN 架构上,来实现快速的特征提取

最后是 SL 智能体,它通过在大约 100,000 个人类玩游戏数据的状态/动作对数据集上进行监督学习来训练

✄------------------------------------------------

加入机器之心(全职记者/实习生):hr@jiqizhixin.com

投稿或寻求报道:content@jiqizhixin.com

广告 商务合作:bd@jiqizhixin.com

步长为 2 的池化减半了输出分辨率

原标题:用人工智能打王者荣耀:匹茨堡大学 腾讯AI Lab为游戏AI引入MCTS方法

选自arXiv

作者:Daniel R. Jiang、Emmanuel Ekwedike、Han Liu

机器之心编译

参与:路、李泽南

如果让人工智能来打王者荣耀,应该选择什么样的英雄现在你知道为什么这个模型叫 VGG-16 了Science 今天发表了一篇文章分析了计算机科学对开放获取与开放评议的巨大需求,这种需求不仅因为研究领域的高速发展,同时还因为 arXiv 和 OpenReview 等而成功

AVI 智能体实现近似价值迭代(De Farias Van Roy, 2000; Van Roy, 2006; Munos, 2007; Munos Szepesvari ´ , 2008),K = 10 次迭代」

Springer Nature 在期刊规划上并没有退缩,其发言人 Susie Winter 在伦敦发表声明:「目前,我们认为产出像 Nature 这样高度精选的期刊,并确保长期可持续性可成为最广泛社区的资源,最公平的方式就是让读者分摊相关费用最后我们返回前 n 个类别及其描述对于国际象棋或围棋等游戏而言,使用 MCTS 的在线规划可能是合适的,但是在需要快速决策的游戏中(如 Atari 或 MOBA 视频游戏),树搜索方法就太慢了(Guo et al., 2014)

!head -48 vgg16-symbol.json

三个模型都使用 ImageNet 训练集进行预训练一旦训练完成,我们可以查看训练日志,然后选择最佳 epoch 的权重,最优 epoch 即具有最高验证准确度的 epochMXNet 将此称为检查点为此,MCTS 在树到达一定深度时,利用子节点鉴别器(策略函数(Chaslot et al., 2006)rollout、价值函数评估(Campbell et al., 2002; Enzenberger, 2004),或二者的混合(Silver et al., 2016))的指引,生成对下游值的估计我们为基于树搜索的强化学习算法提供第一个样本复杂度界限

图 4:左:来自 2×2 多池化(Multi-pooling)得到的 2×2 = 4 输出图」Dietterich 称他并未抵制 Springer Nature 的旗舰刊物 Nature,因为计算机科学家不会在综合期刊上发表文章

2013 年,马萨诸塞大学的计算机科学家 Andrew McCallum 发布了 OpenReview,该网站允许作者提交会议论文并邀请评议人公开发表他们的评论和决定,其他人也能添加评论

CNN 的近邻图像块计算中一般都存在冗余问题,当存在池化层或步幅为 1 时,减少冗余的方法将变得更加复杂

图 5:问题 (x2, x1 +1) = (x2, x1) + 2 和 (x2, x1) = (x2, x1) + 1:内部维度 x1 的步长更大在模型加载完成之后,我们得到一个 Symbol 对象和权重、AKA 模型参数这类问题大多可以归为基于 CNN 的特征提取的范畴 [8, 10],其中包括如摄影机校准、图像块匹配 [2]、光流估计 [1, 5],以及立体匹配 [13]NIPS 请 Kaelbling 帮助寻找 2750 位评议者评议会议提交论文通常情况下,论文会发表在 arXiv 并免费提交到学术会议,在学术会议中这些论文会得到一些形式的同行审议:评审、接收或拒绝本论文仅考虑 1v1 模式,该模式中每个玩家控制一个「英雄」,还有一些稍微弱一点的游戏控制的「小兵」最近,匹茨堡大学、腾讯 AI Lab 等机构提交到 ICML 2018 大会的一篇论文揭开了王者荣耀 AI 研究的面纱

计算机科学诞生于反叛的黑客文化,这是一种活在人工智能出版文化中的精神数月内,基于这篇论文的其他论文也发布在 arXiv 上

在图像馈送至模型后,模型输出一个包含 1000 种可能性的 NDArray,对应 1000 个类别


与理论不同,在算法的实际实现中,回归使用 cosine proximity loss,而分类使用负对数似然损失

对于研究者而言,游戏是完美的 AI 训练环境,教会人工智能打各种电子游戏一直是很多人努力的目标奖励函数的目标是模仿奖励形态(reward shaping),使用信号组合(包括健康、技能、伤害和靠近水晶的程度)


本文中,我们将通过论文简要介绍该研究背后的技术,以及人工智能在王者荣耀中目前的能力(在 Nature 杂志上发表 AlphaGo 最新研究论文的 Google DeepMind 是个例外,尽管多名 DeepMind 员工签署了那份抵制声明在采取动作之后,系统向前移动,然后从下一个状态中创建一棵新的树(旧树的数据可能会部分保存或完全丢弃)」并且他认为请愿书的签署人可能对于零成本期刊抱有不切实际的希望

第二个智能体因为没有 rollout 被标注为「NR」Facebook 首席 AI 科学家 Yann LeCun 表示由于期刊的审核速度慢,计算机科学家更倾向于在 arXiv 上发表研究成果

基于反馈的树搜索算法的深度神经网络实现在近期流行的 MOBA 游戏《王者荣耀》上进行了测试输出向量 O(x, y) = CP(P(x, y)) 为一个 k 通道向量,属于 (I_h,I_w, k) 维的输出矩阵 O,其中 O 包含了 CP 在所有图像块 P(x, y) 上运行的结果

def loadCategories():
       synsetfile = open('synset.txt', 'r')
       synsets = []
       for l in synsetfile:
               synsets.append(l.rstrip())
       return synsets

synsets = loadCategories()
print(synsets[:10])

现在我们编写一个从文件中加载图像的函数



有关目标对象、技能要求的更多信息,请查看官网他讲了一个故事,他的同事在 arXiv 上发布了一篇关于计算机视觉的论文其中 FBTS 为新研究提出的智能体初始策略 π0 采取随机动作:移动(w.p. 0.5)、直接攻击(w.p. 0.2)或特殊技能(w.p. 0.3)它包含三个 BGR 顺序的通道(蓝色、绿色、红色)在与这些共同对手的战斗中,FBTS 显著优于 DPI、AVI、SL 和游戏内建 AI


图 5. 几种智能体战胜其他射手英雄所用时间(以帧为单位,即帧的数量),数字越小越好这包含了所有的用于局部特征提取的神经网络,如摄影机校准、图像块匹配、光流估计,以及立体匹配最后,我们将 data 的形态定义成 1 x 3 x 224 x 224但图像块 P(x + 2, y) 则可以再使用第一个池化(蓝色)


结果


由于该游戏几乎是确定性的,因此研究者的主要测试方法是对比智能体对抗内部 AI 对手的有效性而签署者呼吁更多的「零成本」开放获取期刊每支队伍的目标是推塔并最终摧毁对方的水晶如果没有池化层(pooling layer)或步幅等于 1(striding layer),则可以通过在整张图像上运行某个通过有限图像块训练的 CNN 来避免这些计算冗余此外,麻省理工学院的计算机科学家 Leslie Kaelbling 说:「对于计算机科学领域的学术成果,大会论文取代期刊论文成为最理想的发表方式训练完成后,与子节点鉴别有关联的策略可以实现,以进行快速、实时的决策,而无需树搜索另外,此方法也可以应用于其他基于图像块的方法,如滑动窗口的物体检测与识别

本文为机器之心编译,转载请联系本公众号获得授权数一数这些权重你就会发现一共有 16 个层:13 个卷积层以及 3 个全连接层截至 5 月 15 日,大约 3000 人(大部分是学术界计算机科学家)签署了一份请愿书,承诺不提交、评审或编辑 Nature Machine Intelligent(NMI)的任何文章,NMI 是出版商 Springer Nature 计划在 2019 年 1 月启动的新期刊

Inception v3,GoogleNet 的进化版,获得 2014 年比赛的目标检测项目冠军224 x 224 是图像分辨率:模型就是使用这个分辨率的图像来训练的该方法利用 MCTS 策略优于单独的子节点鉴别器策略(Silver et al., 2016),同时改进子节点鉴别器也会改善 MCTS 的质量(Gelly Silver, 2007)结果表明 AI 智能体在 1v1 游戏模式中很有竞争力


实验设置


系统的状态变量是一个 41 维的向量,包含直接从游戏引擎获取的信息,包括英雄位置、英雄健康度(血量)、小兵健康度、英雄技能状态和不同结构的相对位置

如图 5 所示,需要将将内部的 x 和 y 维传递给右边,并将外部维度传递给左边」

康奈尔大学物理学家、arXiv 创始人 Paul Ginsparg,对他所称的「原则性立场」表示欢呼McCallum 说:「这就是科学该有的样子,不是吗

将图像转换为 RGB 顺序(红色、绿色、蓝色)对于那些希望通过预测大量图像以获得最佳吞吐量的应用产品,GPU 肯定是最优选择研究者的第二组结果帮助可视化了 FBTS 和四个基线的对决(全部都是 FBTS 获胜):图 6 显示了 FBTS 智能体及其对手的金币比例,横轴为时间近日,匹茨堡大学和腾讯 AI Lab 提交的论文给了我们答案:狄仁杰每次调用 MCTS 运行 400 次迭代之后使用 argsort() 创建第二个数组用于存放这些降序排列的概率索引右:输出 O 的最终展开那么手机上流行的多人在线战术竞技游戏(MOBA 游戏)《王者荣耀》呢

# MacOS users can easily install 'wget' with Homebrew: 'brew install wget'
!wget http://data.dmlc.ml/models/imagenet/vgg/vgg16-symbol.json -O vgg16-symbol.json
!wget http://data.dmlc.ml/models/imagenet/vgg/vgg16-0000.params -O vgg16-0000.params
!wget http://data.dmlc.ml/models/imagenet/inception-bn/Inception-BN-symbol.json -O Inception-BN-symbol.json
!wget http://data.dmlc.ml/models/imagenet/inception-bn/Inception-BN-0126.params -O Inception-BN-0000.params
!wget http://data.dmlc.ml/models/imagenet/resnet/152-layers/resnet-152-symbol.json -O resnet-152-symbol.json
!wget http://data.dmlc.ml/models/imagenet/resnet/152-layers/resnet-152-0000.params -O resnet-152-0000.params
!wget http://data.dmlc.ml/models/imagenet/synset.txt -O synset.txt

让我们来看看 VGG-16 符号文件的第一行腾讯 AI Lab 自去年起一直在向外界透露正在进行这样的研究

所有基于图像块的任务,在近邻的 CNN 计算之间都存在大量冗余,如图 1 所示

!head -10 synset.txt
import mxnet as mx
import numpy as np
import cv2, sys, time   # You can easily install OpenCV with 'pip install cv2'
from collections import namedtuple
from IPython.core.display import Image, display

print("MXNet version: %s"  % mx.__version__)

现在加载一个模型

params = vgg16.get_params()

layers = []
for layer in params[0].keys():
   layers.append(layer)

layers.sort()    
print(layers)

对每一层而言,有两个部分值得我们关注:权重和偏置项但他补充道,「我个人对于订阅模式并不抱有敌意为了选择测试对手,研究者使用内建 AI 狄仁杰对抗其他内建 AI(即其他英雄)并选择六个内建 AI 狄仁杰能够打败的射手类英雄

下面是具体步骤:

读取图像:此步会返回一个形如(图像高度,图像宽度,3)的 numpy 数组因此 MCTS 是一个「局部」的步骤(因为它仅返回给定状态的动作),与构建「全局」策略的价值函数逼近或策略函数逼近方法存在本质区别

然后,我们将 Symbol 作为输入数据本文中,来自德国 AI 研究中心等机构的研究者提出了一种在有池化层和步幅为 1 时也能有效减少冗余的方法可以通过转置(交换)两个维度来修复此问题蓝色图像块和绿色图像块之间无法共享池化对于 CP 而言记忆并不是一个大问题(见正文)节点上的数字为该节点被共享的次数

将数组从(图像高度,图像宽度,3)转换为(3,图像高度,图像宽度)研究者提供了基准测试的源代码作为补充材料,以满足复现性要求然后将来自子节点的信息反向传播回树它是 1000×4096 的

构建提供 GPU 支持的 MXNet 教程可参考:https://mxnet.incubator.apache.org/get_started/build_from_source.html;你也可以安装预制版本:https://mxnet.incubator.apache.org/install/index.html对于传统出版而言,AI 领域的进展太过迅速,AI 在取得重大成就或造成重大危害方面的潜力都需要开放性,他说,「将我们的研究论文挡在收费墙之外将使公共监督更加困难有 22 个动作,包括移动、攻击、治疗术(heal)和特殊的技能动作,包括(扇形)非指向技能思路是在原始 infinite-horizon MDP 的多批小型 finite-horizon 版本上应用 MCTS


近年来,随着人工智能的再次崛起,深度学习、机器学习等概念已经愈来愈被普通大众所熟知,AI 教育、培训也成为了 AI 人才稀缺背景下的强需求本文展示了一种当存在池化层和步幅为 1 时,对完整图像计算基于图像块的局部特征解释器的高效算法稍后我们会在文章中看到,尽管这些模型是在相同的数据集上训练的,并且都针对最大准确率进行了优化,但它们在特定图像上的表现略有不同但目前还缺少在完整图像上高效提取局部特征的研究



报名启动中


5 月 15 日,Bytedance AI Camp 启动报名(仅限 60 人),整体时间安排如下,感兴趣的同学可点击「阅读原文」从活动官网报名「但是我很确定找到 2750 位合格的 NIPS 评议者非常困难,这太疯狂了

选自Science

作者:Matthew Hutson

机器之心编译

参与:蒋思源、路、刘晓坤

前几周,很多热爱开放式学术环境的研究者,他们不仅谴责了封闭式获取的订阅期刊,同时还呼吁开放获取的学术环境

首先,我们需要从文件中加载权重和模型描述

网络在训练阶段学习到的存储了所有连接权重、偏置项和 AKA 参数的权重文件


事实上,策略和价值函数近似在所有智能体中都是一样的,二者分别使用具备五个和两个隐藏层的全连接神经网络和 SELU(scaled exponential linear unit)激活函数(Klambauer et al., 2017)每个模型在特定图像上的表现略有不同,训练多个模型旨在找出更适合特定任务的模型去年 8 月,


游戏介绍


在《王者荣耀》中,玩家被分为对立的两队,每一队有一个基地,分别在游戏地图的相反角落(与其他 MOBA 游戏类似,如英雄联盟和 Dota 2)没有价值函数和树搜索(因为计算限制,不使用树搜索就可能进行更多次迭代)

在计算机科学中,大多数活跃的成果都不会发表在期刊中它不仅谴责了封闭式获取的订阅期刊(例如 NMI),还包括那些向作者收取费用的出版社:开放获取的期刊是免费阅读的,但需要研究者付费才能发表文章为什么要尝试多个模型呢NDArray 只有一行因为批大小为 1

图 4 展示了 2×2 池化的展开但 CI 运行速度更快,因为其避免了重叠图像块上的冗余计算MCTS 的标准目标是仅为根节点推荐动作匹茨堡大学、腾讯 AI Lab 等机构的研究者们新发表的论文研究了一种基于反馈的新型框架,其中 MCTS 利用根节点生成的观测结果更新其子节点鉴别器

def loadModel(modelname, gpu=False):
       sym, arg_params, aux_params = mx.model.load_checkpoint(modelname, 0)
       arg_params['prob_label'] = mx.nd.array([0])
       arg_params['softmax_label'] = mx.nd.array([0])
       if gpu:
           mod = mx.mod.Module(symbol=sym, context=mx.gpu(0))
       else:
           mod = mx.mod.Module(symbol=sym)
       mod.bind(for_training=False, data_shapes=[('data', (1,3,224,224))])
       mod.set_params(arg_params, aux_params)
       return mod

我们还需要加载存储在 synset.txt 文件中的 1000 个类别

将图像大小改为 224 x 224


研究者称,新论文的主要贡献如下:


提出了一个基于批量 MCTS 的强化学习方法,其在连续状态、有限动作 MDP 上运行,且利用了子节点鉴别器可以通过之前的树搜索结果进行更新来生成更强大的树搜索现在输出剩下的全连接层的权重:

print(params[0]['fc8_weight'])


你注意到这个矩阵的形状了吗在该研究中,人们尝试了 AlphaGo Zero 中出现的蒙特卡洛树搜索(MCTS)等技术,并取得了不错的效果

原标题:报名 | 理论+实践—字节跳动启动Alex Smola、周志华、朱军、贾扬清等13位大咖授课的AI夏令营

近日,字节跳动(Bytedance) 启动了面向高校学生的 AI 学习实践训练营「Bytedance AI Camp」(报名进行中),通过封闭式课程+实践性项目帮助学生深入了解 AI 技术

✄------------------------------------------------

加入机器之心(全职记者/实习生):hr@jiqizhixin.com

投稿或寻求报道:content@jiqizhixin.com

广告 商务合作:bd@jiqizhixin.com

现在开始使用这些模型来对我们自己的图像进行分类:

!wget http://jsimon-public.s3.amazonaws.com/violin.jpg -O violin.jpg
image = "violin.jpg"

display(Image(filename=image))

topn = 5
print("*** VGG16")
print(predict(image,vgg16,categories,topn))
print("*** ResNet-152")
print(predict(image,resnet152,categories,topn))
print("*** Inception v3")
print(predict(image,inceptionv3,categories,topn))


再用 GPU 环境试试:

gpu = True
vgg16 = loadModel("vgg16", gpu)
resnet152 = loadModel("resnet-152", gpu)
inceptionv3 = loadModel("Inception-BN", gpu)

print("*** VGG16")
print(predict(image,vgg16,categories,topn))
print("*** ResNet-152")
print(predict(image,resnet152,categories,topn))
print("*** Inception v3")
print(predict(image,inceptionv3,categories,topn))

注意:如果遇到了关于 GPU 支持的错误,有可能是你的机器没有配置 GPU,或者你使用的 MXNet 版本尚未提供 GPU 支持(USE_CUDA=1)图 5 显示了每个智能体打败测试对手的时间长度(单位为帧)(如果对手赢了,则显示为 20,000 帧)

论文结构如下:第 2 部分展示相关研究;第 3 部分展示本文的方法;第 4 部分展示该方法的一个基准测试MCTS 步骤生成的推荐结果作为反馈,通过分类和回归来为下一次迭代细化子节点鉴别器」McCallum 称,「这种情况在封闭的出版界不会发生


MCTS 的性能严重依赖策略/值逼近结果的质量(Gelly Silver, 2007),同时 MCTS 在围棋领域的成功表明它改善了用于子节点鉴别的给定策略,事实上,这可以被看作是策略改进算子(Silver et al., 2017)MCTS 背后的概念是如果给出大概的状态或动作值估计,则只需要在具备高估计值的状态和动作方向扩展决策树搜索深度 d = 7,rollout 长度 h = 5一般来说它不会是最后一个 epoch


案例分析:《王者荣耀》MOBA 游戏 AI


研究者在全新的、有挑战性的环境:《王者荣耀》游戏中实现了基于反馈的树搜索算法

第二,我们接下来只预测单个图像,因此对性能没有特殊要求这个层包含了 1000 个神经元:每一个神经元会存储图像属于某个特定分类的概率于上个月发动该抵制运动的俄勒冈州立大学计算机科学家 Thomas Dietterich 称,该抵制运动的目的是为缺乏资源的科学家「降低研究进展的门槛」

ResNet-152,获得 2015 年比赛的多个项目的冠军每条线上有防御塔来防御,它可以攻击在一定范围内的敌人为了减少价值逼近中的相关性,研究者丢弃了在这些轨迹中遇到的 2/3 的状态函数逼近器用于追踪策略和价值函数逼近,后者用于减少树搜索 rollout 的长度(通常,策略的 rollout 变成了复杂环境中的计算瓶颈)在 rollout 中,研究者使用游戏内部 AI 作为英雄狄仁杰的对手在实时决策应用中,构建足够的「运行中」(on-the-fly)局部逼近比在决策的短期时间内使用预训练全局策略更难

DPI 智能体使用 Lazaric et al., 2016 的直接策略迭代技术,进行 K = 10 次迭代

人工智能的崛起

根据 SCOPUS 数据库的一项研究,尽管有期刊抵制,但人工智能领域的论文数大约是 1996 年的 10 倍我们可以选择运行模型的环境:默认情况下使用 CPU 环境

图 3 展示了池化的主要问题:不同的图像块 P(x, y) :即使它们本身是直接相邻的,如 P(x, y) 和 P(x+1, y),也需要不同的池化,因此无法共享池化输出」

AI 论文发布的热潮可能不可持续,但是这令人兴奋,McCallum 说道另外,此方法几乎可以在目前所有的 CNN 架构中使用总体来看,它在批量设置上与 AlphaGo Zero 算法有些相似第一个图像块 P(x, y) 需要的图像块 2x2 池化(蓝色)和第二个图像块 P(x + 1, y) 所需的(绿色)不同)

Dietterich 称,非营利组织的期刊,如 AAAS 的 Science 和 Science Robotics、IEEE 和 ACM(美国计算机协会)的期刊也没什么问题,这是因为他们的愿景和低费用此外,我们还证明该技术的深度神经网络实现可以创建一个适合《王者荣耀》游戏的有竞争力的 AI 智能体如图所示,每个游戏结束时 FBTS 的金币比例都在 [1.25, 1.75] 区间内每个神经元也和前一层(『fc7』)所有的神经元(4096 个)全部连接

在本文中,研究者展示了一个优美的、可推广的避免冗余计算的方法,存在池化层或步幅为 1 时本方法依然有效根据作者的认知,基于批量 MCTS 的强化学习方法还没有理论分析


论文:Feedback-Based Tree Search for Reinforcement Learning



论文链接:https://arxiv.org/abs/1805.05935


摘要:蒙特卡洛树搜索(MCTS)已在多个人工智能领域取得了成功,受此启发我们提出了一种基于模型的强化学习技术,可以在原始 infinite-horizon 马尔可夫决策过程的多批小型 finite-horizon 版本上迭代使用 MCTS由于在该游戏环境中我们无法「倒带」或「快进」至任意状态,因此采样分布 ρ0 由第一次采取的随机动作(随机的步数)来实现并到达初始状态,然后遵循策略 πk 直到游戏结束」他补充道,他和 Ginsparg 正在讨论如何使用 OpenReview 为 arXiv 论文提供独立评议模块,因为 arXiv 目前并不包含评议功能后者的速度明显更快,在更大图像上尤为如此只需将它们复制到此 notebook(https://s3.amazonaws.com/aws-ml-blog/artifacts/pre-trained-apache-mxnet-models/Pre-trained%2Bmodels.ipynb)所处的文件夹即可,更新上述模块的文件名,然后再次运行 predict() 函数

def predict(filename, model, categories, n):
       array = prepareNDArray(filename)
       Batch = namedtuple('Batch', ['data'])
       t1 = time.time()
       model.forward(Batch([array]))
       prob = model.get_outputs()[0].asnumpy()
       t2 = time.time()
       print("Predicted in %.2f microseconds" % (t2-t1))
       prob = np.squeeze(prob)
       sortedprobindex = np.argsort(prob)[::-1]

       topn = []
       for i in sortedprobindex[0:n]:
               topn.append((prob[i], categories[i]))
       return topn

现在是时候将所有的模块组装起来了」 

原文链接:http://www.sciencemag.org/news/2018/05/why-are-ai-researchers-boycotting-new-nature-journal-and-shunning-others

本文为机器之心编译,转载请联系本公众号获得授权大致如下:(1)初始化随机价值函数和策略函数;(2)开始(可能是并行处理)处理一批 MCTS 实例(限制在搜索深度内,从采样状态集合中初始化而得),同时将价值函数和策略函数整合为子节点鉴别器;(3)使用最近的 MCTS 根节点观测结果更新价值函数和策略函数;(4)从第(2)步开始重复步骤研究者还添加了游戏内建 AI 的狄仁杰作为「完整性检查」基线智能体该实现是第一次为该游戏 1v1 模式设计 AI 的尝试每位技术大牛都将带来一小时前沿技术 keynote、两小时技术干货 lecture,研究领域涵盖机器学习和系统、深度学习、机器学习算法、计算机视觉、自然语言处理等多个角度这更像是「让我带你们回顾一下该科学研究的来龙去脉在每个训练 epoch 之后保存权重是个好习惯研究者的智能体每一个都包含内建狄仁杰 AI,使用智能体对抗测试对手可以看到输入层的定义('data'),第一个卷积层的权重和偏置项

加上第四个维度,然后构建 NDArray之后我们创建一个新 Module 并为其分配 Symbol 作为输入在开发 AlphaGo 并在围棋上战胜人类顶尖选手之后,开展星际争霸 2 的人工智能研究该训练营由包括周志华、李航、朱军、Alexander J. Smola 等来自学术界、产业界的 13 位国内外 AI 大牛亲临授课,从理论学习到实战操练,用 6 天时间提升参与者的 AI 技术


主要贡献


MCTS 的这些特性推动了研究者们提出一种新方法,在训练步骤中利用 MCTS 的局部特性,来迭代地构建适应所有状态的全局策略


2006 年 Remi Coulom 首次介绍了蒙特卡洛树搜索(MCTS),2012 年 Browne 等人在论文中对其进行了详细介绍


图 4.《王者荣耀》1v1 游戏模式截图我们使用估计值函数和估计策略函数指定 finite-horizon 问题的终止条件或 MCTS 所生成决策树的子节点鉴别器这两种运算基本在所有的机器学习框架中都适用首先,我们先从 Apache MXNet 模型库中下载三个图像分类模型

记住,Module 对象必须批量地向模型输入数据这些 mentor 来自字节跳动核心技术部门和字节跳动 AI Lab本论文提出的算法可以离策略的方式在强化学习训练阶段中使用

方法

本文中我们希望将一个 CNN CP(利用图像块 P T 训练得到)迅速高效的运行于输入图像 I 的所有图像块 P(x, y) 上在学术界,越来越多的高校开始开设人工智能学院,从本科到博士培养 AI 人才;在产业界,科技巨头积极的开展 AI Residency Program 吸引、孵化技术人才

GPU 版本和 CPU 版本的性能差异非常明显,在 15 倍到 20 倍之间卷积操作和线性修正单元激活函数分别用(『conv1_1』)和(『relu1_1』)定义


MCTS 通常被视为一种在线规划器,决策树以当前状态作为根节点开始构建(Chaslot et al., 2006; 2008; Hingston Masek, 2007; Maˆıtrepierre et al., 2008; Cazenave, 2009; Mehat ´ Cazenave, 2010; Gelly Silver, 2011; Gelly et al., 2012; Silver et al., 2016)此处,我们想要预测单个图像,所以虽然我们可以使用数据迭代器,但它可能会越界


为了向业内贡献更多优秀的 AI 人才、让人们更加了解字节跳动的 AI 技术,字节跳动也于近日启动了面向高校学生的 AI 学习实践训练营「Bytedance AI Camp」,用 6 天时间从理论学习到实战操练提升学生的 AI 技术这也许是之前研究避免池化层的一个原因此外,还有一些「神奇」的东西出现了,例如对 2013 年一篇关于数据分析的论文,来自计算科学领域外的数学家指出证明中的一处错误,并分享了如何修正它的意见通常的做法是使用数据迭代器

图 1:左:一个简单的 1 维 CNN该算法可被认为是 DQN 的批量版本假设给出初始状态(或决策树的根节点),那么 MCTS 致力于迭代地构建与给定马尔可夫决策过程(MDP)相关的决策树,以便注意力被集中在状态空间的「重要」区域我们将利用 openCV 库及输入图像来构建 NDArray当存在多个池化层是,直接展开相当复杂但是,FBTS 仅稍微超出 NR 的表现(这并不令人惊讶,因为 NR 是另外一个也使用 MCTS 的智能体)此方法只需要在原始 CNN 层的基础上添加实现转置和重塑(reshape)运算的神经层首先,我们输出所有层的名字近年来 MCTS 因其在游戏 AI 领域的成功引起了广泛关注,在 AlphaGo 出现时关注度到达顶峰(Silver et al., 2016)

def prepareNDArray(filename):
       img = cv2.imread(filename)
       img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
       img = cv2.resize(img, (224, 224,))
       img = np.swapaxes(img, 0, 2)
       img = np.swapaxes(img, 1, 2)
       img = img[np.newaxis, :]
       array = mx.nd.array(img)
       print(array.shape)
       return array

现在我们把重点放在预测上

图 3:图像不同位置的图像块 P(红线表示)除了将移动方向挪向奖励方向之外,π0 不使用其他启发式信息目前,人们的做法一般是:彻底避免池化层或步幅为 1 [13]、直接使用冗余计算 [5] 或设计出一个也能得到更稀疏结果的方法 [6, 7]


图 2. 反馈循环图示研究者训练了五个《王者荣耀》智能体,使用的英雄是狄仁杰:


FBTS 智能体使用基于反馈的树搜索算法进行训练,一共迭代 7 次,每次进行 50 局游戏

现在是时候用你自己的图像试试了加载这三个模型:

gpu = False
vgg16 = loadModel("vgg16", gpu)
resnet152 = loadModel("resnet-152", gpu)
inceptionv3 = loadModel("Inception-BN", gpu)
categories = loadCategories()

在进行图像分类之前,我们来仔细查看一下之前从 .params 文件中加载得到的 VGG-16 模型参数

这份由多位 AI 领域的著名学者签署的请愿书,不仅仅是对开放获取的学术环境的呼吁为什么不直接选择准确率最高的呢

论文:Fast Dense Feature Extraction with CNNs that have Pooling or Striding Layers


论文地址:https://arxiv.org/pdf/1805.03096.pdf

近年,许多研究表明,基于卷积神经网络提取的特征比工程化特征表现更好

在这篇博文中,你将会了解如何使用 Apache MXNet 预训练出的多个模型我们的参数是单个图像、模型、类别列表以及我们想要优先返回的类别数量这么做有两个原因:

第一,即使你的电脑没有 GPU,你也能测试 notebook(https://s3.amazonaws.com/aws-ml-blog/artifacts/pre-trained-apache-mxnet-models/Pre-trained%2Bmodels.ipynb)因此,我们需要两个池化层:一个原始的(蓝色)和一个平移了一个像素的(绿色),来避免输出分辨率被减半主要的 AI 会议已经开始使用这个网站,McCallum 说关于网络论战和软评论的担忧并没有出现

实验

表 1:CP 和 CI 的速度基准测试但如果存在池化层,情况就会变得很复杂

Kaelbling 称 AI 研究激增给现有的论文发布带来了很大压力,OpenReview 等网站通过扩散评议以及抑制低质量的论文提交稍微改善这种情况

虽然绝大多数的 CNN 都直接运行在整张图像上,但还有很多重要任务需要使用基于图像块(patch based)的 CNN 来处理:在一个邻近、重叠的图像块上多次运行同一个 CNN

✄------------------------------------------------

加入机器之心(全职记者/实习生):hr@jiqizhixin.com

投稿或寻求报道:content@jiqizhixin.com

广告 商务合作:bd@jiqizhixin.com


作为全球最早将人工智能应用于主产品的公司之一,字节跳动近年来在 AI 人才方面不断投资,先后有李磊、马维英、李航等技术大牛的加入CI 结果和在图像 I 的每个图像块上独立运行 CP 得到的结果相同服务器是很便宜,但「系统化的质量管理是需要大量人力,这会消耗很大的成本


图 6. 游戏内行为我们将一个基于 CNN 的特征提取方法运用于整张图像,并给出使用/未使用我们的加速方法下的速度基准测试,以及对应的(Torch)示例代码:这表明任意 CNN 架构都可以轻松地用我们的方法转换我们称之为 data,为了与它在网络输入层时的名字保持一致(JSON 文件的前几行提过)当其中一篇论文出现在某个会议上,作者不只是谈论自己的论文,还谈论一年来的进展


据介绍,在 AI 在线课程、培训如此繁多的时代,以理论+实践为特色的 Bytedance AI Camp 有四大亮点:


最强的教师阵容:国内外 13 位 AI 大牛亲临授课;

字节跳动公司最优秀工程师 1:3 的 mentor 指导;

海量真实数据场景:提供字节跳动已有的大数据与工具;

理论学习与项目实践互为配套


专家团队名单


课程安排


在课程安排上,Bytedance AI Camp 采用 2 天知识课+3 天项目实战课+0.5 天项目展示的方式,既覆盖了理论学习又包括项目实践我们可以在 synset.txt 文件中查看这些类别

原文地址:https://aws.amazon.com/cn/blogs/machine-learning/use-pre-trained-models-with-apache-mxnet/

本文为机器之心编译,转载请联系本公众号获得授权对于 ρ1,研究者遵循 MCTS 策略,偶尔带入噪声(以随机动作和随机转向默认策略的方式)来减少相关性P(x, y) 和 P(x + 2, y) 的重叠部分结果相同,因此可以共享(黄色部分)MCTS 是 UCT 算法的变体,更适合处理并行模拟:研究者不使用 UCB 分数的 argmax,而是根据对 UCB 得分应用 softmax 函数所获得的分布进行动作采样

零成本的数字出版方式可以帮助应对人工智能论文的爆炸式增长值得注意的是,此处使用的策略架构与之前的智能体一致


项目实践时,Bytedance AI Camp 安排了 1:3 的 mentor 指导:三名同学组成一个项目组,每组安排一名资深 mentor这是一种通用方法,可以应用于几乎所有的现有神经网络架构

提供对该方法的完整样本复杂度分析,表明足够大的样本规模和充分的树搜索可以使估计策略的性能接近最优,除了一些不可避免的逼近误差红色连接展示了红色节点是如何共享的


13 位 AI 大牛


除了来自字节跳动的几位技术大牛,该课程还邀请到了周志华、马毅、朱军、Alexander J. Smola、贾扬清等大牛亲自授课,带来 2 天、20 小时的理论学习

原标题:学界 | Science评论「抵制Nature子刊」事件:为什么AI研究者热爱arXiv与OpenReview右:如果将此 CNN 运行在图像的每个像素位上,来为每个像素位创造特征,许多中间层结果会在网络之间实现共享1 是批量大小:一次预测一个图像王者荣耀游戏中英雄对敌人造成伤害或者战胜敌人时,都会得到金币,因此金币比例大于 1.0(高出红色区域)表示 FBTS 的良好性能尝试这些模型,或许能找到一个合适的模型解决手头上的难题图 4 显示了两个英雄和他们的小兵,左上角是地图,蓝色和红色标记表示塔和水晶这种倾向在对高调 AI 期刊 Nature Machine Intelligent 的抵制运动中表现得淋漓尽致另一方面,也有一些重要的基于图像块的应用场景,如滑动窗口的物体识别与检测 [7],通常并不会被归为特征提取任务这个训练集包含超过 120 万张物体和动物的图像,这些图像被分成了 1000 个类别然后,记忆(memory)的重新解释(重塑)可以将其降低为一个 x 维度