腾讯高性能分布式计算平台Angel1.0发布|lol竞猜app官网

本文摘要：腾讯Angel1.0是腾讯数据平台部与香港科技大学合作、北京大学参予共同开发的分布式计算框架，它的主要设计目标是为了反对超大维度的机器学习模型运算。

腾讯Angel1.0是腾讯数据平台部与香港科技大学合作、北京大学参予共同开发的分布式计算框架，它的主要设计目标是为了反对超大维度的机器学习模型运算。Angel的核心设计理念环绕模型。

它将低维度的大模型重复到多个参数服务器节点，并通过高效的模型改版模块和运算函数，以及灵活性的实时协议，构建机器学习算法的高效运营。在去年公开发表消息时，Angel早已反对了SGD、ADMM优化算法，同时获取了一些常用的机器学习模型，现在开源的Angel1.0.0测试版也追加了LogisticRegression、SVM、KMeans、LDA、MF、GBDT等机器学习算法的构建。

用户可以便利地在线性规划算法上层PCB自己的模型。根据腾讯数据平台部总经理、首席数据专家蒋杰的讲解，Angel还可以反对运营Caffe、TensorFlow、Torch等深度自学框架，构建这些框架的多机多卡的应用于场景。Angel基于Java和Scala研发，能在社区的Yarn上必要调度运营，并基于PSService，反对SparkonAngel，未来将不会反对图计算出来和深度自学框架构建。

根据腾讯大数据部的众说纷纭，Angel自去年以来早已在千万级到亿级的特征纬度条件下运营SGD用作实际的生产任务，早已在腾讯视频引荐、广点通等精准引荐业务上实际应用于。他们还在不断扩大腾讯内部的应用于范围，未来目标是反对还包括腾讯在内多家公司的大规模机器学习任务。

Angel主要技术特点整体架构Angel的整体架构参照了谷歌的DistBelief，这是一种最初为了深度自学而设计、用于了参数服务器来解决问题极大模型在训练时改版问题的架构。参数服务器某种程度可用作机器学习中非深度自学的模型，如SGD、ADMM、LBFGS的优化算法在面对在每轮递归上亿个参数改版的场景中，必须参数分布式内存来扩展性能。如这个系统框图，Client作为客户端可以发送到启动或暂停、读取或存储模型命令，可以提供运营状态；明确的任务分配、协商调度、资源申请人由Master已完成；ParameterSever简单存储和改版参数，一个Angel计算出来任务中可以包括多个ParameterSever实例，随着任务启动而分解，随着任务完结而封存；Work实例负责管理明确的模型训练或者结果推理小说，每个Worker可以包括一个或者多个Task，这样的Task可以更加便利地分享Worker的公共资源。

机器模型运算中必须重复递归改版参数。Angel使用的ParameterSever架构比起其它类型的架构更加合适解决问题极大模型中的参数改版问题；实际运营中比起参数改版方面有单点瓶颈的Spark平台，Angel需要获得成倍的性能优势，而且模型越大优势就越显著。Angel与Spark做到了如下较为：在有5000万条训练样本的数据集上，使用SGD解法的逻辑重返模型，用于10个工作节点(Worker)，针对有所不同维度的特征一一展开了每轮递归时间和整体发散时间的较为（这里Angel用于的是BSP模式）。通过数据可见，模型越大Angel对比Spark的优势就就越显著。

本文关键词：lol竞猜app官网

本文来源：lol竞猜app官网-www.psychocinderella.com