• OpenCloud 2015大会圆满落幕

    由CSDN主办OpenCloud 2015大会于4月16日-18日在国家会议中心成功举办。“2015 OpenStack技术大会”、“2015 Spark技术峰会”、“2015 Container技术峰会”三大峰会及三场深度行业实战培训赢得了讲师和听众们高度认可,40余位一线专家的深度主题演讲赢得阵阵掌声。

图文实录

  • 4月17日
  • 4月18日
  • 18:05上海点融开发运维主管万林涛介绍Docker在点融网Devops流程中的重要作用。着重讲解Docker对简化开发环境配置、应用快速部署、生产环境弹性运维的实战细节。他认为Docker对于减少需要重复配置和部署的地方非常有帮助。比如,在产品持续集成和交付的过程中,我们常常需要部署多套测试环境,通过将Docker镜像的方式可以实现快速部署。不过,Docker在网络、安全、管理等方面都有需要改进的地方。现在点融网除去防火墙、Load Blance和数据库外,都已经实现了Docker化。因为Load Blance不需要经常重复配置和动态管理。在CI流程中,点融网是这样使用Docker的:Git做管理代码,Jenkins做编译,Docker将代码打包成image文件,最后交付给Runtime环境运行。

  • 17:35腾讯高级工程师,基础服务组高级工程师陈芳录,本次分享的题目是《容器技术在腾讯SNG中间层的应用》,主要从中间层的管理演变来介绍容器技术的应用。分享的内容涉及LXC和Docker两种容器技术,分别介绍腾讯对虚拟化选型的考虑、对哪些资源进行了隔离、怎么通过优化内核实现Per container统计隔离、怎么进行LXC生产管理,从而建立起国内最大的LXC集群的,以及腾讯对Docker技术的探索和跟蜂巢集群融合的尝试。他表示对于Docker,腾讯主要做了三个方面的优化:首先是BUG修复,比如Docker非0退出时rm不生效,对于bindmount为true时config path无法清除等BUG。其次是优化Docker的资源管理策略,比如内存的Hardlimit的管理策略,不但使用户进程容易被kill,更加造成了资源的浪费,对用户估计自己业务的资源需求也非常高。最后一个方面是资源管理纬度,Docker在资源管理纬度方面只有CPU和内存两个维度,这对于共享的云环境下需要完善,也是目前相对于虚拟机不足的地方。

  • 16:40IBM中国研究院高级研究员陈冠诚带来了主题为“基于OpenStack、Docker和Spark 打造SuperVessel大数据公有云”的演讲。据陈冠诚介绍,SuperVessel是一个构建于OpenStack及Power7/Power8的公有云,提供Spark as Service、Docker Service以及CogniNve CompuNng Service等服务。对于为何选择Docker和Spark技术打造SuperVessel公有云,他也给与了解释。选择OpenStack的原因有两点:1. 社区活跃者、社区贡献者等超越其他竞争对手;2. 支持Docker。选择Docker有三点原因:1. 资源占用率远小于KVM,2. 启动非常快,3. 可以逐步构建、恢复和复用容器;选择Spark基于一下四点原因:1. 快,2.统一,3.生态系统发展很快,4.porting to Power。最后总结时,他表示Spark+OpenStack+Docker在OpenPower服务器上能够很好的运行,Docker化服务能够让Devops更加简单,他也强调注意监测everything。

  • 16:40数人科技创始人王璞今天带来的题目是《Docker与Mesos的结合应用》,他表示Apache Mesos能够在同样的集群机器上运行多种分布式系统类型,更加动态有效率低共享资源。提供失败侦测,任务发布,任务跟踪,任务监控,低层次资源管理和细粒度的资源共享,可以扩展伸缩到数千个节点。Mesos从0.20版本支持Docker,Mesos + Docker结合能够提供一个非常强大的在集群环境中部署应用和服务的平台。因为Docker非常适合应用发布,再跟Mesos结合以后,极大地简化了分布式应用部署。而且Docker优良的可移植性加上Mesos强大的分布式资源管理功能,基于Mesos和Docker实现的分布式应用具有很好的弹性伸缩能力,便于打造高可靠性企业级应用,极大地方便了企业开发部署分布式应用。他对Mesos只专注于资源调度、把资源暴露给上层的计算框架、由上层的Spark、Hadoop等来消费的方式赞不绝口。

  • 16:00亚信科技大数据平台研发部门经理田毅重点分享了多个项目的实践。比如基于Spark改造用户标签分析查询平台。最初通信数据和上网数据,通过数据库,TCL脚本,SQL实现探索、监控和分析。其存在很多问题:标签数量越来越大,数据库负载过高,扩展成本高;标签表的列数随着标签数量增加不断增多,部分现场达到2000+,只能通过分表方式解决,查询时需要Join操作;标签与指标的计算无法摆脱SQL的约束,无法快速集成机器学习的算法。第一次改造是将Spark SQL+HDFS代替SQL。好处很明显:使用SparkSQL+Parquet的方案,有效保证了查询效率;原有系统基本不用太大改造;查询系统具备平行扩展能力。但也有一些新的问题产生,如增加了从数据库倒出数据,加载到HDFS的额外步骤;增加了从文本数据转化为Parquet格式的额外步骤。第二次改造将原有数据库换成了HDFS,将TCL脚本换为SparkSQL。不仅整个系统的扩展性进一步增强,而且两套SparkSQL可以根据各自忙闲时的不同,共享整个系统的计算资源。等到Spark 1.3.0发布后,External Datasource API进一步增强;DataFrame提供了丰富多样的数据源支持;DataFrame提供了一整套用于操纵数据的DSL。这些帮助项目彻底摆脱了标签分析算法对于SQL的依赖,前端也可以通过ExtDatasource按需抽取数据,降低了ETL对系统的依赖。而且基于DF的处理程序代码量仅有原程序的1/10,可读性大大提高。同样深入的项目分析还有基于Spark Streaming改造内容识别平台等。

  • 16:00华为开源能力中心开源战略规划专家汪洋今天带来的主题是《NFV场景下的Docker容器技术应用研究》,谈到了NFV/SDN场景下的业务挑战,同时他以使用容器技术解决电信业务问题为例讲解了在实施过程遇见的一些问题。他表示ICT融合的大趋势下,电信网络也在逐步的将IT领域技术引入进来,比如传统虚拟化技术XEN、KVM、VMware等,客观的说,这些技术带来了一定的好处,但是并不能完全解决电信网络的问题,比如:电信网络对传输时延要求很高,频繁的抖动将会给客户体验带来致命打击。Container/Docker 相比传统虚拟化技术,其特点在于运行时的轻量级和应用部署的高效性,目前有很多IT/互联网企业的应用在架构上已充分考虑了解耦和分布式,迁移到Container/Docker上基本上没有太大的阻力,电信领域的迁移则不同,目前最大的挑战就是软件架构的调整,电信业务的拆分,同时还要保证实时性和可靠性,这对传统虚拟化技术是个挑战。

  • 15:20继上午“New Directions for Spark in 2015”的演讲后,Spark Streaming项目带头人 Tathagata Das为大家介绍了Spark Streaming过去一年的功能更新、实际应用案例和未来的新功能。TD表示在过去一年,Spark Streaming在Python API、Stream MLlib 算法、Kafka Steam API、Library和System Infrastructure都有所更新。在实际应用中,Pearson培生教育出版集团、大数据解决方案提供商Guavus和视频网站Netflix都在各自的业务中应用了Spark Streaming。Pearson从早期的Storm转向Spark,使用Spark结合学生活动和事件更新学生学习模式,而Netflix则是实时分析电视剧和电影的趋势。在未来,TD透露Spark Streaming会在库、业务易用性和性能上进行提升。

  • 15:20京东资深架构师田琪带领我们《深入理解容器技术》,专注于系统最底层的CGroup、Namespace,以及Device Mapper相关的东西。他介绍,CGroup提供进程的资源管理功能(主要涉及内存,CPU,IO等),不依赖于Namespace,可单独使用,管理功能通过VFS接口暴露,CGroups提供通用框架,各子系统负责实现。CGroup及ns的问题,是ns的隔离性不完整,需要多种类的命名空间,同时CGroups IO控制方面问题较多,包括带宽控制只能CFQ调度器,不适合高速硬件,通用限流策略缺少弹性,buffer io无法准确控制等。他还认为Docker虽然在快速发展中,但功能仍需完善,并且容器技术严重依赖内核特性,其使用必须做一些选择题:定制还是选择,work around还是组件内核团队,Docker存储端驱动选择overlayfs还是Device Mapper,镜像后端分布式存储是自主研发还是开源定制等。

  • 14:50英特尔大数据技术中心研发经理黄洁就Spark的内存管理、IO提升和计算优化3个方面进行了详细讲解。通过黄洁分享过程中的互动调查发现,现场数百人中有接近80%的来宾表示已经或准备使用Spark。而在这80%的来宾中,有10%的朋友期望使用Spark做高级的机器学习和图分析,10%的朋友期望做复杂的交互式OLAP/BI,10%的朋友希望做实时的流计算。对于Spark,黄洁表示,它将成为大数据的一个重要角色,同时,也将成为下一代IA大数据主要平台。

  • 14:50灵雀云(alauda)首席架构师,前微软Azure团队首席架构师 陈恺,带来的演讲是“Container Management at Cloud Scale ”,陈恺首先用“A Tale of King’s Shoes”的故事,来比喻虚拟机和容器的关系,虚拟机是对物理机上资源的封装隔离,容器是应用的包装。Docker又将容器技术进行了简化,Docker将应用的对外依赖完全封装,能够重复标准的运行。但是有了Docker还不够,怎样管理容器?陈恺分别比较了Mesos,Kubernetes和Docker自身发布的Machine、Swarm和Compose这三种管理工具。最后陈恺介绍了灵雀云的整体架构和实现方式,AlaudaCloud自3月11日开始内测,目前在其上开启的容器数量已超过10W次。

  • 14:30Cloudera高级架构师Phil Tian(田凤占)的演讲主题是Spark 驱动智能大数据分析应用,对于Spark,他认为Spark将取代MapReduce成为通用的Hadoop计算框架,这主要因为:在与Hadoop社区良好集成的同时,Spark当下已经得到更广泛社区和提供商的支持;卓越的数据科学和机器学习等。演讲期间,田博士还通过多个公司的具体用例来展现Spark的价值:Conviva通过实时分析流量规律以及更精细的流量控制,优化终端用户的在线视频体验,对于Conviva,Spark的主要价值在于快速原型开发、共享的离线和在线计算业务逻辑、开源的机器学习算法;雅虎通过Spark加速广告投放的模型训练管道,特征提取提高3X,用协同过滤进行内容推荐,对于他们来说Spark的主要价值在于降低数据管道的延迟、迭代式机器学习、高效的P2P广播。

  • 14:00VMware中国研发中心云原生应用资深架构师,Cloud Foundry中国社区最早的技术布道师之一张海宁的演讲方向是“用流水线方式管理容器应用”。Gartner预测:2018年DevOps会成为绝对主流,所以一些原有的开发技术需要调整。Docker作为新技术,VMware也在积极支持。底层是如ESXi,NSX等产品,其上是Linux和Container?。对于这个层面,下周VMware将会发布堆栈新的开源产品。谈到开发者和运维人员之间高效的流程管理,VMware vRealize Code Stream可以实现这一点。

  • 13:30美团云运维开发技术负责人潘永之介绍Docker在美团的应用实践。为了解决资源竞争(多个应用同时构建竞争发布机的计算和IO资源)、环境冲突(不同应用的构建依赖环境在一台发布机上)和安全隐患(应用的构建脚本运行在公共发布机上,脚本的bug可能会影响到发布机的正常运行)等问题,美团尝试采取多worker方式和隔离发布环境结合的解决方案,把构建过程放到Docker容器,提交代码时自动触发,发布时直接使用构建好的应用包,也就是将构建好的包上传到美团云对象存储服务MSS,发布时从MSS拉取软件包并发布,还支持CoreOS模板。潘永之解释了没有采用虚拟机的三个理由,是考虑到了虚拟机和CMDB深度结合(启动会触发一系列动作),速度慢,以及资源消耗大。

  • 13:202015 Spark技术峰会,下午场的第一位讲师是来自阿里巴巴淘宝技术部高级技术专家黄明,他分享的主题是“图流合壁: 基于Spark Streaming和GraphX的动态图计算 ”,他首先对GraphX和Streaming + MLlib的发展进行了介绍,但是在淘宝实践的过程中,他们也遇到了新的问题和挑战。在流图合璧的优点上他总结了两点:模型细腻化,相比于使用普通的算子,可以通过强大的算子,获得更好的准确度和效果;性能优化,利用图算子,可以避免进行RDD的耗时操作。在流图合璧的注意点中,他重点强调了下面几点:资源保障:针对超长的Streaming任务,合理配置Core和Worker,Memory,必须保证大多数情况不会出现严重的延迟;波动和尖刺:线上真实环境中,每周期的数据量会有波动的现象;当数据源切换后,进行数据补全时同样会产生尖刺;先根据前N周期运行时的每周期输入数据量和每周期处理时间,计算出系统处理能力的阈值,接下来的周期根据该阈值进行错峰处理。假死:图中传递的消息可能会过多以至于作业假死,需要限制消息的规模;数据堆积:当一个周期的输入数据,超出系统处理能力,就会顺延接下来周期的数据处理,数据会产生堆积;创建数据缓冲池实现错峰,根据每个周期的输入数据量预估处理时间,若预估处理时间大于时间阈值,将多余部分放入缓冲池,若预估时间小于时间阈值,则从缓冲池中释放出相应比例的数据。

  • 13:102015 Container技术峰会下午的议程开始,下午的主持人是Docker中文社区创始人马全一。

  • 11:50百度资深软件工程师马小龙的演讲内容是“Spark在百度的工程实践分享”,主要覆盖“百度中的Spark” 和“百度公有云中的Spark”两部分。在Tahyon的讲解中,马小龙首先分享了百度面临的问题,即为什么要 使用Tachyon:数据节点和计算节点可能不在同一个数据中心;跨数据中心访问延迟大。并分享了百度的解 决方案:使用 Tachyon做为Transparent Cache Layer;Cold Query从远程存储节点读取数据;Hot Query直接从Tachyon 读取。通过上述努力,百度最后在Warm\hot query上获得了10X +的性能提升。

  • 11:50引众思源CTO王旭带来的议题是《多租户环境下的Docker的安全隔离》介绍了将结合VM和Container技术,探讨隔离性和性能的折衷方案。王旭认为,通过Image和Container的集成,Docker让DevOps在部署中依赖的复杂的配置管理变得简单,Docker的出现是运维领域的一次革命,可以推动运维服务向更高层次的发展。他表示Docker的粒度介于传统的虚拟机和软件包之间,Docker的生命周期短于传统的VM,数量多于VM。对于应用架构而言,Docker希望应用尽量无状态、可重新部署、可水平扩展,如果应用比较传统可能需要调整。对于运维来说,监控采集的指标可能会发生一些变化,不能把传统的针对OS和虚机的监控简单迁移到Docker来,需要针对其数量和生命周期进行相应的调整。未来希望可以将VM和Container技术相结合,增强在不同租户、不同安全需求的容器间的隔离性,同时尽量避免强隔离带来的过多的性能损失。

  • 11:20红帽高级解决方案架构师蔡书今天带来的主题是《Docker与OpenShift的结合》,他介绍第三代OpenShift平台将以Docker和Google Kubernetes为基础来进行开发。其中Atomic是红帽最新的基于Dokcer的平台项目,在红帽的地位有些类似于基于VM的虚拟化平台oVirt,这个项目本身应该是是受到CoreOS的启发,意图打造一款适合于裸机或是云环境下的平台系统,用于部署容器应用。同时在原有Docker基于namespace和cgroup等技术的基础上,集成对SELinux的支持,进一步增加安全隔离性。同时Docker也公布了一项名为JumpStart的项目,这项计划将为组织或团体提供基于红帽企业 Linux和OpenShift的Docker Registry和Docker Commercial部署支持指导。

  • 11:10Databrciks工程师,Spark Committer,Spark SQL主要开发者之一的连城详细解读了“Spark SQL结构化数据分析”。他介绍了Spark1.3版本中的很多新特性。重点介绍了DataFrame。其从SchemaRDD演变而来,提供了更加高层抽象的API,在形态上和R和Python很类似。Spark DataFrame vs.RDD,有些类似于动态语言和静态语言的区别,在很多场景下,DataFrame优势比较明显。1.3版中,Spark进一步完善了外部数据源API,并可智能进行优化。通过轻巧的抽象,DataFrame支持各类数据源,如支持Hive,S3、Hadoop HDFS、Parquet、MySQL、HBase、dBase等,所以很容易在其基础进行各类数据分析。Spark Core比Hadoop代码量精简很多,Spark SQL的代码更加精简,所以可读性增强很多。

  • 10:30腾讯高级工程师王联辉深入分享了“腾讯在Spark上的应用与实践优化”。今年初,腾讯TDW(Tencent Distributed Data Warehouse)的Spark集群已经达到如下规模:Gaia集群结点数,8000+;HDFS的存储空间,150PB+;每天新增数据,1PB+;每天任务数,1M+;每天计算量,10PB+。王联辉表示,腾讯已经从2013年的Spark 0.6版本开始,用到了现在的Spark1.2版本。典型应用在三个方面:预测用户的广告点击概率;计算二个好友间的共同好友数;用于ETL的SparkSQL和DAG任务。优化方面,腾讯做的比较深入。如应用程序开发中的使用经验;对于ETL作业使用动态资源扩缩容特性;Redcue阶段在Map阶段未全部完成前执行;基于数据的大小预测Stage的Partition数;为SparkSQL的每个Session分配一个Driver;Count(distinct)的优化;基于排序的GroupBy/Join。

  • 10:30Linux Contributor,华为Linux内核高级开发工程师李泽帆今天带来的议题是《Linux内核容器技术的历史、现状和展望》,他表示Docker的基石——Cgroup和namespace等Linux内核特性的发展历程,目前它们在社区处于怎样的开发状况,以及在目前Docker引发的热潮下,内核社区是否会从底层提供更完善的容器技术。李泽帆认为,容器的优点在于以接近物理机的运行效率提供了虚拟化功能、能比虚拟机达到更高的实例密度、达到秒级的启动速度。Docker又加上了层级镜像的创新,使得软件的发布和部署非常便捷。因此容器/Docker有广泛的应用场景,应用时在软件架构上参考微服务架构。他同时也指出,Docker还不够成熟,存在网络功能薄弱(如跨主机的容器网络互连)、安全性(Daemon是一个单点故障)、运行传统业务困难(如CT业务)等挑战。

  • 10:002015 Container技术峰会,首位讲师是Ray Tsang,Open Source Contributor,Sr. Developer Advocate at Google。他用1个小时的时间详细讲解了Google开源的Kubernetes技术,主要包括Pod、Service、kubelet等,做了一些实操演示,并解答了现场观众的问题,包括Kubernetes在Google的应用情况。Ray表示,Kubernetes本身是管理容器的东西,但是把进程放在容器上运行。现在不仅支持Docker,也支持Rocket。

  • 09:302015 Spark技术峰会的第二个演讲来自微软亚洲研究院研究员周虎成,他分享的主题是“Spark Ecosystem and Applications inside Microsoft”,他结合了SparkSQL、GraphX、 MLLib等组件,详细分享了微软内部Spark生态系统的打造经验。

  • 09:00OCC 2015第二天,2015 Spark技术峰会上,Spark Streaming负责人Tathagata Das进行了第一个分享。TD首先分享了2014年Spark的状态:贡献者,从150增加到500;代码从19万行增加到37万行。同时,Spark已经在500个以上的生产环境得到部署。随后TD总结了2014年Spark的重点:企业应用准备;更丰富的库;扩展性更强、性能更高的核心引擎;更广泛的开箱即用场景。并透露了2015年Spark的发展方向:机器学习,为更多人使用;更丰富的平台接口。

  • 09:002015 Spark技术峰会由颜值爆表的七牛技术总监陈超主持。在看到许多站着听课的同学后,陈超为Spark的发展状况感到欣慰。

  • 09:00由CSDN主办、CSDN专家顾问团支持的 OpenCloud 2015大会进入第二天,2015 Container峰会开场,上午的大会由京东首席技术顾问翁志主持。他介绍了本次峰会请来的讲师阵容,并希望大家能够有所收获。

  • 08:552015 Spark技术峰会和2015 Container技术峰会如约到来。全天23位讲师,全干货分享,小伙伴们,哪位讲师的演讲是你最欣赏的?@CSDN云计算 微博或微信,告诉我们你的选择,会有神秘礼品哦!

新浪微博 (#OCC2015#)@CSDN云计算

4月16日

OpenStack实战技术培训

企事录联合创始人 李明宇
浙江九州云信息科技有限公司产品经理 梁博
OpenStack实战技术培训现场
OpenStack实战技术培训现场
OpenStack实战技术培训现场

Docker实战技术培训

DaoCloud联合创始人 喻勇
DaoCould联合创始人,研发副总裁 郭峰
听众与讲师交流
听众与讲师交流
Docker实战技术培训现场

4月17日

OpenStack技术大会

Spark实战技术培训

七牛云存储技术总监 陈超
Databricks工程师 连城
Intel中国研究院高级工程师 尹绪森
Spark实战技术培训现场
Spark实战技术培训现场

4月18日

Spark技术峰会

Container技术峰会

相关资讯

大会日程