• SDCC 2016 中国软件开发者大会圆满落幕

    2016年11月18-20日,由 CSDN打造的“SDCC 2016中国软件开发者大会”(简称SDCC 2016),在北京京都信苑饭店盛大开幕。大会为期三天,汇聚100多位国内外顶尖专家和知名讲师,全体大会探讨当下软件开发的“新趋势”与“新实践”,而14场专题论坛则直击开发者关注的技术和行业实践, “英雄会”晚宴和特色活动也异彩纷呈。SDCC 2016致力将最前沿的软件开发技术,以及最具创新的实践案例带给开发者,是国内软件开发领域最具价值的专业技术年度盛会。
      SDCC始创于2007年,十年长空,历久弥新——2016年,SDCC已分别在上海、深圳、成都、杭州四地举办系列峰会,广受当地开发者欢迎。作为的年度收官之作,本次大会聚焦最前沿技术成果,汇聚年度最强实践案例,为中国软件开发者们呈献了一份年度技术实战解析全景图。
      如果重视技术人才和工程师在这个时代的意义,如果期待技术实践能带来一日千里的发展,如果决心塑造新的企业关键竞争力,请不要错过SDCC。SDCC前行的路上,有你的陪伴才不会孤单,在软件开发技术日新月异的今天,感恩有你,让我们在快速变革的时代始终保持初心。

图文实录

  • 11月18日
  • 11月19日
  • 11月20日
  • 18:10【架构演进专题】京东资深架构师张成远,分享了《京东分布式数据库系统演进之路》的主题演讲。张成远负责京东分布式数据库系统的架构与研发工作,主导了京东分布式数据库系统在公司的落地及大规模推广。张成远从发展历程、实践经验、困难与挑战三方面,介绍京东分布式数据库系统的发展历程,以及在实际推广过程中遇到的一些挑战以及解决方案。如何保证服务的高可用数据的高可靠,以及如何在线自动化扩容,系统在对应618以及双11时的实战经验以及实战背后,通过性能与稳定、高可用/高可靠方案,演变成了如今的精细监控、路由管理的架构机制,解决了数据库系统从“活下来”到“活得更好”的改变。

  • 17:30【自动化运维与容器实践专题】最后一个演讲的是优维科技联合创始人王津银,他带来的演讲是《应用,运维管理的核心维度》,他开场就讲述了当前运维的困境,他表示,传统的从IT模式看运维将会看到处处都是“部门墙”,因此,我们应该从新的角度看待运维,重点思考以下几个问题:ITSM,IT和业务的距离真的近了么?IT真的做到敏捷了么?CMDB为什么鲜有成功案例?为什么才意识到IT自动化的价值?而由于CMDB系统要实现向资源管理系统的过度,应用的变更场景最终是对资源的变更,应用的状态最终是由其资源的状态来决定的,因此,持续交付的核心是应用管理,而运维就应该从持续交付,持续部署开始,重点关注应用管理。最后,王津银分别从应用的资源管理视角、应用的动作管理视角、应用的状态管理视角、应用的平台管理视角详细讲解了如何突破运维困境。

  • 17:20【自动化运维与容器实践专题】京东商场基础研发部高级研发工程师王兴刚进行了《京东大促:大规模容器背后的技术挑战与实践》主题演讲。JD全部业务均run在弹性云容器之上,弹性云v1.0 线上运营情况:在618大促前统计15W+。京东的容器遇到过很多挑战,包括向前兼容,镜像上线,容器性能&稳定性等等。双十一备战主要需要注意资源、618*N压测、弹性 scale up & scale out、调优&业务“节欲”、 内存即存储、 区别业务特点、细到尘埃的监控系统和高峰流量 提前规划资源+弹性scale up。弹性云v1.0 架构为Openstack Icehouse + docker1.3 + OVS2.1.3/2.3.2+Centos6.6 。弹性云v2.0的架构是K8s + Docker +Neutron + OVS + DPDK +JFS,这两个版本的现状是弹性云v1.0 所得所失,弹性云v2.0 承上启下。

  • 17:20【架构演进专题】链家网平台化架构师吕毅,分享了《链家网大数据平台架构变迁》的主题演讲。链家网大数据部门已经成立了一年多,之前的一年间从无到有,支持好了公司与集团各项数据报表需求。面对公司业务线的发展、运营体系猛增的数据需求,大数据平台的构建解决了这一问题,将原有的人工开发定制报表模式改造为数据全自助平台化模式。链家属于非物联网公司,对运营需求的压力很大。链家网数据相关的工作涵盖科学、应用、产品、数据四大方面,整个数据架构形成了业务的闭环。平台层包括数据服务,Data analysis、Adhoc query、Data Api;工具链,Data engines、ETL system、Management control;集群,Data Security、Resource isolation、Calculate ability。通过一系列的架构演进,链家数据部门从提供数据报表的架构,完成了大数据治理需求的转变。

  • 17:15【个性化推荐专题】微博商业产品部算法技术专家康乐发表《微博商业数据挖掘方法论》主题演 讲。数据挖掘以用户为中心展开,数据体系来自基础数据、兴趣数据、情景数据和能力数据。数据抽象之后定义成情景引擎,有LBS数据、App使用数据、话题数据、微博互动、关注、用户信息、分组信息。接着康乐分享日常会忽略但是重要的挖掘方法,第一种方法是评价,其中有四个级别,首先是效果级,数据挖掘的产出可以直接用线上来评价,如兴趣标签;第二是Ground truth级,统计有效的信息来挖掘数据,如性别、年龄;Case级别,每个用户状态来验证算法结果,如旅游状态;无法验证以上事实,可以使用Logic级,其中兴趣标签占取最高级别和最低级别的评价。第二种是兴趣标签挖掘方式,指定广告场景下用户对某个粒度的广告发生目标行为的概率。第三种根据平台的内容特性来确定分类。数据挖掘的实战经验首先要做到紧贴业务,学会花时间沟通让数据和业务活起来,然后建设系列评价体系,对于数据工作要遵循数据>特征>模型的规则。

  • 17:10【高吞吐数据库架构专题】百度高级软件架构师颜世光在主题演讲中表示,面对Hadoop的线性扩展问题、时效性问题,百度推出了自己的解决方案,即海量实时数据库Tera。它实现了自动伸缩且稳定可靠,采用自动负载均衡技术,区间可自动分裂、自动迁移、在线合并。在Tera设计中,百度还总结了很多实践经验,在分层设计方面,他表示问题最好解决一次,一处解决多处受益。在可用性设计方面,他认为硬件&软件故障不可避免,应增加容错能力,降低故障恢复时间。针对低延迟设计,他建议这个过程中,慎用自动GC的语言。

  • 16:30【个性化推荐专题】 悠易互通高级算法工程师容一飞发表《实时竞价个性化推荐的人工智能》主题演讲。在短时间内得出实时竞价较为精准的数据主要运用人工智能技术,通过竞价算法盒子实现广告活动投放期间内的KPI。下面从预测模块算法方面介绍人工智能应用,预测算法主要有点击率预估和竞价愿景预测。点击率预估定义机器学习回归模型框架以及损失函数,点击率预估时候运用机器学习解决框架,可以使用线性化和非线性化进行优化。在竞价愿景预测当中是符合对数正太分布的。决策模块算法中最重要的是出价算法,基于RTB竞价机制(第二高价竞价)中,对每一个期望进行评估。除了最大化广告主KPI,品牌更注重效果的稳定来帮助排期和分配预算。最后容一飞结合自身经验分享业内投放的实际过程中一些重要问题的解决之道,一是作弊与反作弊,二是数据倾斜于无偏处理,三是目标用户稀缺与扩展。

  • 16:30【架构演进专题】同程旅游首席架构师王晓波,分享了《同程缓存系统的演进》的主题演讲。缓存在今天在线系统架构中是核心的位子,缓存的设计好坏直接影响系统整体的性能的高低。但在很多情况下缓存是被滥用的,这个基本是通病,同程在缓存的使用上也经历一条从滥用到治理的路。“开源方案很美但我们用起来就不美了,单一个方案解决不了全部的问题”,王晓波在演讲中介绍同程自研的缓存系统(phoenix)对缓存使用的治理,对数千个Redis集群的统一管理和缓存的平滑扩容。通过对缓存平台的管理与监控,大并发缓存系统的架构设计,同程实现了缓存整体的管制、运维操作、整体监控、自扩容自收缩的能力,现在我们的系统晚上不需要值班,基本实现了智能化运维。

  • 16:30【高吞吐数据库架构专题】微博研发中心DBA张冬洪在《微博Redis定制化之Tribe系统介绍》主题演讲中首先讲解了微博REDIS的几大核心功能,包括无阻塞落地、数据持久化,主从增量复制的实现和在线热升级等。Tribe系统由客户端、代理、数据集群、配置服务、集群管理五大部分组成,实现了请求路由、读写分离、负载均衡、配置更新、数据聚集、动态扩容等功能。

  • 16:10【自动化运维与容器实践专题】VMware研发中心云原生应用首席架构师张海宁,带来了《玩容器镜像-镜像仓库的管理和运维》的演讲,他首先介绍了容器技术,表示进程隔离、可重用的环境、大规模部署情况下更好管理是采用容器技术的主要原因,而Docker使得容器的管理变得更简便,它能够实现容器的顺畅的部署和最大的可移植性,非常适合第三平台、12因素应用和微服务架构同时也使得DevOps变得十分容易。张海宁接着介绍了Docker Registry,并说明了企业私有的Registry的优点——安全、效率、访问控制、合规与审计。并叙述了Registry在镜像传输中所起的作用,并表示,此过程存在不稳定因素,通过镜像同步技术可以保证传输过程中镜像的一致性。然后,张海宁阐述了镜像的访问控制方面存在的不足,而通过VMware的Harbor基于角色的访问控制可以很好的实现镜像的控制,张海宁表示,镜像的分发方式也存在单点的问题,通过Harbor Registry Server则可以实现大规模镜像的稳定分发。而在镜像空间释放方面,Harbor也可以很好的解决。张海宁还介绍了如何实现Registry的高可用性的三种方案,最后,张海宁对Harbor项目进行了介绍。

  • 16:00【自动化运维与容器实践专题】Fit2Cloud联合创始人兼CTO刘涛进行了《云时代的DevOps自动化运维》演讲。DevOps自动化运维的发展经历了三个时代:静态基础设施时代,可编程基础设施时代和容器时代。DevOps自动化运维的现状处在三种状态:混合云多云是多数企业的选择,企业基础设施形态为混合云多云混合IT形态;应用负载分布在物理机、虚拟化平台、公有云、私有云、容器云;多数企业上云后应用直接运行在IaaS,而不是PaaS、容器云。云DevOps的需求目标: 是实现混合云混合IT环境下DevOps高效自动化运维。
    云DevOps自动化运维的关键技术和策略包括五点:(1)以应用为中心DevOps自动化工具;(2)自动化部署规范和框架;(3)集成开放扩展能力;(4)同构异构基础设施全栈编排自动化;(5)同构异构基础设施统一对接。

  • 15:50【架构演进专题】58到家工程研发部高级架构师叶忠兴,分享了《三分归一统:移动端开发技术演进之ReactNative崛起》的主题演讲。叶忠兴主导了58到家ReactNative探索与实践,在主要App中引入了ReactNative,并持续完善ReactNative生态改善。自从智能移动设备出现,移动设备上多端开发就一直是开发者面临的最大的困扰。移动在开发、测试、发布、修复方面遇到许多问题,React Native的开发发布、渲染过程、H5渲染过程三个方面解决这些问题,现在是需要JS写一份代码即可,如果遇到Bug直接修改JS代码即可。叶忠兴讲解了ReactNative在58到家的可用性、体积、一致性、数量、分工协作、版本升级、检测、React控件、Native控件等具体实践。“虽然React Native还不够完美,但它使得我们的开发工作量降低40%,测试工作量降低35%,实现了随时release和热修复”。叶忠兴总结说。

  • 15:45【个性化推荐专题】AdMaster基础架构部高级研究员景艳山发表《跨设备打通》主题演讲。何为跨设备,跨设备ID识别就是识别不同设备背后的同一用户,它将成为整合碎片化用户数据、实现精准广告投放必不可少的工具。跨设备可以真正的受众去重,减少重复投放,精确定准原因,提高ROI。目前跨设备面临Cookie稳定性差,山寨机多、IP不稳定等困境。Admaster提出建模理念,有效缓解现状。建模第一步进行样本的构建,构建正样本和负样本并设置比例,过滤非人类量,在源头保证数据的证实性,候选Pair的产生。再建立IP的私密性。该模型主要应用于线上预测,百亿量级候选Pair。

  • 15:30【高吞吐数据库架构专题】腾讯云PostgreSQL首席架构师李跃森在《微信支付商户系统数据库探秘》主题演讲中表示数据库集群PGXZ基于PGXC做了性能、功能、运维能力的优化。微信支付中订单都会流向PGXZ,他分享了PGXZ的诸多核心技术,如采用集群分区表,提出数据倾斜解决方案、搭建自动两地三中心容灾架构。针对运维中的问题,如索引膨胀、在线磁盘空间回收、Pooler中的连接管理等, PGXZ也给出了解决和优化方案。

  • 14:50【自动化运维与容器实践专题】亚信大数据云平台负责人叶鹏带来了《基于Kubernetes的大数据服务能力供给之道》,他表示,大数据技术的不断快速更新,需要新的技术来支持,而在大数据服务供给的过程中,会遇到很多问题,例如手工操作多,部署时间长,不确定因素多等等,而更大问题在于逻辑复杂、交付效率低、功能层层叠加,烟囱式的应用遍布。而微服务时代大数据服务是否还要单体、大数据服务的供给如何满足DevOps的要求是我们面临的核心问题。叶鹏认为,通过容器和K8S部署大数据服务可以较好的解决这个问题,接着叶鹏讲解了Docker和容器,Docker给开发、交付带来的变化,然后,叶鹏介绍了Kubernetes的技术架构,他表示,Kubernetes吸引开发者的是它的微服务架构设计。接着,叶鹏讲解了常见的大数据服务部署模型、大数据服务编排的基础条件以及编排中常用的K8S组件。叶鹏最后详细的讲解了如何进行Spark集群部署的实例,并介绍了新的大数据服务供给模式的相关内容,包括为每个大数据应用分配一个大数据服务、Spark和yarn的比较、ServiceBroker的应用以及基于容器的大数据服务供给存在的问题:个别大数据服务编排困难(redis3.0 shardingmongo sharding)、overlay网络性能不足、Kubelet串行完成镜像拉取,容器用户与glusterfs卷属性不一致以及容器日志的处理。

  • 15:10【架构演进专题】阿里巴巴应用运维平台负责人毛茂德(如柏),分享了《阿里基础运维平台及应用运维平台架构演进》的主题演讲。从基础运维和应用运维两方面,介绍支撑阿里巴巴全集团服务器集群管理的基础运维平台StarAgent的架构演进,以及应用运维平台Normandy的架构演进。StarAgent包含命令通道、插件系统两大核心功能,使用场景贯穿服务器的整个生命周期、应用运维、日志服务、监控、数据采集和配置管理。“StarAgent通过默认的蜻蜓插件,7000客户端200MB文件下载平均耗时仅10s,80%的阿里集团文件下发系统使用,稳定性从99.9%到99.9999%,下载次数从3万/周到7600万/周。”最后,毛茂德介绍了应用运维平台Normandy,它的功能涵盖基础设施即代码、CMDB、部署发布、Docker支持功能。

  • 15:00【个性化推荐专题】品友互动大数据部负责人林招发表《论实时竞价广告中的推荐》主题演讲。RTB(Real-time bidding)实时竞价通过用户入口登录媒体网站发送消息给RTB服务提供商,然后对接到DSP(Demand-side platforms)进行内部处理发送竞价给服务提供商从而反馈到网站并显示到用户界面。其中最为复杂的是DSP(广告竞价决策平台),涉及对象、内容、时机、样式、价格和目标。
    对象通过对比转化率过滤出合适的人,另外点击率(CTR)也是广告投放中最常见的一种考核目标。内容采用协调过滤、wcos、矩阵分解、BPR算法方法进行商品推荐。广告的主要效果依赖于程序化创意,可以促进用户点击。价格同样也是一个重要因素,采用竞价算法涉及三个价格:底价、竞拍价和成交价。以上的一切的基础是有效的数据和可靠的框架。

  • 14:50【高吞吐数据库架构专题】央视国际网络有限公司技术事业群DBA古雷在主题演讲中详细讲解了MySQL5.7与8.0的诸多新特性,如Group replication(5.7版本)、快速增加列宽(5.7版本)、The Rewriter Query Rewrite Plugin(5.7版本)、JSON(5.7和8.0版本)、UUID更好的支持(8.0版本)。
    通过形象的比喻,说明了如何保证数据一致性,其要点包括,(1)每个事务发给所有节点在每个节点;(2)所有事务的认证顺序都是一样的,认证顺序由类似Paxos协议保证;(3)每个节点认证的事务可能是本地发起的本地事务,也可能是别的节点发过来的外来事务;(4)本地事务是否允许commit,只看本地认证是否成功;(5)在节点A,外来事务,是否允许在节点A执行,只看此事务在节点A认证是否成功;(6)外来事务,在允许执行前还不是事务,因此需要与本地事务一起进行冲突检测,称为认证。

  • 14:30【架构演进专题】华为开源软件能力中心资深架构师马全一发表了《ContainerOps–Empowering DevOps With Container》的主题演讲。作为曾主导基于容器的下一代DevOps平台ContainerOps的架构、研发和产品化,中国Linux容器技术和Docker开源技术最早的推动者,马全一在下午的分享中介绍了ContainerOps这个基于DevOps Orchestration概念的DevOps平台。在华为ContainerOps架构中,所有的工作都在容器中,工作流定义,所有的组件运行在kubernetes上,都是以容器的方式来做。马全一不仅阐述了华为目前对DevOps理念的理解,更讲解了华为这个开源产品里对DevOps的理解,以及产品的特性和架构。“我们会把这个DevOps当作服务开源到社区,现在已经跟一些合作伙伴在测试,如果你对这个测试感兴趣的话,可以联络我,我们可以出一些人员和人力帮你梳理目前已有的DevOps的流程。”马全一最后说。与会者通过了解业界最新的DevOps理念,学习通过DevOps Orchestration梳理,DevOps流程,提高DevOps的工作效率。

  • 14:30【自动化运维与容器实践专题】普元SOA主任架构师刘相进行了《加速企业敏捷的DevOps平台时间》主题演讲。DevOps是通过工具链与持续集成、交付、反馈与优化进行端到端整合,完成无缝的跨团队、跨系统协作的方式。企业DevOps有两大误区,首先,DevOps思维并非物联网思维,其次,DevOps并不是一定需要用微服务和容器支撑。企业的DevOps建设有很多难点与挑战。第一, 企业环境与流程多样,要么一套标准,要么多套适配;第二,企业云规划大于公有云调度;第三,各类开元、商业技术繁多,该如何选择如何。企业DevOps的关键设计在于异构基础设施上的部署形态,基于K8S上的容器资源的互通,副本机制支持蓝绿、灰度以及多层级监控下的持续优化。

  • 14:20【个性化推荐专题】北邮模式识别实验室副主任高升发表《基于表示学习的信息推荐算法及应用》主题演讲。信息推荐系统所需要的数据源一般来自用户对商品或信息的偏好,系统用户的基本信息和推荐对象的元数据信息。用户偏好信息可分为显式和隐式用户反馈。表示学习旨在把目标对象映射到低维的统一特征空间,学习用户、商品以及用户偏好的潜在语义信息,从而进行相关性分析。表示学习有两种模型:第一种基于矩阵分解的Aspect-level推荐算法,自动抽取评论中的Aspect和每个Aspect的对应评分,然后分析用户对Aspect的偏好,总结商品Aspect的评分,最后计算用户的个性化评分,以及每个Aspect 的对应评分。第二种是基于偏好向量学习的信息推荐算法,将用户的偏好表示为一个分布式向量,可以平滑接入多种行为反馈模式。

  • 13:50【架构演进专题】蘑菇街平台技术架构师卢鹏程分享了《蘑菇街监控系统架构演进》的主题演讲。通过蘑菇街平台三个不同的版本,讲解了蘑菇街监控系统从无到有的历程,分享各阶段所遇到的问题及解决方案。阐述了目前性能强劲的sentry的架构,及相关技术点,展现sentry丰富的功能,说明怎样一步步的消除用户障碍,展望后续技术及业务方向。为达成高可用、易部署、易维护的目标,蘑菇街选择了去中心的分布式架构,无依赖、存角色、分场景的架构特点。大家通过卢鹏程的分享,了解到现有蘑菇街监控系统的架构、功能和能力、计中所用到的各种技术及组件,以及获取高可用、高性能分布式系统的设计经验。“经过了这一版本,我们可以应对大促、应对特定大查询和辅助系统维护,从此蘑菇鸡再也不用担心扩容和增容问题。”卢鹏程说。

  • 13:45【高吞吐数据库架构专题】京东金融数据库中间件研发高级技术经理王义林在《分布式数据库CDS-原理与实践》主题演讲中表示基于京东金融业务特点、发展现状,京东开发了CDS,其实现了数据分片、读写分离,海量数据存取;运维控制台;数据迁移、扩容平台;离线准实时查询、统计等功能,具有兼容JDBC,接入成本低;支持MySQL/Oracle/SQL Server、内嵌高性能连接池组件、读写分离、水平拆分、提供MyDB、作业平台、离线数据中心等一系列工具集等关键特征。同时还分享了CDS的系统架构、中间件 事件控制过程、CDS集群结构。

  • 13:30【个性化推荐专题】雪球首席架构师唐福林发表《雪球社区用户画像体系探索》主题演讲。雪球是一个投资者社区,搭这个系统最大的坑主要是数据字段类型不统一、加减字段,另外还有ETL缺乏规范和管理,存储原始内容,ETL较少,存储太多不必要的内容,job无序增长,其中CPU和IO争用情况逐渐增多等问题。雪球大数据体系目前有4个集群,20+机器。在现状的基础上,雪球开始用户画像的探索,采取趋势统计、多维分解、行为路径转化漏斗、用户分群A/B测试等数据分析手段,使用开源软件、第三方云服务或自研进行用户行为分析,其中自研的分析软件称之为Moneyball,从中提取用户信息为用户进行分类。算法使用Mahout,用HBase宽表为用户打标签,进行属性分群为用户分类。最后唐福林通过自身实践经验,建议搭建大数据体系的最佳时机是公司刚成立的时候,尽可能地收集能想到的数据,直到硬盘装不下了之后再考虑优化,仔细考虑数据库的表设计,字段类型结构选择。如果最初做的不够好,唯一的改正机会就是导入到大数据体系的时候。

  • 13:30【自动化运维与容器实践专题】微影时代技术副总裁杨森淼带来了《微影的容器化进程》的演讲,杨森淼首先介绍了微影公司,并解释了微影之所以使用容器化架构的原因。杨森淼接着给大家分享了微影时代的总体系统架构和系统中的必备组件,并详细讲解了包管理、配置管理、服务器发型、服务域名解析、负载均衡等在实际应用中的实践经验。然后,杨森淼就微影如何应用容器技术进行了阐述,并从单机模式、Docker节点、资源利用率、服务发现、日志收集策略、泛域名、微服务等方面分享了在应用过程中的一些经验。之后,杨森淼讲解了Mesos相关技术的使用,涉及到了Marathon,比较了Chronos和Cron的优缺点以及Jenkins在Mesos上的应用。杨森淼最后就微影在实践中遇到的一些问题进行了分析和总结。

  • 12:15【自动化运维与容器实践专题】腾讯移动游戏运营技术评审专家组负责人刘亚飞进行了《腾讯移动游戏之于蓝鲸容器管理平台》主题演讲。腾讯游戏目前覆盖手机游戏200款左右,介入容器数有16000多个,通过对docker,K8s的定制开发,实现业务容器在线的本地升降配。同时结合手游特点,提供一键式,业务无损的缩容方案。蓝鲸的业务方向有三点:云化的解决方案,开放式快速运维开发平台以及丰富的数据视图服务。容器管理平台的功能包括coverity,TAPD,WeTest平台几项。其中上线之前的压力测试,兼容性测试都能在WeTest平台中完成。

  • 11:40【移动视频技术实践专题】杭州短趣网络技术经理王海华发表主题演讲《趣拍短视频SDK关键技术分享》。短视频将会成为社交/社区应用的一个标配功能,但其面临的问题也更加多样化:短视频UGC质量有待提高、平台同质化倾向严重、优质内容成为竞争核心以及营销市场的规模增长。他提出短视频具有断点拍摄、MV和动图等里程碑功能,并对其中的动态水印实现问题进行了详细介绍。如何实现动图的动态水印?资源包、精确seek和性能等问题深化了实施难度,因此需要在性能和seek上不断优化。

  • 11:20【自动化运维与容器实践专题】来自华为PaaS的架构师&研发项目经理吴建林分享了《华为全球IT系统基于PaaS的实践分享》,他首先介绍了华为的IT现状,华为目前有全球8大数据中心、17万+固定用户、业务系统涉及用户、采购、供应链、交付、销售、财经、办公IT、流程IT等,管理着数十万台虚拟机、800多个应用、2000多个子应用。华为IT的需求主要有以下几点:1)传统IT模式业务不够敏捷,2)管理规模庞大,运维难度高,3)应用微服务化改造,个数急剧增长,4)虚拟化成本高,资源利用率低,5)全球业务访问体验差,6)平台异构,支撑难度大。为此,华为构建了PaaS平台以应对这些需求,该PaaS核心层由应用调度与资源管理、微服务运行与治理、应用开发流水线加上中间件云服务组成。吴建林接着介绍了华为FusionStage在华为IT的进展,并分享了FusionStage在华为IT实际应用中的实践,包括:1)流水线构建,一键式应用发布,2)支持应用混合编排,实现虚拟机、物理机、容器的统一调度,3)万级容器运维管理系统,4)跨数据中心的两级调度: 亲和反亲和,提高部署可靠性&部署效率,5)全球分布式动态路由,快速访问体验,应用灰度,达5个9可靠性,6)应用灰度发布、自动弹性扩缩。吴建林最后就运维中的一些问题进行了分析和总结。

  • 11:10【架构演进专题】百度工程效率部资深工程师廖超超,分享了《百度万人协同规模下的代码管理架构演进》的主题演讲。介绍百度代码管理如何支撑百度万人规模(分布在全球十多个Office的一万多开发人员、每日近两万次的提交、代码库规模超过10TB)下的协同开发,在解决代码管理遇到的容量、吞吐量、跨地域和安全等问题的过程中,百度代码管理的架构经历了产品初创时期、发展时期、成熟时期、企业级SaaS四个阶段。现场听众在了解大规模协同开发场景下如何确保代码安全可靠的同时,对互联网企业高吞吐量的非典型web应用架构优化也有了深刻的认知。

  • 11:00【CSDN采访间】我盈互联CTO 陈庆吉在分享完”互联网金融初创公司从0到1的架构演进之路”主题分享之后,在SDCC采访间接受了CSDN的独家专访,他对麒麟贵金属的定位以及产品布局以及用户体验等方面回答了记者的提问。 他表示,作为国内行业领先的网络现货投资平台,麒麟贵金属致力于为投资者打造出一款专业、安全、便捷的现货投资产品,降低现货投资的门槛,让投资者能够轻松获取现货投资的红利,他们的实力来自两方面。一方面,技术团队做过多年的互联网开发,他本人也负责过负载用户数亿的产品设计,运营团队非常熟悉互联网产品的市场推广、运营推广。无论是技术产品还是运营都是熟悉互联网规则的,这是很多线下公司不具备的;另一方面,公司层面和交易所有深度的合作,这样有利于他们的模式创新,有利于整个流程的快速反馈,这些又是很多互联网公司不具备的,所以,他认为在这点上,他们是跨界融合作的比较好的一种模式。 针对麒麟贵金属的创新店点,他们的产品除了纯互联网化之外,在用户体验上也做了很多创新,比如去除了交易本身的功能,增强社区互动,利用直播、引用策略提醒等一些功能。

  • 11:00【高吞吐数据库架构专题】 网易杭州研究院资深开发工程师马进在主题《网易DDB性能优化实践》主题演讲中详细介绍了分库分表数据库DDB,及其它的架构变迁和性能优化实践。DDB的架构经历DBI、Proxy(QS)、DDB私有云架构、DDB云端架构优化几个过程;在性能提升上,开展了Proxy Buffer、DBI NIO、OSC解决方案多方面优化,并分析和展示了优化思路及优化效果。DBI NIO的优化有两种思路,(1)为自研到MySQL的NIO驱动;(2) 将Connector/j的底层通信依赖Netty。最终选用了第1种优化思路。优化后CPU使用率得到了1.2~4倍提升。针对一般的OSC解决方案,进行了多方面优化,如(1)基于binlog实现增量更改;(2)全量不加锁,增量用replace幂等语义等。在实现上,提供了DDB HamalSet工具集,也可使用gh-ost。

  • 11:00【移动视频技术实践专题】合一集团视频技术平台高级技术经理胡帆带来主题演讲《优酷视频云SaaS及播放器技术揭秘》,包括开放的视频云SaaS、播放器介绍和防盗链探秘三方面。对接视频时代,企业所处的运营环境愈加复杂,例如成本高、门槛高、定制困难、盗链严重、违规风险、传播和变现等等。他首先为大家介绍了优酷视频独有的开放能力和核心功能,为处于内容创业者情境下的人员提供了SaaS解决方案。随后,他从七个维度展示了视频云架构,对于改动大、评估难等多重问题,还对视频云架构进行了基于IaaS的进化。同时在这里面点出了部分关键点:Key服务、客户用量统计以及阿里云MTS转码服务。此外,他还对实时筛选的系统架构、设计方法和过程进行了详细介绍。最后在防盗链研究上他给出了参考方法:渠道分离,及时发现和灵活更改。

  • 10:40【自动化运维与容器实践专场】易宝支付架构师于涛进行了《容器云在易宝的落地》主题演讲。易宝是一家做第三方支付的公司。易宝容器云采用了Kubernetess容器平台,目前该平台升级到了1.4.6版本,包含四条新特性:两条命令创建集群;kubeadm init创建master;kubeadm join 把node并入集群;支持apt yum源。易宝容器云是基于K8s API研发的,Go web framework, IRIS。它实现了弹性负载均衡器:资源化、无感知对外发布;内部服务发现:DNS,集群内,集群外;内部服务自动负载均衡;回滚到任意历史版本;自动扩容、缩容(CPU使用率,冷却时间)。

  • 10:40【架构演进专题】我盈互联CTO陈庆吉发表了《互联网金融初创公司从0到1的架构演进之路》的主题演讲。与支付类公司庞大的基础架构建设相比,互联网金融初创公司更愿意快速试错,以业务为核心对架构进行演化升级。在不显著提高开发成本的同时,让系统与业务齐飞,做助推器,不做减速器,移动云开发生态技术的逐渐成熟为我们提供了解决问题的机会。在云计算基础服务,大数据处理,安全运维等方面大量使用了第三方云服务,在平台选择,服务组合,架构调整升级等方面积累了一定的经验。我们没有大型互联网公司的IT架构,要追求架构的成本可控性,在架构中占据很大的是运维管理和安全运营方面。希望我们的经验能给初创公司的IT架构搭建带来一些启示。未来,我们希望自己的在前端使用React + Redux;随着业务的增加,考虑使用微服务(Docker + SpringBoot + Dubbo);比如行情等关键服务,会考虑用Golang。

  • 10:20【移动视频技术实践专题】阿里云高级技术专家储开颜发表主题演讲《“+ApsaraVideo”阿里视频云如何帮助客户实现客户的价值》,包括视频服务的链路、飞天视频服务的技术架构、点播/直播/画质重生服务、飞天视频服务的功能和组成、飞天视频服务的技术优势五个方面。首先他介绍了飞天视频服务的操作流程,随后对其中的点播、窄带高清、加密、直播、秒开、端、画质重生、FRC等技术要点一一作详细说明。在窄带高清上,他提到了实施过程和分辨率问题,并与非窄带高清码率进行了细致对比。最后在FRC技术上,通过丰富的示例为大家展示了应用优化效果。

  • 10:20【架构演进专题】阅文集团首席架构师徐海峰发表了《一统三国:阅文集团内容系统架构整合》的主题演讲。徐海峰主要负责内容中心分布式framework架构和分布式存储、分布式计算工作。面对核心资产内容技术整合问题,徐海峰团队历时半年之久,通过创立内容中心、章节信息—数据路由、路由标识-id生成器、任务调度等方式,解决了从孤岛式架构演变成统一架构、海量章节内容的存储问题。整合了原来的异构数据源,统一了服务和数据层。通过开源软件和自主开发软件的有机结合,实现了快速有效对大型网站进行重构。

  • 10:12【高吞吐数据库架构专题】NABA北美区块链协会联合发起人谭磊在《区块链和分布式数据库》主题演讲中表示区块链接是一个复杂的概念,并阐述了他对区块链的理解。区块链就是区块的链,通过树的方式链接,且每个节点上的数据是一致的。 区块链系统是不可篡改的,若篡改某个节点,其后的节点都要做出一致修改。比特币是区块链的1.0,而更有意思的是区块链2.0,它是Distributed(分布式的)、Autonomous(自治的,共同约定的)、Contractual(按照合约执行的)、Trackable(可追溯的)。

  • 09:50【移动视频技术实践专题】Video++公司COO董慧智带来主题演讲《视频中人工智能与应用场景创建》,包括视频内容结构化、视频应用场景创建、开放平台生态以及未来的设想四个方面,为大家提供了图像识别技术转化和应用落地的实践参考。视频应用构建具有三要素:模数转换、建立情感链接以及大数据精准匹配用户情感需求,本次分享着重介绍专注于消费级视频的人工智能技术,包括电商场景和广告场景。应该如何实现这类消费级视频?他首先对视频识别与图像识别的不同、消费级视频与安防等视频的识别要求区别进行了对比,并简要介绍了消费级视频的关键扫描目标和输出数据。此外对大家比较关注的明星识别、商品识别、物体识别和品牌识别等技术一一说明。

  • 9:40【自动化运维与容器实践专题】来自IBM Platform Computing的软件工程师邱见给与会的观众带来了主题演讲《BlueDock:如何构建企业级容器管理平台》,邱见首先介绍了Platform Computing,接着分析了自身团队的需求,即:可靠和可扩展的资源管理、易于使用的API和高效稳定容器运行时,介绍了基于该需求建立的BlueDock系统的总体架构,并阐述了为何使用Mesos的两个原因:广泛应用于生产环境、高可扩展性,邱见接着解释了为何选择Kubernetes构建于Mesos上的原因,即由Google开源,脱胎于borg系统、开放,活跃的社区、定义完整且易用的API,并介绍了其优势。邱见还介绍了BlueDock解决方案、主要组件以及该平台的应用生命周期管理、用户认证授权、资源管理。最后,邱见对未来进行了展望,他表示如何改善Kubernetes on Mesos Framework、生产环境中是否需要替代Docker、更好的网络和存储解决方案是未来需要考虑的三大问题。

  • 09:30【高吞吐数据库架构专题】腾讯微信支付高级DBA莫晓东在《微信红包数据库架构演变》主题演讲中表示2015年春节红包项目面临着很大技术挑战,其数据量预估是日常的100倍。没有可借鉴案例,只能摸着石头过河。鉴于MySQL支持事物,满足一致性要求;为结构化存储,紧凑、连续; 支持多索引;部署简单,工具支持及团队对该技术有较多积累,最终选用MySQL为数据库方案,并对其做了多方面优化。

  • 9:25【架构演进专题】腾讯后台资深架构师王帅,从事后台系统开发7+年,目前主要负责QQ空间后台的架构设计、系统优化等工作。王帅介绍了QQ空间的系统架构,QQ空间底层基础数据包括:个人资料、权限、关系链、个性化设置;UGC层包括说说系统、相册系统、日志系统、商城系统;FEEDS层包括好友动态、计数、落地动态、push;移动端是MSF/WNS接入层;最上层的客户端手机QQ和手机QZONE。通过QQ空间后台做的一系列优化,围绕系统选型、容灾调度、柔性可用等方面,介绍了QQ空间亿级用户服务背后的网络架构。针对海量请求和突发状况,分享了有损服务和系统容灾的深刻理解。

  • 09:20【移动视频技术实践专题】七牛首席布道师何李石发表主题演讲《移动视频自适应播放实践》,包括播放器使用场景、播放器构成、自适应播放、开源播放引擎推荐四部分内容。点播和直播是最常见的视频播放场景,但是平台、尺寸及网络等复杂的设备环境导致用户需求并不能很好地满足。对此他给出了解决方案:定制播放器。定制播放器由UI界面、富媒体引擎、播放和DRM三部分构成,他简要介绍了视频播放流程并列举了典型的播放引擎。此外,还涉及自适应播放的内容,包括注意要点、播放流程及播放原理,并重点分析了速度vs质量、网络容错度vs缓冲率的问题,提出多Buffer管理策略的解决方案,在最后还推荐一些开源播放引擎。

  • 9:15【自动化运维与容器实践专题】阿里云高级研发工程师莫源进行了《基于阿里云容器服务的持续集成与云端交付》主题演讲。支付的过程中交互和维护是非常重要的两项,而交互的变革会影响运维的手段。Docker是一种轻量级的操作系统虚拟化方案,它改变了一种交互方式。莫源在分享中着重讲解了Docke的具体用法。调查显示85%的用户有意愿使用容器技术。阿里云容器服务主要包括:集群调度与容器,网络,存储,监控和日志几项。现场还具体展示了蓝绿发布的具体流程。

  • 9:00【高吞吐数据库架构专题】热璞科技CTO金官丁的主持下正式开始。举办该专题的原因,缘于无论传统行业还是互联网行业,大家都面临着巨大用户量。本专题涉及到MySQL、DDB、PostgreSQL、Tribe、分布式数据库、区块链等多个数据库领域技术话题,有来自百度、 腾讯、京东、网易、微博等多家企业的技术专家。

新浪微博 (#SDCC#)@CSDN

大会亮点

全体大会

11月18日上午

11月19日上午

专题论坛

电商架构专题

双11异常火爆,不管是销售数字,还是用户体验,这次全民购物狂潮再次刷新了过去的所有记录。而在这一切背后,需要稳定高效的系统架构设计来提供有力支持。本专题揭示了国内各大知名电商架构设计的最佳技术实践。

Erlang编程语言专题论坛

实时消息系统、即时通讯云平台、数据链路都需要面对复杂多变的业务场景,以及极其严苛的稳定性要求,对底层系统设计带来了很大的难度,Erlang虚拟机的优雅实现很好的应对了各种难题。

架构师进阶之路专题

怎样学习才能成长为一名合格的架构师,或者说一名合格的架构师应该有怎样的技术知识体系,这不仅是一个刚刚踏入职场的初级程序员也是工作三五年之后开始迷茫的老程序员经常会问到的问题。本专题内容来自CTO、首席架构师等眼中的架构师,他们将给你最全面最权威的回答。

前端开发专题

随着新一代前端技术的发展,给前端开发者带来巨大的创新应用实践机会,本专题是为HTML5、CSS3、JavaScript等前端技术的互联网开发者所举办的,内容涵盖网络游戏、电商、旅游、媒体、社交、技术服务等多种互联网业态的技术经验分享,将会涉及各种WEB前端开发技术。

基于Spark的大数据系统设计专题

Spark是目前热门的大数据分布式编程框架之一,现已成为Apache顶级项目,受到业界的广泛关注和使用。本专场主要讨论的话题有:利用基于Spark的大数据系统设计来促进信息时代的智能化,有效结合Spark和其他热门大数据工具并加以利用;应用目前的Spark技术实现大数据在各行业的全面渗透;以及通过实际案例和场景来探讨Spark与大数据的互动创新。

高可用架构专题

理论结合实践,案例式讲述,深入剖析架构设计的高可用性,快速提升设计和架构能力,让大家系统性的掌握一线互联网公司高可用架构设计的方法论,并应用于实际工作中。

微信开发专题

微信仍以迅猛势头火速发展,并已跨入海外市场,服务着全球亿万用户。作为技术开发者,除了时刻关注领域技术发展外,更应紧盯、深挖掘该行业所蕴藏的巨大商机。目前微信开发成为SDCC大会的重要分论坛之一,2014年北京和深圳两场微信开发者大会、2015 SDCC微信开发专题论坛,吸引了不少领域技术专家参与分享,受到了广大微信开发者的一致好评。2016年,SDCC微信开发论坛将持续精彩,携手更多技术高手、创业精英,共研技术难点,碰撞创新点子。

Atlassian企业级解决方案峰会

微信之父张小龙近日谈到敏捷开发是一个持续实现团队创新的过程。在每个企业都是软件公司的今天,你的团队准备好了吗?作为全球敏捷团队首选的工具,我们邀请到了Atlassian企业级专家和业界领袖,以”协作和创新为”主题,为大家带来一场如何持续创新,释放团队潜力的主题峰会。
  Go2Group产品管理总监  Maritess Cruz
    Atlassian技术专家   Louis Lepper
  泰康人寿开发部技术专家   鲁金币
  中国民航信息集团技术专家  陈乐
   Atlassian技术专家    Dick Wiggers
    CSDN研发总监     谢志峰
 顺丰科技IT内部管理变革办公室 刘小林
    澳新银行技术专家    林伟文

架构演进专题

本专题涵盖各类互联网后台、移动、直播等热门架构的演进过程,在架构变迁中遇到的痛点和解决方案,从而带给参会者以启发。

高吞吐数据库架构专题

本专题将邀请国内外的数据库专家,共同探讨MySQL、NoSQL、Oracle、缓存技术、云端数据库、智能数据平台等领域的前瞻性热点话题与技术,尤其是在高数据量情况下实现高吞吐数据库的设计。

自动化运维与容器实践专题

DevOps并非你想的那么简单,如今,您经常听周围的人谈论DevOps,但真正理解并能执行的人极少。其实,采纳DevOps的文化壁垒非常高,这是一个值得探索的漫长过程。DevOps论坛邀请国内DevOps行业顶级专家,和大家共同探讨DevOps具体应用场景、如何在企业实施DevOps、DevOps实际案例、DevOps如何加速企业创新等热点话题。

移动视频技术实践专题

移动直播技术属于今年最热的前沿领域,在移动直播技术专场邀请到多位直播技术专家深度阐述直播连麦技术;在热门时段大主播高峰值情景下,如何优化直播礼物系统?面对延迟、卡顿等诸多难题,全互动直播技术的最佳解决方案;基于第三方CDN,我们该如何实现直播质量监控。更多精彩的直播技术,尽在本专题。

个性化推荐专题

大数据算法是大数据得以有效应用的基础,能够在保证推荐准确性的同时增加推荐的多样性,满足用户多种需求,还能够实现实时反馈,强化推荐算法。本专场主要讨论的话题有:利用大数据算法来实现组织的运营能力;通过推荐算法分析有效打通不同算法间的固有壁垒;应用目前的大数据算法来提升企业IT效率;以及通过实际案例和场景来探讨推荐算法的应用分析能力。
  ThoughtWorks中国区CTO  徐昊
    一点资讯算法总监    王元元
  华为PaaS首席系统工程师   俞岳
CSDN首席数据分析师、研发总监 左建平
    蚂蚁金服高级研究员   阳振坤
  驭势科技联合创始人&CEO  吴甘沙
   我盈互联CTO   陈庆吉

大会展区

华为展台
Atlassian展台
普元展台
博文视点展台
我盈互联展台
汉德默兹克展台
CSDN展台
北京好雨科技展台
机械工业出版社展台
天诚盛业展台
中云展台
图灵教育展台

大会花絮

架构师进阶专场
电商专场专场 扫码入群
拉着行李箱来参会
扫码送礼活动 最具人气
为讲师点赞
带伤来参加大会的技术人
展台上的热烈交流
参会者查看日程
认真做笔记的参会者

相关资讯

大会日程