2022中国系统架构师大会

主会场: 数据技术

一、分享主题：动态实时标签处理平台架构

二、主题介绍

在携程国际业务上，因为面临的市场多，产品和业务复杂多样，投放渠道多，引流费用高，因此我们需要对业务和产品做更精细化的管理和优化，满足市场投放和运营的需要，降低成本，提升运营效率，提升转化率。为此我们提出研发动态实时标签处理平台(以下简称 CDP)，为 Trip 业务增长解决“Grow Revenue”和“Reduce Costs”的问题。
基于我们的业务需要，我们将业务数据标签筛选的场景分为两大类第一类是实时触发场景，根据业务需要，配置动态规则，实时订阅业务系统的变更消息，筛选出满足动态规则条件的数据，通过消息的方式推送到下游业务方。
第二类是标签持久化场景，根据业务需要，将业务系统的实时业务变更消息按照业务需要加工成业务相关的特征数据持久化存储到存储引擎，业务根据业务需要组装查询条件查询引擎数据，主要是 OLAP(分析类)和 OLTP(在线查询)两大类查询。
为了解决以上问题，我们设计开发了一套“实时动态标签处理系统”，业务方只需要按照我们的基本算子规则配置提交任务，系统就会自动解释执行规则，按照配置要求执行数据处理操作，目前支持的基本算子有 Stream(流式数据接入目前支持 QMQ 和 Kafka)、Priority(优先级判断)、 Join、Filter(过滤)、Sink(数据输出，目前支持 TiDB、Redis、QMQ)等等，这个我们在整体设计里面会详细介绍，通过规则和动态计算的方式提升数据处理和开发效率，降低开发成本。
流式数据采用类 Kappa 架构，标签持久化采用类 Lambda 架构。

三、课程大纲

详细课程大纲请点击下载

四、嘉宾介绍

曾荣军
携程高级研发经理
携程大数据架构开发，专注离线和实时大数据产品和技术。

立即购票

一、分享主题：数据中台的认知和建设方法论

二、主题介绍

在分析国内数字化成果领先的企业之后，可以发现，它们取得数字化建设硕果的关键因素主要有以下两个:一个是推动了符合数字化建设的企业组织架构变革，另一个是强化了数据中台的建设。尽管数据中台的概念很火，数据中台的建设热潮在很多企业如火如荼。但是对于数据中台的理解，目前很多企业存在认知误区或偏差。比如，很多企业认为数据中台就是数据平台，还有些企业认为只有大企业才需要数据中台，中小企业用不着数据中台。这些误区导致很多企业的数据中台建设陷入“南辕北辙”、重复建设或项目失败的困境。
另外，对于数据中台的建设来说，目前有很多相关的介绍和案例，但主要是从信息系统的角度来总结方法论的，缺乏从企业战略的角度规划和体系化的方法论。基于此，本次培训重点介绍了数据中台的定义、整体框架和建设的方法论。该方法论主要涉及企业数字化发展战略、组织架构变革、数据的存储和建模、数据平台的建设、数据服务框架、数据产品化和数据智能化建设等多个方面的内容。

三、课程大纲

详细课程大纲请点击下载

四、嘉宾介绍

彭勇
最爱健康创始人
最爱保、最爱健康创始人，2020年欧耕互联网保险十大风云人物，国家公派留法计算机博士，中关村管委会技术专家，中国保险学会特聘保险科技专家。《数据中台建设：从方法论到落地实战》作者，彭勇从事大数据研究和应用相关工作超过14年，负责大数据创新项目超过100个，在数据仓库建设、数据中台建设、保险产品定制和创新、精算定价、精准营销、产品推荐、风险管理、智能理赔、人工智能、数字化转型等方面经验丰富。彭勇先后就职于保准牛，人保财险，阳光财险和众安保险。同时，彭勇曾多次受保险协会、保险学会、中保信、中国精算协会、北美精算协会、香港精算学会、互联网金融协会等机构和团体邀请参加大数据和保险科技相关的主题分享和专业授课。

立即购票

一、分享主题：实现0停机窗口，云数据灾备技术架构

二、主题介绍

数据灾备演进和发展痛点：
传统的数据随着业务越来越大，数据越来越多，灾备技术提出新挑战，灾备需要整合双机高可用、数据库复制、磁盘阵列复制、两地三中心技术、备份软件、磁带库设备等多种软硬件产品来覆盖需求，不仅软硬件投资巨大，而且实施、使用和维护非常复杂，且无法真正的应对诸如病毒感染、磁盘损坏、误删除等故障；服务器出现故障时，传统方法一般需要4小时甚至更多。重建系统困难，操作复杂，业务停顿时间久；部分核心业务系统几经升级、更新、调优，已无法找到原来部署、维护人员，无法迁移；对整个业务系统非常之关键，对整个数据灾备领域提出整体性拆解和规划，根据业务场景，定制数据灾备机制。
数据存储灾备设计，设计一个合理架构设计，满足应用场景的备份，同城、两地三中心，业务级的数据安全。用户业务系统突出的问题：数据量越大，备份也困难、出现灾难恢复也非常的困难，导致双向高IO,针对以上问题，提出新的解决方案，根据新型的技术发展，如何用合理的新型云生态保护技术解决数据量备份困难和业务恢复问题。从真正业务需求出发，不是业务适应两地三中心、同城灾备、双活等。
关注客户第一需求，出现数据灾难如何第一时间拉起应用数据。
越来越多用户要求“零窗口 ”备份，零停机、零窗口、以及零冲击数据灾备；快速的业务恢复；对传统备份软件，灾备手段提出了新挑战。
架构场景需求：从真正业务场景出发，实现用符合场景架构的需求解决应用的灾备问题。
从工程实现视角，在云计算、虚拟化、应用，使用符合用户的CDP架构、双活架构
使用新的技术方案，可以将数据从本地灾备系统容灾到另外一个灾备系统中。然后在异地进行业务接管和数据分析。验证备份系统是否可用。
1.各种灾备技术分析：
2.各种解决方案优点和缺点
传统解决方案缺点：
1，数据备份时间长
2，业务恢复时间长，超长RTO,RPO
3，备份的数据无法测试真实有效性。
新型解决方案优点：
能防御所有的故障：数据丢失、磁盘错乱、操作系统崩溃、硬件损坏重建；
能灾备所有的应用：数据库、邮件系统、前端应用等；
备份数据具备 IO 级颗粒度的恢复精度；
支持一键快速接管；
防范软件、硬件故障导致的业务中断；
2.解决方案场景
典型的应用场景：
新型数据越来越多，云数据库、分布式数据、对象数据、要求多业务应急保障；
对原来用物理做双机容灾的业务系统从一对一容灾改成一对多容灾，实时备份与容灾；
采用独特备份技术和容灾架构，实时对业务系统进行 IO 级的备份。将应用和数据直接虚拟化成虚拟磁盘格式，用极低成本实现数据级+应用级容灾。
业务系统搬迁保障：用户经常会涉及到业务升级、机房搬迁、改造等工作。利用应急灾备系统可以对机房所有服务器做一体化备份，不仅备份了服务器的数据，对服务器的配置和操作解决搬迁场景中，在业务升级和机房搬迁过程中，可以对要求不宕机的服务器做应急接管，减少了用户业务中断时间，保证用户业务连续性。

三、课程大纲

详细课程大纲请点击下载

四、嘉宾介绍

王洪岩
泰和利通云计算架构师
毕业后主要就职于中国金融电子化公司、华为技术有限公司数字政府、政务云解决方案交付、专门从事云计算交付、云计算数据迁移、存储数据迁移等，对各个容灾系统进行数据保护和对各种数据保护应用场景有深入研究。

立即购票

一、分享主题：百度Redis技术架构演进

二、主题介绍

Redis在百度集团内部有着极其广泛的应用，覆盖凤巢、手百、Feed、地图、度秘等核心业务。为应对如此大规模、多样化应用场景的挑战，百度Redis的技术架构结合实际需求做了众多的优化。
本次分享会阐述百度Redis技术架构的演进之路。首先会简单介绍百度Redis系列服务及应用场景，然后会详细介绍百度内存型和磁盘型Redis的内核技术，同时会介绍百度Redis内核团队和开源社区的合作，最后会介绍下百度Redis后续的规划。

三、课程大纲

详细课程大纲请点击下载

四、嘉宾介绍

刘东辉
百度基础架构部资深研发工程师
13年毕业于南开大学，毕业后加入微博基础架构组，从事缓存、存储相关的研发工作。2020年加入百度，任职百度资深研发工程师、Redis内核技术负责人，目前主要负责百度Redis内核的研发与维护工作。

立即购票

一、分享主题：Intel Cloud Client架构设计和应用优化

二、主题介绍

Intel Cloud Client 的愿景是结合云的力量和客户端的力量，为云服务提供最佳的客户体验。 Cloud Client 利用客户端的能力扩展云服务，将工作负载转移到最适合运行的地方，开发人员只需编写一次，即可在任何地方运行他们的服务。Cloud Client 编排部署是 Cloud Client 核心环节。Cloud Client 基于云原生首选编排框架(Kubernetes)构建。在条件允许的时候，它将容器部署到客户端以减少服务延时和成本，获得最佳体验。Cloud Client 致力于动态发现客户端能力、端对端的网络监控、优先级分类、服务质量保障。它通过增加客户端编排部署补充云原生编排框架的能力。
Cloud Client 协助云端一体化，用云计算的理念让计算在云和端上灵活的编排，致力于提供最佳的用户体验。服务提供商采用了 Cloud Client 可以有很多好处，比如 1. 充分利用端的能力提供更多的服务的弹性，2. 让计算更靠近数据源从而保护用户数据，3. 开发者可以只开发一次服务，这些服务可以灵活的运行在云或端。

三、课程大纲

详细课程大纲请点击下载

四、嘉宾介绍

赵娟
Intel软件工程师
赵娟是一位经验丰富的技术负责人，在开源领域有着丰富的工作经验项目。她与云服务领域有很强的协作经验案例发展。赵娟2007年底硕士毕业于华中科技大学系统分析与集成专业，从2020年开始，赵娟也是华中科技大学计算机学院在职博士，研究领域为“分布式系统”。 2016年以前，赵娟专注于计算机视觉驱动，视频中间件开发与架构，计算机视觉关键算法设计与实现，如Multi-Plane, 视频处理软硬件加速和优化。2016~2020 年，赵娟带领 Intel 媒体框架团队，专注于视频框架领域的研发，也培养了多名主流视频框架OpenCV， FFmpeg和Gstreamer社区的maintainer。2021年，在积累了丰富的计算加速知识，Juan 加入云计算领域，和伙伴们继续开拓云端一体化的技术。目前专注于于云原生和云端一体化。赵娟带领了多项专利申请和论文的发表，合著 “OpenCV深度学习应用和性能优化实践”。

立即购票

一、分享主题：经济学及金融学实证研究中的大数据分析:基于 Python 和 PostgreSQL

二、主题介绍

经济学和金融学中的实证研究在技术上依赖于对计量方法的掌握，在主题上则依赖于对数据的获取和处理能力。而随着宏观经济数据、工业企业数据库、海关数据库、人口普查与抽样调查数据、农村金融/家庭金融调查数据、低频股价数据、上司公司财务及治理数据的广泛使用，其中蕴含的高价值研究主题已日渐稀缺，转向数量更为庞大但处理也更为艰难的数据成为必然。
而这些庞大的新数据集，无论工商数据、裁判文书数据、股票论坛数据、高频股价数据还是建立在详细地理坐标下的各类时空数据，均庞大无比，甚至于庞大之外还添杂乱:动辄百 G，甚至数 T;散布于多张表，甚至于文档之中。传统的以数据分析为目标的 SAS、SPSS、Stata、Matlab 等软件，碰上这类数据，即便不至于束手无策，常常也难比登天。
本讲座将介绍一个 Python 语言与 PostgreSQL 数据库相结合的并行大数据处理方案，该方案专为这类大规模数据处理与分析而设，将助你轻松遨游大数据的海洋，在更广阔的主题上开展激动人心的经济学及金融学实证研究。

三、课程大纲

详细课程大纲请点击下载

四、嘉宾介绍

汪建雄
北京第二外国语学院经济学院金融系副教授
个人介绍：汪建雄，北京第二外国语学院经济学院金融系副教授，中央财经大学中国经济与管理研究院（CEMA）金融学博士。研究方向为资产定价、经济史、国家演化等，目前与多位合作者基于裁判文书、工商数据、股票论坛数据等100G以上的超大规模数据集展开合作研究。已有论文发表在《Technological Forecasting and Social Change》、《Frontiers in Psychology》、《投资研究》、《制度经济学研究》等期刊，主持完成国家自然科学基金项目、教育部人文社科青年项目各一项。译著有《金融经济学原理》、《已经发生的未来》、《谁绑架了上市公司》、《蜘蛛战略》等。正在撰写一本介绍用Python和PostgreSQL实现并行大数据处理的图书，书名暂定为《并行大数据处理：基于Python、PostgreSQL及其他》，预计2022年出版。配套视频课程已经录制完成，预计2022年1月在网易云课堂和微信公众号（账号：山人闲读记）同步上线，部分内容也将在B站（账号：山人一枚也）开放。

立即购票