个人简介:上海热璞网络科技有限公司创始人,先后在麦肯集团、阿里巴巴、五分钟网络从事数据库领域的设计、优化、高可用性、数据层架构、自动化等方面应用研究,曾负责摸索与实施阿里巴巴的去IOE技术架构及全部项目。致力于推广开源领域的数据库及相关技术,现主要贡献于MySQL开源领域。
培训内容 | 讲师 | 时长(小时) | |
10月20日上午 | 敏捷大数据理念及架构 | 卢山巍 | 3 |
10月20日下午 | 数据总线平台DBus | 王东 | 3 |
可视化应用平台Davinci | 徐翔 | 2 | |
10月21日上午 | 流式处理平台Wormhole | 赵平 | 3 |
10月21日下午 | 计算服务平台Moonbox | 卢山巍 | 2 |
实践应用案例解析 | 曹海霞 | 3 |
【个人简介】
提出了敏捷大数据方法学,并围绕该套方法学,设计出了一系列的大数据相关平台,包括流式处理平台,可视化应用平台,计算服务平台。
在加入宜信之前,就职于亿贝,是亿贝相关数据项目的高级软件架构师,在大数据处理相关领域有丰富的经验和深刻的见解。毕业于澳大利亚伍伦贡大学大学计算机专业,获得硕士学位。
【总述 & 特长】
10年以上的互联网大数据工作经验和银行软件开发经验,对大数据相关技术有深刻的理解,擅于多维度高阶抽象来设计更通用的产品;
全栈工程师。包括前端,服务端,业务框架,数据仓库,大数据平台等;
优秀的业务分析和问题解决能力,出色的客户沟通能力;
热爱技术并乐于跟随技术的发展,具有超强的把各种新技术融合落地实现的能力。
【IT技能】
语言:Java;Scala;C#;
大数据:Spark,Hadoop;Kafka;Storm;Akka;分布式系统设计等;
数据库:Teradata;MySQL;Ms SQL;SQL/NoSQL;数据实体关系设计;
系统:SOA;DDD;Design Pattern;UML;Web Services/REST;XML/JSON;
前端:HTML/CSS/JavaScript;GWT;Swift
【讲师相关信息】
2018思科金融行业峰会 金融领域敏捷大数据实践 演讲讲师
参考:http://science.china.com.cn/2018-06/08/content_40375694.htm
开源项目wormhole 负责人: https://github.com/edp963/wormhole
开源项目davinci负责人: https://github.com/edp963/davinci
开源项目moonbox负责人: https://github.com/edp963/moonbox
【个人简介】
主要负责日志归集、流式处理和大数据业务产品解决方案,包括实时敏捷大数据技术栈基础组件 - DBus实时数据总线平台的建设和NLP自然语言处理技术解决方案的建设和探索等。在加入宜信之前,就职于Naver(韩国最大搜索引擎公司),担任中国研发中心资深研发工程师,拥有多年从事分布式数据库引擎研发经验,负责开源项目CUBRID-cluster分布式数据库开发和CUBRID数据库引擎开发工作。毕业于北京大学软件工程专业,获得硕士学位。
【总述 & 特长】
10年以上行业经验和管理经验,对开发、测试和项目管理有丰富经验;
擅长c/c++,Java, Scala, python开发,扎实的数据结构和算法基础,很好的设计和开发能力,丰富跨平台开发经验(Linux,Windows,AIX);
熟悉开源流式处理引擎引擎,包括Storm,Spark Streaming, Kafka等;
熟悉大规模分布式系统开发、维护经验和常用开源分布式系统,包括Hadoop、Hive、Spark、HBase、Kudu、ElasticSearch,mango等
熟悉系统级编程,包括系统调用/API, 多线程,多进程编程,网络socket 编程,IO操作;
熟悉Mysql,SQL server,CUBRID等数据库, 对数据库理论和开发有深刻的理解;
熟悉分布式数据库集群,熟悉sharding,高可用性(HA)和分布式一致性(2PC);
熟悉和阅读源码包括 Mysql, Redis, Leveldb, Nginx, libevent等,对Nosql相关技术有一定研究;
熟悉python, Linux/Windows shell, js等脚本;
擅长在百万行代码中定位问题,缩小问题规模,解决内存泄露,性能调优等问题;
【讲师相关信息】
2018全球软件与运维技术峰会(WOT) 大数据处理技术会场 演讲讲师
参考:http://wot.51cto.com/act/wot2018/dev/page/theme?hall_id=34
DBAPlus 线上分享嘉宾讲师
如何基于日志,同步实现数据的一致性和实时抽取?
参考:http://dbaplus.cn/news-21-872-1.html
基于可视化配置的日志结构化转换实现
参考:http://dbaplus.cn/news-134-1860-1.html
开源项目DBus 负责人: https://github.com/BriData/DBus
开源RDBMS数据库项目CUBRID Commiter: http://www.cubrid.org/
开源分布式数据库项目CUBRID-cluster 发起人
https://www.slideshare.net/cubrid/cubrid-cluster-introduction
https://sourceforge.net/projects/cubridcluster/
【其他】
2013,雪鸟企业管理(上海)有限公司 培训 通过《Scrum敏捷软件开发》课程;
2011, 作为演讲嘉宾,参加Naver 韩国首尔workshop大会,介绍和演示CUBRID cluster项目;
2005/2006/2007/2008,多次参加微软Tech-ed大会培训,学习微软最新技术和工具;
2008,获得《网页搜索的显示方法以及其客户端设备》专利证书,专利号:ZL 2005100002308.0;
2005,获得“软件设计师”证书。
【个人简介】
davinci可视协作平台技术负责人。互联网金融行业从业5年,在数据可视化、前端、用户体验领域有着丰富的经验。毕业于北京工业大学计算机专业。
【总述 & 特长】
7年以上互联网软件从业经验,对软件产品设计研发周期有着深刻的理解;
前、后端全栈从业经历,参与过c端与b端产品的设计和开发工作;
专业的敏捷开发管理经验,善于使用 scrum 管理产品研发周期;
扎实的可视化理论基础,对行业内可视化软件发展现状有着独到的理解;
【IT技能】
语言:JavaScript; TypeScript; Java
前端:React; Redux; Flux; FP; Vue; CSS-Modules; NW; PhoneGap
后端:Node.js; SpringBoot;
【讲师相关信息】
开源项目Davinci技术负责人: https://github.com/edp963/davinci
【个人简介】
负责流式处理平台——Wormhole的设计和实现,并负责流式处理项目的解决方案设计和落地工作。加入宜信之前,在东信北邮任项目经理一职,拥有丰富的分布式设计和研发经验,负责过多个重要项目,包括中国移动”魔百盒“项目、*省移动家信通平台、*省企信通平台等。
【总述 & 特长】
十年以上的分布式及大数据项目建设和管理经验,对流式计算和分布式方面积累了大量的设计和开发经验,并对流式计算有深刻的理解;
善于系统抽象及架构设计,同时拥有大量系统问题的解决经验;
擅长数据的应用,利用大数据技术、结合业务场景来挖掘数据的价值;
热爱创新,特别在技术和设计方面,并能够将新技术在项目中快速融合并落地;
【技术栈】
语言:Java、Scala、Golang
分布式:Zookeeper、RocketMQ、Redis、Dubbo等
大数据:Spark、Flink、Hadoop、Kafka、Hbase、Kudu、ElasticSearch等
数据库:Mysql、Oracle
开源项目wormhole 负责人: https://github.com/edp963/wormhole
【个人简介】
主要负责敏捷大数据平台的解决方案设计和的落地实施。理解并分析客户需求,根据需求给出合理的解决方案并落地实施。负责wormhole 1.0 版本的设计开发及实施运维。加入宜信前,就职于Websense(韦伯森斯)北京研发中心,资深研发工程师,负责邮件安全网关数据和日志系统的架构设计、开发及技术支持。在数据处理系统设计、分布式数据处理、数据分析、反垃圾邮件技术、网络安全等方面有丰富的经验。毕业于江西理工大学计算机应用专业,获得硕士学位。
【总述 & 特长】
10年以上数据处理及日志分析经验,对数据问题敏感,能快速理解需求并提供专业稳定的解决方案;
具有扎实的数据结构和算法基础,全面的专业基础,多年的系统架构设计经验,对方案的可行性和落地,能整体把握、有效推进;
对大数据相关技术有深刻理解,对各类大数据技术的应用场景有深刻的理解;
对网络安全及反垃圾邮件技术有深入研究,对大数据安全有深刻的理解及实践。
【IT技能】
语言:C/C++; Scala;Java;
大数据:Spark,Hadoop;Kafka;Akka等;
数据存储:MySQL,SQL Server,HBase,Kudu,Elasticsearch,Redis等;
开源项目wormhole: https://github.com/edp963/wormhole
【个人简介】
目前集团内技术级别最高者;行走互联网江湖十多载,具有10年以上的系统架构经验与中间件开发经验;曾任5173分布式存储架构师、携程国际机票计价引擎架构师;擅长复杂业务系统架构、中间件开发、高性能运算、分布式存储与计算等;并从5年前开始,兼职从事顾问与讲师工作,多次受邀前去北京、深圳、成都、台湾等地进行技术交流。目前拥有技术专利一项,在申请中专利二项。
【讲师资质】
2015 2016 SACC 特邀讲师
2016 2017 SDCC特邀讲师
2017 ModernWeb(台湾)特邀讲师
2017 SDCC 2018SACC 顾问与出品人
【著作书籍】
著有《程序员入职锦囊妙计》一书,并正在撰写第二本书,暂定名称为《高性能中间件开发实现与技巧》。
另有多篇文章被《程序员》等杂志期刊刊登,例如《程序员》201604期 《阅文集团分布式文件系统的设计与实现》等