联系方式
- 手机: 181-151-87339
- Email: jinjiayi_1993@outlook.com
- QQ: 1571805553
个人信息
- 金嘉怡/男/1993
- 本科/南京工程学院 – 康尼学院 – 计算机科学与技术
- 1年
- 个人博客 : www.yuzhouwan.com
- CSDN : oasiduofu
- Github : asdf2014
工作经历
天诚逍逸 (2014 年 4 月 27 号 ~ 2014 年 6 月 20 号)
参与校企合作的网络公司。在核心组,由从事 Hadoop 的公司技术员工带队指导。
在 Linux 上搭建过 Hadoop2、Hive、Hbase、Strom、Sqoop 集群,并用其实现过一些简单的数据分析。
1. flume 完成数据的采集
2. 对数据进行清洗
3. 使用 hive 进行数据的多维分析
4. 把 hive 分析结果通过 sqoop 导入到 mysql 中,完成数据迁移
5. 提供视图工具,供用户使用
南京贝特威信息技术有限公司(2014 年 7 月 10 号 ~ 2014 年 10 月 10 号)
主要工作是 东方航空公司 的燃油税费系统的研发。
涉及到的技术:
Oracle & Access(PL/SQL) + MyBatis + Spring3 + Struts2 + JSP + EasyUI + WebService。
根据东航税费项目专家组提供的 Specification 英文规范文档,完成对 Access 数据库的解析(在 Spring 中配置定时器 自动完成),并将数据导入到 Oracle 中,实现数据的迁移。
并使用 EasyUI 将迁移的实时情况,展现在 web 浏览器中。
同时,需要将迁移中生成的 bean 做成 excel 展示记录表,并将这部分工作总结抽象成更加全能的一个 Beans2ExcelWithSheets 工具 jar 包。
技能清单
熟悉:
- Java
- Hadoop / Storm / Spark (Scala / Python)
- Node (Connect, Express4.x, Hexo)
- Spring (MVC, Shiro)
- Git
- JVM
- SQL (MySQL/PostgreSQL)
- NoSQL (MongoDB/HBase)
了解:
- iBatis
- OSGi
- R
- Ruby
- Clojure
- UI
- WebService
- Struts
- DBCP
- JNI
- Html5/EasyUI/JQuery(Ajax)
大数据:
了解实时分析系统 Strom,内存计算框架 Spark (熟练掌握 Scala 编程),数据流框架 Oozie
熟悉 Shell 命令,熟练掌握 Crontab 的自动化脚本编程
能够使用 flume 实现数据的实时采集工作,并运用 Hive 对采集回来的数据,进行清洗、分析。同时,能够结合 flume 进 Hadoop 分布式文件系统的数据,关联其外部分区表
脱离 derby 的存储方式,使用 MySQL 对 meatstore 进行保存,实现了多用户并发操作 Hive
熟练掌握 HBase,了解面向列型数据库的存储机制
能熟练使用 sqoop,利用其实现 关系型数据库 与 HBase 之间的数据迁移
知晓 ZooKeeper 的 HA 实现方式
了解 HDFS 运作机制,能在 yarn 上熟练编写 MapReducer,并能够通过 Combiner 均衡 Reducer 主机的压力,以及 Partitioner 将结果集写入到不同的 hdfs 文件中
熟悉 Hadoop 的生态圈,研读过 RPC 部分源码
致谢
感谢您花时间阅读我的简历,期待能有机会和您共事。
在线简历 : https://github.com/asdf2014/asdf2014.github.io/blob/master/me.md