SUMMARY

• 7年以上IT工作经验，4年以上Hadoop生态系统实施经验, maintenance, ETL and Big Data analysis operations.
• 对BigData和Hadoop生态系统有深刻的理解.
• 具有配置Hadoop生态系统组件(如MapReduce)的经验, HDFS, HIVE, HBase, PIG, Sqoop, Zookeeper, Oozie and Flume.
• 熟悉使用NFS(网络文件系统)进行Name节点元数据备份.
• 深入了解Hadoop架构和各种组件，如HDFS, JobTracker, NameNode, DataNode and MapReduce concepts.
• Good Exposure to Map Reduce programming, PIG脚本和分布式应用，以及HBase等NoSQL数据库, Mongo DB.
• 有维护多个Hadoop集群(prod, dev等)的经验.).
• 有收集和分析现有基础设施的Hadoop集群性能调优经验.
• 有自动化安装Hadoop的经验, 使用puppet等工具配置和维护集群.
• 有使用Cloudera Manager管理和监控Hadoop集群的经验.
• 了解使用Oozie设计时间驱动和数据驱动的自动化工作流程.
• 优秀的分析能力，多任务处理能力，解决问题能力，时间管理能力 & 沟通技巧，特别强调清晰的沟通 & documenting detailed Test Requirements & Tests.
• 通过管理和配置Hive来支持分析师的经验.
• 有支持数据分析师运行Pig和Hive查询的经验.
• 通过编写自定义udf扩展Hive和Pig的核心功能.
• 开发MapReduce程序进行分析.
• 使用Sqoop将数据导入和导出到HDFS和Hive.
• 有编写shell脚本的经验，将MySQL服务器上的共享数据转储到HDFS.
• 具有核心Java, Java虚拟机(JVM)和多线程处理经验.
• 作为Netcool管理服务(NMS)顾问超过3年的丰富经验, 参与为客户开发故障管理领域的体系结构解决方案, Performance Management, 运营支持系统(OSS)和其他相关学科包括IBM Netcool.
• 负责使用ambari监控hadoop集群，为故障排除配置各种警报, 设置性能提升参数.
• 具有基于Web的门户系统的使用经验，例如使用Edge工具(JARVIS)，该工具可以显示并将启用Web的网络管理应用程序整合到单个视图中.
• Experience in Unix Shell Scripting, SQL, 报告和验证复杂的存储过程, Triggers.
• 在UNIX平台上工作，对VI编辑器和UNIX命令有了清晰的了解.
• 优秀的沟通和人际交往能力，自我激励，注重细节.

TECHNICAL SKILLS

Operating Systems: Linux, Windows XP, Server 2003, Server 2008

Databases: Oracle, MySQL, MS SQL Server 2000, DB2

Hadoop Ecosystem Development: HDFS、HBase、MapReduce、YARN、Hive、Pig、Sqoop、Flume、Oozie、Zookeeper

Fault Management Tool: IBM Tivoli系列产品(OMNIbus、ITNM、Web-GUI、TBSM、TCR、Impact、ITM)

Languages: C, Java, SQL, Pig Latin, Unix Shell Scripting

IDE/ Tools: Eclipse

Others: JARVIS, HP-BSM

PROFESSIONAL EXPERIENCE

Confidential, PA

Hadoop Developer

Responsibilities:

• 分析设置集群的需求.
• Installed and configured Hadoop, MapReduce, HDFS (Hadoop Distributed File System), 用java开发了多个MapReduce作业.
• 与基础设施和行政团队一起设计, modelling, 15节点Hadoop集群的大小和配置.
• 在Java中开发Map Reduce程序，用于解析原始数据和填充staging table.
• 创建Hive查询，将原始数据与EDW参考表进行比较，并执行聚合
• 使用Sqoop将数据导入和导出到HDFS和Hive.
• 熟练使用Hive和Pig进行数据分析.
• Writing Pig scripts to process the data.
• 开发PIG拉丁脚本，从web服务器输出文件中提取数据，加载到HDFS.
• 使用MapReduce程序将海量数据集成到Cassandra文件系统中.
• Got good experience with NOSQL database.
• 参与HBASE的设置，并将数据存储到HBASE中，用于后续的分析.
• 有管理和审查Hadoop日志文件的经验.
• Experienced in defining job flows.
• 有管理和审查Hadoop日志文件的经验.
• 安装配置Hive，编写Hive udf.
• Involved in creating Hive tables, 使用HiveQL加载数据和编写hive查询，HiveQL将以map reduce的方式在内部运行.
• 使用Sqoop将MySQL中的数据提取到HDFS中.
• 使用HiveQL分析分区和桶数据，并计算用于报告的各种指标.
• 以全分布式和伪分布式方式部署Hadoop集群.
• 有使用Cloudera Manager管理和监控Hadoop集群的经验.
• 支持用Pig设置QA环境和更新实现脚本的配置, Hive and Sqoop.
• 单元测试了一个原始数据样本，改进了性能，并移交给生产.

Environment: Java (JDK1.7), Java 7, Hadoop 2.6.0, MapReduce, HDFS, Hive 0.13.0, Sqoop 1.4.4, HBase, Pig 0.12.0、Oozie、Kerberos、Linux、Shell Scripting、Oracle 11g、PL/SQL、SQL*PLUS、HDInsight

Confidential

Hadoop Developer

Responsibilities:

• 安装并配置Hadoop MapReduce, HDFS, 用Java开发了多个MapReduce作业，用于数据清理和预处理.
• 安装和配置Apache Hadoop集群，用于应用程序开发和Hive等Hadoop工具, Pig, HBase and Sqoop.
• 对Hadoop栈，Hive, Pig和Map/Reduce有很好的理解和相关经验.
• 编写MapReduce作业，发现用户数据使用趋势.
• Involved in defining job flows.
• 涉及使用SQOOP进行数据库连接
• 使用HiveQL创建Hive表，加载数据，编写Hive查询.
• Experienced in SQL DB Migration to HDFS
• Got good experience with NOSQL database.
• Used Oozie to orchestrate the workflow.
• 为ETL作业安装和配置Pig.
• 使用大数据技术，并有Hadoop分布式文件系统的实践经验.
• 致力于Map Reduce编程和Pig拉丁脚本.
• 有使用Apache Spark使用Core分布式计算和数据挖掘库的经验.
• 使用MapReduce程序将海量数据集成到Cassandra文件系统中.
• 参与使用Cassandra Query Language为客户数据创建数据模型.
• 数据从分布的来源收集到Avro模型中. 应用转换和标准化，并加载到HBase中进行进一步的数据处理.

Environment: Hadoop, Hive, Linux, MapReduce, HDFS, Hive, Python, Pig, Sqoop, Cloudera, Cassandra, Spark, Shell Scripting, Java (JDK 1.6)、Java 6、Oracle 10g、PL/SQL、SQL*PLUS

Confidential, Oklahoma, OK

Hadoop Developer/ Administrator

Responsibilities:

• 从业务伙伴和主题专家那里收集业务需求.
• 参与安装Hadoop生态系统组件.
• 负责管理来自不同来源的数据.
• 监控作业，分析性能统计数据.
• 执行已完成作业的单元测试.
• 涉及使用SQOOP进行数据库连接.
• 在Hadoop和数据库级别应用优化技术.
• 参与创建Hive表，以及使用Hive查询加载和分析数据.
• 使用Hive和Pig开发简单到复杂的MapReduce作业.
• 参与运行Hadoop作业，处理数百万条文本数据记录.
• 与应用程序团队一起安装操作系统, Hadoop updates, patches, version upgrades as required .
• Experienced in defining job flows.
• 有管理和审查Hadoop日志文件的经验.
• 通过Sqoop从MongoDB中提取文件并放置在HDFS中进行处理.
• 有运行Hadoop流作业处理tb级XML格式数据的经验.
• 加载和转换大型结构化、半结构化和非结构化数据集.
• 自动化脚本，通过cronjobs监控HDFS和HBase.
• Plan, design, 并实现对海量营销信息的处理, complete with information enrichment, text analytics, and natural language processing.
• 准备多集群测试工具来测试系统的性能和故障转移.

Environment: HadoopHDFS、Map Reduce、Hive、Pig、Sqoop、Oozie、HBase、Linux、Java、Xml、MongoDB.

Confidential, CA

Java Developer

Responsibilities:

• 积极参与各个模块的分析、设计、开发和测试阶段.
• 在整个项目过程中，每天与团队成员一起认真参与敏捷站立会议，使用Rally软件更新项目状态.
• 估计的一级和二级和设计的类，序列图.
• Worked on J2EEdesign patternslikeDAO, Front Controller, Session Façade, Factory Pattern and Singleton.
• 使用HTML5, CSS3, JSON和JavaScript创建移动web应用程序.
• 学习面向对象的概念，使用Core Java的集合框架.
• 广泛使用Spring MVC架构进行应用程序开发.
• 使用Spring IOC开发应用程序服务组件和配置bean .
• 通过使用消息队列中的消息，使用JMS进行异步通信.
• 使用Hibernate作为数据持久化层，使用Hibernate映射文件配置服务和持久化对象.
• 参与了Spring和Hibernate框架的集成.
• 生产和消费基于REST的web服务，使用SOAPUI工具进行单元测试并生成json.
• 使用Oracle实例进行数据库查询.
• 使用JAXB将XML内容转换为Java对象.
• Involved in unit testing, 根据适用的开发标准进行测试用例评审和代码评审.
• 参与集成系统测试和用户验收测试(UAT)
• 在DEV, QA和UAT环境中从事Web部署工作.
• 在遇到生产问题时支持应用程序.
• 部署在Weblogic应用服务器上的应用程序.
• SVN is used as Code Versioned control.
• Firebug is used as debugger.
• Used Maven script to build application.

Environment: Core Java1.6, Oracle10g, Toad, JSP, Spring3.0, Hibernate4.0, JavaScript, HTML5, jQuery, Ajax, Apache CXF Framework, REST Webservices, JAXB, Linux, Shell scripting, WinSCP, log4J, Maven, SVN, Weblogic Server11g, Eclipse, Microsoft Visio.

Confidential

Java Developer

Responsibilities:

• 参与整个sdlc，包括协作评审会议, estimations, design sessions, development and testing.
• 使用JSP/AJAX/ HTML / CSS/ Java Script开发用户界面.
• 设计和开发用例、类图和序列图.
• 实现了多种j2ee设计模式，如dao、DTO、工厂模式和单例模式.
• 使用Java Server Faces (JSF)和Spring MVC开发应用程序.
• 使用Restful web服务实现GET和POST操作.
• 完全参与使用DOM和JaxB构建组件，这有助于解析XML.
• 为可调用语句编写JDBC程序, 编写用Oracle编写的语句，并使用TOAD工具与数据库交互.
• UsedCVSfor version controlling.
• Used log4j for logging statements.

Environment: Core Java 1.5, JSF1.1, Spring 2.0, Restful webservices, Rest Client, XML, XSD, JAXB, DOM, Tomcat, JSP, Oracle 10g, SQL/PL SQL, Hibernate2.0、Java脚本、CSS、HTML、Ajax、log4j、My Eclipse、Toad、Ant1.7, Microsoft Visio.