服务端技术选型

服务框架

MVC Framework:Rose 框架简单易用,并且我米内部服务和工具都优先支持 Rose 项目,默认使用 Rose 框架是很好的选择。文艺一点想做个异步化 web 服务,可以选择 Spring MVC 3.2 以上版本,并搭配高版本 Resin/Jetty 服务器,该方案已有线上服务使用,只是搭项目时会稍复杂些。

RPC:我们线上使用的是 Apache Thrift,是 0.5.0 版本。我们计划下一步升级并完善他。具体可以访问我们的 Thrift RoadMap 页面。

Javascript Library:随大流用 JQuery,也可以申请前端支持。

CSS Framework:用 Bootstrap。

Database

ORM Framwork:自然是 paoding-rose-jade,成熟好用,无论是简单的数据表操作,或者是“高大上”的分表分库都不在话下。更集成了 perfcouter 功能,可以实时查看和监控 MySQL 语句执行效率。

数据库连接池:jade 使用 Apache DBCP。Tomcat JDBC 声称更快更强,还没测试过,暂时还是继续 Apache DBCP 吧。

No SQL:Hadoop, Hive, HBase。

Cache:本地 cache 使用 Ehcache,Guava 的 cache 也可以使用。中央式缓存,用 Memcached。

传统数据库:MySQL。线上业务先和 DBA 确认服务器磁盘是否是 SSD。

Utilizes

General:Apache Commons 必备。必须使用 3.0 以上版本。Guava 是 Google 推出的产品,新鲜的功能更多一些。

JSONJackon功能强大。

XML:据说 JDK 自带的 JAXB 就很好。

Email:直接用 Spring 的封装。

Logging:Slf4j + Log4j + Scribe + Kafka。新同学掌握 Slf4j 和 Log4j 就好。

Schedule:使用 Spring 的 Schedule。Spring Cook Book 部分有演示代码。

时间日期:JodaTime。请看我们的代码示例自学。

io:简单的文件 io 用 apache commons 或者 google guava。zip 文件处理用 zip4j。

读取命令行参数JCommander是一个简单好用的命令行参数解析框架。

Test

Spring测试框架:Spring Test 配合 JUnit 非常顺畅,需要确认项目中使用 Spring 版本 3.0 以上版本。

Mock:Mockito 是现在最优雅简洁的 mock 框架了,强烈推荐使用。Mockito 搞不定的部分,比如static 函数,搭配 PowerMock。

数据库测试:使用 H2 Database 内存数据库。还是怕慢?用 maven-surefire-plugin 多线程执行测试任务。

功能测试:在 onebox 环境测试,一遍遍发布部署太麻烦,使用 jetty-maven-plugin,一键就可以把服务启动起来。

Performance/Stability Test:Jmeter 是成熟的工具。

Development Environment

JDK:线上大多数项目使用 JDK6,JDK8 版本会从离线服务开始用,Maven 编译的包需要保证 JDK6 源码与二进制兼容。

版本控制:用 Git,先阅读我们的 Git 文档。如果想深入了解Git,推荐阅读《Git权威指南》。

构建工具:用 Maven。需要熟练掌握以下技巧:1.使用 Maven 打包,比如 Jar、War、Jar with dependency、distribution 包;2.使用 Maven 发布包;3.熟知 Maven依赖管理原理。推荐阅读《Maven权威指南》。

应用服务器:Nginx + Resin,Nginx 作为反向代理,Resin 承担应用服务器和 Java 容器的角色。需要注意,线上服务记得要调优 JVM,线程数等参数。测试环境用 Jetty 插件就好。

服务端工程师入门与进阶 Java 版

前言

欢迎加入我们。这是一份针对实习生/毕业生的服务端开发入门与进阶指南。遇到问题及时问你的 mentor 或者直接问我。 建议:

  • 尽量用google查找技术资料。
  • 有问题在stackoverflow找找,大部分都已经有人回答。
  • 多看官方的技术文档。
  • ibm developerworkers的文章质量整体上有保障。
  • 平时花一些时间在github上阅读优秀项目源码。

入门(1-2 个月)

  1. 目标:参与简单的项目开发。
  2. 技能:
    • 掌握 Java。经典的《Java 核心技术:卷1 基础知识》(或者《Java 编程思想》)必看,跳过其中的图形和 applet 章节。习惯通过 Java API Doc。为了保证代码的质量,《Effective Java》、《Clean Code》和《重构》也需要至少通读一遍。
    • 熟悉 Linux 开发环境和 bash shell。Linux 是我们的开发和部署环境,你最好尽快熟练它。Linux 的基本使用可以通过《鸟哥的Linux私房菜:基础学习篇(第三版)》学习,开发 bash shell 脚本可以参考《Linux Shell脚本攻略》。
    • 掌握开发工具
      • 熟练使用一种 IDE。Intellij IDEA或者 Eclipse 都可以,推荐使用前者。至少熟悉常用的快捷键,会 debug(包括远程 debug)项目。
      • 熟悉一种编辑器。比如 Vim/Emacs,至少学会搜索/替换/代码补全。
    • 掌握 JDK 以外的常用类库和工具包。JDK 原生 API 在很多场景下使用并不方便。你需要掌握社区贡献的优秀类库和工具包,比如 apache commons、google guava 等,具体可以翻阅《技术选型手册》的Utility 篇。
    • 掌握 Web 开发框架。我们使用 Spring(或Rose) + Ibatis(或Jade) 开发 web 服务,你需要熟练掌握它们。
    • 学习代码规范。我们大致上遵循 oracle 的 Java 语言编码规范,你可以先阅读并熟悉它。Code Formatting 文件在 git@git.x.xx.com:xiaomi-commons/coding-standard.git,在编写代码之前,请把它导入到 IDE 中。另外,确认 IDE 已经安装 Findbugs 和 CheckStyle 插件。
    • 熟悉开发流程。我们的开发流程大致如下:功能开发->单元测试->功能测试->Code Review->集成测试->发布。确保你熟悉其中的每个环节。
    • 其他。需要熟练使用版本控制工具 Git(阅读:《Git 权威指南》),以及项目构建工具 Maven(阅读:《Maven实战》)。另外,在这个阶段可以尝试 TDD 开发。

进阶(2-6 个月)

  • 目标:独立负责某个服务端项目。
  • 技能:
    • 掌握 web 开发最佳实践,掌握 Restful API 设计,理解 Spring 原理。推荐阅读《Spring 揭秘》。掌握项目分层、子模块划分。推荐阅读:《J2EE 核心模式》。
    • 掌握 web 架构设计。包括 Http 反向代理,数据缓存,负载均衡,水平扩展和垂直扩展。推荐阅读:《分布式Java应用:基础与实践》。
    • 掌握关系型数据库。包括设计 MySQL 表结构,根据业务特点分表分库,基于执行计划的 SQL 分析优化,以及数据库容量规划。推荐阅读:《MySQL 必知必会》、《高性能 MySQL》。
    • 了解 NoSQL。我们大规模使用 Hadoop、HBase、Hive,同时部分项目使用 Redis、Storm。你需要学会这些工具最基本的使用。
    • 学习 web 安全知识。了解 web 前端安全问题。设计安全 web 服务,包括加解密、防伪造、防重放攻击等。
    • 掌握 Http(推荐阅读:《图解 Http》、《Http 权威指南》)、Thrift 等协议。
    • 掌握服务容量规划,性能调优,可靠性保证,以及故障处理。学习容量规划和性能调优知识,梳理业务监控点,熟练使用我们的监控报警系统。推荐阅读:《深入理解 Java 虚拟机》。
    • 其他。设计模式:从项目中学习,有时间可以看看《深入浅出设计模式》、《JDK 里的设计模式》。学习Java Socket 编程与多线程知识,可以看看《Java 并发编程实战》,并翻翻并发编程网的文章。

深入(6 个月-)

  • 目标:分布式系统和中间件开发。
  • 构建知识体系:《大型网站系统与 Java 中间件实践》、《大型网站技术架构:核心原理与案例分析》。
  • 原理与设计:《大规模存储式系统》、《UNIX 网络编程 卷1:套接字联网 API》、《How Tomcat Works》。
  • 学习开源项目:Apache Thrift、Zipkin、Netty、Rose、Jade、淘宝 RPC 系统 Dubbo 等。分析项目中的设计思路。比如,同样是RPC框架,Finagle 和 Dubbo 有什么异同。
  • 其他。根据参与的项目加深学习吧。比如,如果需要写 DSL,可以读一下《领域特定语言》,对 Redis 感兴趣推荐读一下:《Redis 设计与实现》。有两本书,无论做什么项目,都推荐读:《Unix 编程艺术》、《UNIX 环境高级编程(第3版)》。