CMMI ATM学习报告
2007-12-22 ATM培训总结：
通过本次ATM培训对CMMI的评估方法、组织方式、评估过程、评估组成员职责等有了初步的了解。结合课程本身对公司进行评估需要做得工作有了一定的理解。
一、培训目标
本课程培训的目标：通过培训帮助评估组成员为组织进行SCAMPI CLASS A评估时能够高效的履行职责、了解评估步骤、了解评估方法背后隐含的基本概念、通过培训练习熟悉评估方法。具体期望如下：
A.能够有效和高效的做好文档评审
B.能够有效和高效的做好访谈
C.知道如何为每个项目在每条实践上的实施程度进行评分
D.学会如何给出初步结论
E.学会如何基于每条结论给出最终的目标评分、成熟度评分
F.总结
二、评估组的建立
1.CLASS A评估组成员的选择标准：
A.首先是一批有经验的个人，具体的经验要求如下：
a) 接受过SEI证书培训
b) 接受ATM小组培训
c) 整个评估组成员工程经验总计要25年、平均要6年
d) 整个评估组成员管理经验总计要10年，至少有一人是6年 e) 公司产品开发生命周期的每个阶段至少有两人参与经历过
B.评估组成员不能是被访谈项目的项目经理、上司
C.内部评估和外部评估人员总共加一起一般是4～9人，不能低于4人，可以超过9人，但不建议超过。
2.为什么评估组对于评估非常重要：
A.评估结果反映整个评估组的知识、经验和技能：能够给出切实有益的改进建议
B.评估的结果客观与否取决于评估组；
C.评估结果可信与否也取决于评估组的结论以及评估过程
3.评估组团队的成长过程
评估团队应建立共同工作的目的，团队成员间的经验、能力是可以共享的，团队成员都相信团队的力量比个人的力量大。
评估组的成长过程经历7个步骤：
A.定方向阶段：组员了解为什么到这个组；
B.建信任阶段：组员彼此熟悉、信任、了解；
C.界定清楚角色和职责；
D.作承诺；
E.过程管理、执行阶段；
F.跟踪控制团队表现，提高团队表现的过程；
G.团队的持续改进过程：为公司培养内部改进人员。
4.评估组章程：
A.严格遵照SCAMPI评估方法
B.提供准确清晰的结果
C.经过协商产生结果，确保每个人都支持这个结论
D.小组协商一致时要进行表决
E.遵守保密协议，避免泄露可能称为口实的消息，是评估组陷于被动 F.所有参加人员要参加会议，按时开始、结束
G.当一个成员休息时，全体休息
H.不同意见要公开，没有隐瞒子自己的意见
I.只有理解后才能表示同意，并基于负责任的态度提出异议
J.相互尊重
K.整个组织按预定的计划实施活动，对离题的现象要控制，避免严重争执 L.即时提出好的建议、积极的观点
5.评估主意事项：
A.每个成员都要进行记录
B.笔记一定记录被访谈者的陈述，不做解释、不做推论、不做结论
C.不做自己的事情
D.不要在访谈时提到其他访谈的消息
E.事先准备好访谈问题
F.仔细听、努力理解被访谈者的意见
G.不要忽视访谈者的话，不要问重复的问题
H.如果被访谈者难以回答，不要建议答案
I.被访谈者不明白问题时，重复问题或询问被访谈者是否明白
J.每次只一个人发言，不要抢话
K.记录要求被访谈者会后提供的证据，并在会后提醒跟踪。
三、评估方法介绍
SCAMPI方法（Standard CMMI Appraisal Method for Proce
Improvement）：SCAMPI评估方法是一种诊断工具，是标准的CMMI过程改进评估方法，支持和推动组织对过程改进进行承诺。通过确认组织和一个或多个CMMI模型相关(CMMI-SE/SW)的现有过程的强/弱项，SCAMPI能够帮助组织对它自身的过程能力或组织成熟度有一个全面的了解。
西安和北京预评估实行的是SCAMPI ARC A类评估，要对工作产品和面谈人员进行广泛的评审，从而得出成熟度等级或能力等级的评定。
CMMI的SCAMPI评估分为三种评估方法：CLASS A、CLASS B、CLASS C，其中： CLASS A：完整的、综合性能的评估方法，要求组织严格按照体系文件执行，可以允许有个别项目例外。例如体系文件主要针对研发项目，对维护项目则可以例外，但需要提供合理的原因。
CLASS A评估的目的：结合CMMI模型能够理解公司当前过程、通过理解过程了解公司的弱项及强项、对CMMI过程目标的满意度进行评价、对过程域成熟度等级进行评分。
CLASS B&C：通常用于组织内部的考察，例如考察体系文件与模型的差别、考察试点项目运行结果与模型的差距、预评估等。
组织可根据实施状态选择评估方式，三类评估结果都可以上报SEI，但评估的主导者不同，A类为主任评估师，B\\C类为SEI授权的组长即可，目前上报到
SEI的国内企业基本采用A类评估方法。
正式评估时要求：列出公司项目剖面图，包括项目名称、周期、当前阶段、生命周期模型、人数、组织形式，评估组从中进行采样评估。
CLASS A评估方法的评估原则：
i.要以过程模型为开始
ii.要有一个一定义的评估方法
iii.要求高级管理人员支持本次评估
iv.评估过程要遵循保密原则，不点名，评估笔记最终要销毁
v.通过协作来达到评估目的
vi.关注行动，对事不对人
正式评估时需要上报给SEI的数据：组织范围项目数/组织单位项目数、组织范围人数/组织单位人数。覆盖率偏低对公司通过评估有一定压力。组织范围指参与评估以及支持评估的范围，组织单位指评估实体范围，可以是组织的一部分也可以是组织全体。
客观证据，指文档或访谈的结果，表明各条实践的实施程度。客观证据来源有以下几种：
A.工具（常指调查问卷），可选
B.展示（演示），可选
C.文档（电子、纸质、工具记录均可），必选
D.访谈，必选
实例：指组织单位里面按照模型实施的项目。评估时就是从实例中进行采样，采样评估结果指示整个组织单位在模型实施的能力水平。正式评估时要求列出：几个部门、每个部门的项目数、项目的开发周期、项目采用的生命周期模型、当前处于什么阶段、项目人数、项目的组织形式、项目在每个部门的情况。评估组根据项目剖面图进行采样。
实践实施指示器（PIIDS表）： 走路留脚印，做事留痕迹。做事过程中留下的证据，证据分为直接证据、间接证据、人证：
A.直接证据指实践产生的有形的产出物
B.间接证据指涉及实践的会议记录、过程数据、邮件等
C.人证指口头的或书面的陈述来确认实践的实施、由实践的实施者或
相关人员提供，人证的获取方式可以是面对面的访谈、电话访谈、
视频会议、调查问卷等。
咨询师的要求：访谈证据是否充分一定要听到两次（至少有两个人证），看到一次。在评估方法中没有明确要求。
四、评估阶段介绍
SCAMPI评估方法分为三个阶段：计划阶段、现场评估阶段、报告阶段。
1、计划阶段工作内容：
A) 确定评估目标和目的
B) 确定评估计划
C) 培训评估组
D) 评估组内部准备PIIDS表
E) 进行内部分析
F) 策划现场活动
G) 评估前进行就绪检查：检查客观证据、评估组是否就绪、设备是否就绪
2、现场评估阶段工作内容：
A) 召开开幕会：要求出资人必须参加，如不能召开要委托他人参加
B) 找到直接证据、间接证据
C) 确认证据
D) 进行访谈
E) 进行初步结论
F) 确认初步结论：最后提供证据的机会
G) 组织级的评分
3、报告阶段
A) 汇报正式结论
B) 与出资人最后沟通
C) 总结
具体步骤如下：
第一步，进行评估策划。
1) 确定被访谈成员，被访谈成员角色需要包括：
评估出资人：保证证据的真实性、保证证据至少保留三年
中层经理：项目直接上司，参加被访谈，也是数据提供者、对访谈结果进行初步确认
项目负责人：单独被访谈，数据提供者、参与访谈结果的初步确认
职能代表：具体的实践人员，如：QA、CM、EPG、培训、软件开发人员、硬件开发人员、测试人员等。
一般按照职能组进行分组进行，也可按照不同角色进行分组访谈。
2) 确定评估组成员角色，评估过程需设定以下角色：
评估组组长：负责整个评估过程，需要得到SEI授权，且需要对最终评估结果进行确认和负责。职责：确保整个评估的策划过程是完整的、给评估小组分配角色及职责、确保评估方法得到遵循、监督过程的表现、推动问题的解决、与出资人接口、负责上报结果给SEI。
库管理员：管理评估期间的文档，在评估结束后将文档返回
计时员：控制访谈时间，进度控制
3) 进行评估分组，评估分组一般可采用以下形式：
项目管理：PP、PMC、SAM、IPM、RSKM
工程：REQM、RD、TS、VER、VAL、PI
过程管理：OPF、OPD、OT、QA、CM、MA、DAR
评估策划主要由评估组长来做，正式评估时需要写评估计划文档（正式评估前一个半月应提供），文档内容应包含：
A.评估的商业目的
B.评估目的
C.评估关键参数：出资人姓名、出资人头衔、出资人单位、联系方式
等
D.评估组组长信息
E.评估组成员组成：名字、参与培训的培训师、工程经验年限、管理
经验年限、参与执行过哪些PA
F.评估组成员职责、联系信息
G.评估参与者：姓名、头衔、职责
H.项目名称、支持组名称、项目类型（FOCUS项目、NON FOCUS项目）、
项目规模、项目组织级的职能、项目在组织单位的具体位置
FOCUS项目：覆盖所有PA的项目
NON FOCUS项目：补充提供证据的项目，只覆盖个别PA，不要求完
全覆盖所有PA
第二步，完成评估策划后，组织单位需要进行准备工作：
A.收集客观证据并进行记录（填写PIIDS表）：围绕项目生命周期进行
B.客观证据的评审和初步分析，要求在访谈前进行文档评审，确认
PIIDS表中提到的客观证据
第三步，就绪检查：客观证据是否准备充分、评估组是否就绪、后勤设施（如设备、场地等）是否准备就绪。就绪检查不符合要求的情况，评估组长要进行决策，决策有以下三类：
A.按计划继续进行评估
B.重新安排计划
C.取消计划
就绪检查可能会进行多次。就绪检查需要回答的问题：有多少证据？结合CMMI模型要求还缺少什么证据？在什么地方可以得到缺少的证据？
第四步，进行访谈，访谈的目的是为了收集口头的人证信息来证明实践的实施。 首先进行访谈准备，确定访谈类型、被访谈人员分组、准备访谈问题。 访谈的类型分为：
A.Standard：事先做好计划，准备好问题，根据类似职责分组，整个评
估组参加。
B.On－call：证据不足或不充分或相互冲突的时候，采用事后访谈。也
要求事先计划，通过现场协调员通知被访谈人，组长制定至少两个人
以上的评估组成员对其进行访谈，也需要事先准备好问题。
C.Office hour：去位置上访谈
对被访谈人员的分组可参考以下情况：
A.项目负责任：单独访谈
B.中、高层经理：可合并一起访谈
C.QA
D.CM
E.PM
F.开发人员，可根据相似只能合并
G.测试人员
其次，确定访谈计划，包括：开场白（访谈、被访谈人员自我介绍、评估目的等）、安排座位、访谈角色确定等
访谈角色包括：
A.主导者：问问题、访谈的推动者，每个成员都是所负责的PA的主导
者
B.计时员：控制实践，提醒
C.库管理员：记录访谈会后需提供的证据，责任人
访谈问题分为三类：
A.开放式的问题：没有标准答案
B.直接问题：有标准答案，必须做出回答
C.转移性问题：随着问题问问题
访谈中的经验介绍：
A.不要心中装着自己想好的答案
B.不要对别人说的话做出反应
C.不要表露怀疑、轻蔑的态度
D.认真听每个人说的话
E.不要问已问过的问题
F.遇到问题的事后巧妙的转移，避免陷入僵局
最后，汇总访谈结果，整理PIIDS表，给出评分结论，并确认。
注意：
间接证据和人证是和或的关系，如没有直接证据，光有间接证据是不够的，还需要有人证的支持。
人证的覆盖规则：
A.一行一列规则：每一个实践至少有一个项目提供人证信息，每一个
项目至少为一个实践提供人证信息。如果满足这个要求，则表明这
个目标人证满足要求。如果某条实践没有人证信息，则必须找到直
接、间接证据，才能说明这条实践被完全实施。此规则只针对人证，对直接证据不适用此规则。对没有间接证据的实践，在访谈时一定
得问到，得到人证，否则此实践的评估结果只能是PI
B.50%规则：对实践、项目需要提供的人证只要达到50％的比例即可。
如四个实践、四个项目在执行，人证只需要提供8个即可。
五、评分方法
1、对SP的评分标准
对每个项目每条实践的评分标准：
FI：全部实施：有直接证据，且有间接证据或者人证，且没有找到弱项 LI：大部分实施：有直接证据或间接证据，但有弱项
PI：部分实施：直接证据不存在，或有直接证据但证据不充分；
或无直接证据，但间接证据说明做了；
或有直接证据且证据充分，但访谈中无间接证据，也无人证
NI：未实施：无直接、间接、人证，且应该做的实践但没有做；
NY：未到实施时机：还未到时间做，未作。
对组织单位级实践的评分标准：
所有项目都是FI/NY，至少有一个FI，则这条实践为FI
所有项目都是LI/FI/NY，则这条实践为LI
至少有一个LI/FI，至少有一个PI/NI，则这条实践为LI或PI
所有项目都是PI/NI/NY，至少一个PI，则这条实践为PI
所有项目都是NI/NY，至少一个NI，则这条实践为NI
所有项目都是NY，则这条实践为NY。这种情况在正式评估时是不允许的，认为组织未到评估时机。
正式评估的初步结论如何写？将每个项目的实现转化为组织级的实现情况，将每个项目的观察项转换为组织级的观察项，并将每个项目的每条实践结果概括为综合组织级在每条实践的发现。
2、对SG的满足评价
进行目标的评分必须满足三个条件：
A.所有相关信息评估组已经收到并已考虑过
B.所有实践都在组织单位级给予综合评分
C.已经做过初步结论反馈
判断目标是否满足必须达到两个条件：
A.所有相关实践在组织单位级必须为FI或LI
B.如果有LI出现，说明一定还存在弱项，需要评估弱项对目标的影响，
不能对目标有大的影响
达到上述两个条件才能说这个目标在组织级得到了满足。
对弱项的影响主要考虑：
A.现在满足了，但对今后实施是否有信心？如果无，则不满足
B.这里满足了，是否会影响其他方面？
3、对PA的满足评价
有5个等级：
过程域满足：过程域的满足必须是过程域的所有目标都满足。
过程域不满足：只要有一个目标不满足，过程域就不满足
过程域不适用：三级只有SAM过程域可以不适用，但我司可以适用
过程域不评：还未到时机，及SP为NY
过程域超出范围：超出评估等级范围
4、对CL的满足评价
对每一层级对应的过程域都满足则说明组织能力成熟度达到一定层级。
