技術力評価会、外部評価者運営レポート

こんにちはシステム本部 三浦@hironomiuです。

少し時間が経ちましたが、2018年7月から8月に開催された、20期下期の技術力評価会の「外部評価者運営レポート」をエントリーしたいと思います。

今回、私は主に外部評価者のアサイン、社外見学者との調整などの運営部分を担当していましたので、 なかなか表に出てこないと思われる運営内容や、苦労したところ、技術力評価会において外部評価者を交えたエピソードなどについてエントリーしたいと思います。

技術力評価会とは?

技術力評価会そのものについては以下のエントリーで詳しく載っていますので、このエントリーと合わせて是非ご覧ください。

seleck.cc

seleck.cc

外部評価者とは?

技術力評価会ではVOYAGE GROUP内のエンジニアのみならず、より的確な評価を下せるケースが想定される場合には 社外の技術者に依頼し評価を行って頂いています。こちらを外部評価者と呼びます。

今回は8名の方に外部評価者として参加していただきました。(超豪華!)

@mizchiさん
@songmuさん
@slightairさん
@hotchpotchさん
@soudai1025さん
@onkさん
@mirakuiさん
@voluntasさん

技術力評価会後@voluntasさんに社外評価者についてエントリーしていただけました。是非ご覧ください。

medium.com

エントリー後半部分では@soudai1025さんによるEX技術力評価会のレポートもありますので是非最後までお読みください。

社外見学者とは?

技術力評価会に興味を持たれた企業様向けに、実際に行われる技術力評価会の見学会を行っています。

今回は 株式会社エフ・コードの社員の方達が見学に来社されました。

見学後、株式会社エフ・コード社の方がレポートをエントリーしていただけました。是非ご覧ください。

www.wantedly.com

運営周りの紹介

冒頭にある通り、私は主に外部評価者のアサイン、社外見学者との調整などの運営部分を担当しました。

具体的には

  1. 外部評価者との契約周りの取りまとめ
  2. 社外見学者とのNDAなどの取りまとめ
  3. 外部評価者、評価される側の被評価者とのコミュニケーション手段の確立
  4. 社外見学者、評価者、評価される側の被評価者とのコミュニケーション手段の確立
  5. 外部評価者に対して技術力評価会、評価会後の評価擦り合わせの日程調整
  6. 社外見学者向けの評価者の評価レポートなどの展開
  7. 外部評価者を交えた技術力評価会の振り返りと打ち上げ

などを行いました。

1. 外部評価者との契約周りの取りまとめ

所謂、業務委託契約を各外部評価者と締結していきます。報酬金額の算定、契約期間、反社会的勢力の排除、秘密保持などを盛り込んだ契約書を法務に依頼し、 法務にて整えてもらった契約書を外部評価者と締結します。今回は個人請負契約以外に法人に対する業務委託のケースも発生したり、報酬は消費税を盛り込み源泉税を差し引いた金額が支払われるなど、エンジニアリングとは違った知見を得ました。

2. 社外見学者とのNDAなどの取りまとめ

技術力評価会は実際の業務にて行った資料やソースコードを用いて行われます。当然業務のコアな部分についても言及しますので、社外見学者の方とも外部評価者と同様に、会社対会社と言う形でNDAを締結することで担保します。こちらについても法務にこの要件を伝え作成してもらった契約書を今回ですと株式会社エフ・コード社と締結の窓口などを行いました。

3. 外部評価者、評価される側の被評価者とのコミュニケーション手段の確立

技術力評価会では評価者に対して被評価者から、様々な情報が提供されます。例えば、評価対象業務の概要と背景、評価して欲しいポイント、具体的なソースコード、仕様書やチケットなどが提供されます。評価者、被評価者間で評価会当日までに提供した資料に対して疑問に思うことなどについてのコミュニケーションを円滑にで行えるよう、弊社ではVOYAGE GROUPチームのSlackに特定のチャンネルのみアクセス可能なアクセスコントロールの設定をしコミュニケーションをはかれるようにしています。

4. 社外見学者、評価者、評価される側の被評価者とのコミュニケーション手段の確立

社外見学者におきましても外部評価者、被評価者とのコミュニケーション手段の確立と同様に事前情報の共有、事後についても評価結果などの共有などを行えるようVOYAGE GROUPチームのSlackに特定のチャンネルのみアクセス可能なアクセスコントロールの設定をしコミュニケーションをはかれるようにしています。

5. 外部評価者に対して技術力評価会、評価会後の評価擦り合わせの日程調整

技術力評価会は社内評価者2名、被評価者1名で基本行われます。そこに場合によっては外部評価者1名が加わります。 だいたい1ヶ月以上前から4名の空いている日程を、こちらで把握し調整するのですが、会議室含め、この調整はとても苦労しました。 7月8月は夏休みの時期であることと、毎年8月はエンジニア志望学生向けに3週間のインターン「Treasure」が開催され、 相当数のエンジニアがこの「Treasure」に講師、サポータとして参加するため更に空いてる日を探すのが難しいためです。

評価会後の擦り合わせは、外部評価者はリモートによる参加でも可としていますが評価者2名に被評価者の評価会におけるサポータ、CTOも交えて行われるため、 評価会以上に日程の調整は大変でした。 理由は単純で技術力評価会は基本S2グレード以下(弊社はG、S2、S3、S4の4段階のグレードがあります)は行うため、約40~50名の評価会がこの時期に発生します。 そのため、評価会の設定に時間が経つほど、その後の擦り合わせではCTOは全てに参加するためCTOの空き時間が日増しになくなり調整できる余地がなくなってしまうのです。

この日程調整周りはもう少し、私などの運営側が事前に関係各位が初動から終了まで見渡せたるように工夫した上で、スマートに調整できる手段は課題だと考えています。

6. 社外見学者向けの評価者の評価レポートなどの展開

社外見学者におきましては、技術力評価会当日の評価会見学だけでは不十分だと考えています。 やはり、参加した評価会において、評価者の評価結果やフィードバックについても知れることがベターだと考えています。 そのため、今回ですと、社外見学者として参加された株式会社エフ・コード社向けに見学された技術力評価会の評価者のFBを公開可能な範囲でシェアしました。

7. 外部評価者を交えた技術力評価会の振り返りと打ち上げ

技術力評価会は社内でも毎回振り返り&改善会を開いています。これによってより、エンジニアクルーの評価に対する納得度をあげ、業務に集中し結果としてエンジニアとしても成長できる施策だと考えています。

当然、外部評価者につきましても、参加による効果や課題について、振り返り&改善会を開くことで次回に向けて、更にベストな評価会とすることができると考えています。 今回の振り返り会においても外部評価者などから有意義な意見などが続出し次回に向けた手応えを感じました。

外部評価者を交えた技術力評価会の振り返り風景

f:id:hironomiu:20180912192643j:plain

以下は外部評価者含め参加者全員で振り返りに記載したKPの内容についての転記です。

外部評価者のふりかえり

Keep

  • 被評価者の技術ドメインや事業ドメインと親和性の高い外部評価者をアサインでき有意義な評価会となった hironomiu
  • 自分が関わった評価会では、外部評価者の見解で社内とは違う視点が随所に感じられ被評価者だけでなく社内の評価者も勉強になった hironomiu
  • 日程調整がとてもスムーズだった voluntas
  • slack/github で閲覧できる範囲が大きく、やりやすかった mizchi
  • 外部評価者であっても施策の前提条件や制約などが理解できるようわかりやすくまとめられていて評価に集中できた slightair
  • スケジュールを丁寧にまとめてくださって助かりました Songmu
  • 関係ないけど御社のインターンと話せてよかった Songmu
  • 実際のRepositoryに権限をもらえたのは良かったし、評価会のFB後の権限が付与されてるので改善も見えて最高 Soudai
  • 外部評価者がきたときに ajitofm を収録するのは賢い mirakui
  • 新鮮な気持ちになれる yowatari
  • soudaiさん ++ hironomiu
  • たくさんアドバイスもらえた missann
  • 放言温度感をつかめた Songmu
  • 18:00くらいにセッティングして、そのままAJITOで延長線出来たの良かった Soudai
  • 新卒の人とかが見学者で居るのは良いなって思った Soudai
  • もっと色んな人が見学できるの良さそう Soudai
  • 例えばS3とかS4を目指す人がそういうボーダーの評価のときの参考になるので見たいなって気持ちになるとおもう Soudai
  • 活きの良い若手の話を聞けるのはキラキラしてて最高だった Soudai
  • 優秀な若者や、強い評価者とコミュニケーション取れるのは良かった Songmu
  • VGがこういう挑戦的な試みをしているのは非常に参考になる Songmu

Problem

  • 例. 事業理解に時間を使いすぎコードへのつっこみが少なくなった makoga
  • 外部評価者、社内の評価者2名、被評価者との計4名との評価会の日程調整はもう少しスマートにしたい hironomiu
  • 評価会後の評価すり合わせ(外部評価者、評価者2名、サポータ)計4名との日程調整も同様にスマートにしたい hironomiu
  • 都度日程調整をするよりも一連の流れを事前にシェアしまとめて調整できると全員が幸せになれそう hironomiu
  • 複数の会社が関わったり忖度しないといけないクソコード発生過程があったりを推し量るのが難しかった mizchi
  • 社内のどうしても話せない事情が話せないので少し困った missann
  • 無限にわかる Soudai
  • 無限にわからない katzchang
  • 被評価者の評価なのかプロジェクトの内容の評価をすべきなのかわからないタイミングがあった。 slightair
  • 話の流れで脱線しがち、時間伸びがち人の評価の場であれば、その人の行動や判断、そこに至るプロセスについて話すべきな気がする反面、その判断はおかしいでのはないか、このほうが良いのではみたいな議論に発展していて、被評価者にとってはよいお土産になっている感じはあったので良し悪しの判断は難しい人によって資料の内容はバラバラだった、味がある感じなのかもしれないけれど slightair
  • 評価してほしいポイントとか明確に書いてあるほうがやりやすい
  • なぜそれが必要でどのように開発を進めたか、結果どうなったか みたいなのがほしい
  • 実装した機能の一覧やそのPRのリンクを並べられても評価が難しい(少なくとも普段一緒に業務をしていない社外評価者にとっては)事業理解のための機会が欲しかったかも。インフラのレビューをするためには、事業をそれなりにわかっていないと、サービスレベルに対する認識がずれがち mirakui
  • 請求書周りは外部評価者に対してちょっと不親切だったと思う(反省)もう少し請求書を提供しやすく請求書について説明するようにしたい hironomiu
  • 個人的に慣れてしまった気がする Songmu
  • どこまでその人の裁量を超えるか?っていうのをアドバイスするのは難しい Soudai
  • 外部評価者に合わせた内容を発表内容にしてる感があって悩ましいなって思った Soudai

EX技術力評価会

振り返り後、全員で乾杯し打ち上げが盛り上がってきたところで、@soudai1025さんによる、EX技術力評価会が急遽開催されました。AJITOにホワイトボードを持ち込まれ、@soudai1025さんの熱の篭った説明が繰り広げられています。

f:id:hironomiu:20180912211317j:plain

EX技術力評価会の後日、弊社エンジニアクルーからFBが出るなどEX技術力評価会当日以降も盛り上がりました。

評価FB @katzchangさん

f:id:hironomiu:20181113111223p:plain

評価FB @ajiyoshiさん

f:id:hironomiu:20181116094416p:plain

終わりに

技術力評価会、外部評価者運営レポートでした。適切な社外評価者を招待することは単純に技術力評価の精度を高めるだけに留まらず、社内の評価者との擦り合わせなどで、評価者の気付きの機会としても機能していると感じました。日程調整など大変でまだまだ改善の余地はたくさんありますが、今後も気持ちよく外部評価者に参加いただき、よりエンジニアクルーの納得度の高い技術力評価会の要素としてあって欲しいと考えています。