考選部辦理「專技人員考試及格方式與及格率之設定標準之決定因素與程序研討會」紀要
常務理事 梁詩桐
101.11.02 於考試院舉辦「專技人員考試及格方式與及格率之設定標準之決定因素與程序研討會」，邀請相關單位參予研討，針對專技人員考試及格方式與及格率之設定標準之決定因素與程序，會中專題報告就國內與國外相關選才之標準設定提出論述，以供與談人及與會來賓討論:
背景說明
專技人員考試及格方式，就目前85類科，有「總成績平均60分及格制」者43類科:如醫事人員、社會工作師、導遊等，有「全程到考數一定比率及格制」者36類科:如律師、技師、專利師等，有「科別及格制」者6類科:以滿60分為及格，未及格者可以保留3年。以上三種以「總成績平均60分及格制」及格率最高，「全程到考數一定比率及格制」比率固定也最低。不論哪種方式，每年選才都關乎試題難易、到考考生是否優劣常態分布，因此每年選才的品質難有一致，考選部為求其公平與週全，致有標準設定之議。
壹、研討會專題報告:
首先由會議主席: 考試院考試委員蔡式淵說明研討會緣由，接著邀請謝教授名捐專題報告:題目:「標準設定實施程序、影響因子及效度評估之研究」
研究報告中提出測驗的可信度亦即:「理想的標準分數，應該不受外在情境的、試題難易、參加考生程度之影響，只要考試程度達到切斷值(設定具有執業能力之基準評量分數)」，就可以認定為及格。
一、標準設定
論述中標準設定為及格標準的切斷(設定及格分數、比率)值、引用學界最常引用的Angoff標準設定法，經由一組評估員對標的試題，經由該領域中廣泛運用的yes/no Angoff法，對各該試題經三次的評定，訂出通過(可以接受)的切斷值(及格標準)，yes/no Angoff標準設定法實際操作概念及流程如下:
（一）、.研究者會事先將每位標準設定成員(評估員)，依其分科，提供試題，包括題目內容、評選項目。
（二）、要求評估員對每一試題，作以下判斷:
1. 程度列為基礎能力最低者，是否可以答對題，如是，在相應欄位勾選yes
2. 程度列為精熟能力最低者，是否可以答對題，如是，在相應欄位勾選yes
3. 程度列為進階能力最低者，是否可以答對題，如是，在相應欄位勾選yes
4. 程度列為進階能力最低者，都無法答對題，則在進階能力較高者相應欄
位勾選yes
經由足夠數目的評估員、以三次評估及討論，可以客觀的鑑別全部試題的切斷值(及格標準)。
二、標準設定之效度評估
（一）、效度的內部證據
標準設定之效度評估有三個面向 (Kane 1994):分別是效度的內部、過程及外部證據，效度的內部證據強調標準設定評估員之評估結果具穩定性及一致性，在多次評估中，包括三種來源，分別是標準設定技術內的一致性，標準設定評估員內設定結果的一致性，標準設定評估員間設定結果的一致性，降低其不同區域與性別差異性。
(二)、效度的過程證據
效度的過程證據強調的是整個標準設定過程執行的適切性與品質，包括測驗建置、目地與架構、試題形成與品質、考生人數及特徵、試題分析技術等，涵蓋測驗全貌，其宗旨力求過程之結果趨向穩定性及一致性。
（三）、效度的外部證據
效度的外部證據目的，主要是引用外部資訊，以驗證研究標準設定結果的有效性，如通過證照者在相關學科與社會表現與未獲得者是否為佳。
三、研究設計
報告者之測驗標準設定標的:以台灣學生學習成就評量資料庫(TASA)社會科標準設定執行流程進行說明，包括評估流程、表單建立及試題標準之建議切斷點等，相關表單不再贅述。
貳、專題報告建議:
（一）、專技考試科目及領域繁多，對試題標準的建立，並非一蹴可及，嘗試以非古典具學術基礎的試題之標準設定方式，由簡到繁。
（二）、確立試題標準的設立，並非維持一定的及格比率，而是依據各科目的職能分析建立及格者都具有最低相同的專業素質。
專題報告後，由四位與談人分別發表對專技考試科目試題標準設立的見解與建議:
参、與談人教授、專家論點歸納如下:
一、專技考試科目試題標準建立面向:
（一）、專題報告的試題標準的建立: 具學理基礎，但專技考試科目繁多，且試題先行評估且經三次評審，時間及人力的耗費，非考選部現行編制與能力可以負荷。
（二）、專技考試各科職能分析的標準建立:建立專技考試各科「執業能力表現標準」；據以建立命題標準。
（三）、試題題庫的建立: 專題報告建議借鏡國外經驗作法如試題35題，其中5題作答不計分，該5題納入題庫，可以經由作答，歸納其難易，建立試題標準。但國內專業補習班競爭激烈，題庫的題目內容將無所遁形，因此專技考試的題庫以此一方式建立，殊非易事，多數與談人均建議邀請學院與實務界專家，建立優質題庫（包括口試與實作等），並訂定命題、審題與修題的嚴謹標準程序。
（四）、專技考試的試題難易標準無法控制，在不預試、無題庫的情況下，對跨年試題如何等化標準，作為今考試年的及格標準，是一個最大難題。
（五）、控制試題難易度可以從試題設計訓練與統計方法調整來進行。
（六）、專技考試的範疇主要偏重於對知識的實務運用，要兼顧學院教授與技師實務界的專家意見共同參與，以臻至善。
二、及格方式:
（一）、主張以科別及格制為最終選才標準，為克服試題難易及應考考生素質變動的差異性，考慮修法以彈性調整機制或採用標準分數轉換制，賦予典試委員作合理的調整權力。
肆、公會建言：
省公會接受考選部邀請參予這次研討會，會中周常務理事子劍建言：贊成以科別及格制的推動，但目前考選部在成立技師考試改進推動委員會後，於100年7月12日舉行第5次委員會，會中將現行技師考試規則第七條有關對土木技師專技考試，對大專院校的教授免第一試的放寬，表示反對立場（參閱本會技師報101.10.20 第828期社論）。
筆者於會中書面建言：
1.假如科別及格制的推動是一個趨勢，則專院校的教授第一試免試科目應限縮在教授有關科目，第二試則不能免試。
2. 專技考試的實務運用的題庫或試題設計，公會技師專家參與，可以符合考用合一的精神。
參與後感言:
一、專技考試目前政策已朝向兩階段考試，在技師界關心的是不論第一試或第二試考試以科目及格制或全程到考數一定比率及格制錄取方式，如何可以確保錄取的專技技師程度要在標準之上，目前以全程到考數一定比率及格制與談學者皆曰離標準甚遠，但錄取比例在國內往往是政策考量取向(考量市場執業需求)，而非及格標準取向。
二、假如標準設定於試題考過後評量，而在歷次的評量中，往往會參酌往年的標準切斷點或及格比率，因此法規上一定及格成績輔以及格比率的上下調整值，應是近期可行的方案之一，長遠對一些對參與考生數多及與人民生命安全、財產權益相關的科別建立，由簡到繁。
三、參予研討會後，有機會與部分公會會員交換意見:自從廣設大學後，部分科目(如律師)參與專技考試考生數量大增，即使採用全程到考數一定比率及格制錄取方式，錄取百分比節節滑落，接近百分比各位數，絕大部分畢業生都被擯棄於執業行列之外，這又是廣設大學後的困境之一。
留言列表
