สารบัญ
ตอนผมอ่าน Section 1.7 รอบแรก คำว่า “Evidence” ในหัวผมยังเป็นภาพของละครศาลครับ — พยานปาก, ลายเซ็น, รูปจากกล้องวงจรปิด อะไรพวกนั้น พออ่านลึกขึ้นถึงรู้ว่าใน audit คำว่า evidence มีโครงสร้างที่ละเอียดกว่ามาก ไม่ใช่แค่ “หลักฐานคืออะไร” แต่เป็น “หลักฐานแบบไหนยืนได้, ยืนได้แค่ไหน, เทียบกับชิ้นอื่นเป็นยังไง”
สิ่งที่ผมไม่คาดมาก่อนเลยคือ interview ที่ปกติคนคิดว่าเป็น “การคุยกับ manager เพื่อหาคำตอบ” จริงๆ คือ evidence ที่อ่อนแอที่สุด ในลำดับชั้นทั้งหมด ส่วน reperformance ที่ฟังดูเหมือน last resort กลับเป็น evidence ที่แข็งที่สุด ตรรกะกลับด้านจากที่ผมคิดไว้ ตรงนี้ทำให้ผมต้องนั่งทำใจใหม่ทั้งบทเลยครับ ว่าสมองผมมี bias เรื่องคำพูดมนุษย์มากเกินไป
บันทึกตอนนี้ของผมเลยอยากไล่ตั้งแต่นิยามว่า evidence ที่ใช้ได้คืออะไร ผ่าน 4 มิติคุณภาพ แล้วลงไปที่ 7 เทคนิคที่เรียงจากแข็งสุดไปอ่อนสุด — เพื่อให้คนอ่านที่มี bias เดียวกับผมในตอนแรกได้รื้อมันตามไปด้วย
Recap: Engagement มาถึงไหน
ใน ตอน 09 เราคุยเรื่อง testing methodology + sampling ตัดสินใจได้แล้วว่าจะ test compliance หรือ substantive และเลือก sample แบบไหนเท่าไหร่
ขั้นถัดไป — พอ test ก็ต้องเก็บ evidence เพราะ finding ใน final report ต้อง trace กลับไปที่ evidence ได้เสมอ (จาก ตอน 08 — work papers traceability)
แต่คำถามคือ evidence แบบไหนถึงจะ “ใช้ได้”? ไม่ใช่ทุกอย่างที่เห็นจะนับเป็น evidence ที่ดี
Evidence คืออะไร — และมาตรฐานคุณภาพ 2 ขั้น
Evidence = ข้อมูลใดๆ ที่ใช้ตัดสินว่า entity / data ตรงตาม established criteria + รองรับ audit conclusion
ฟังดูกว้าง แต่จริงๆ ISACA กำหนดมาตรฐานไว้ชัดเจน 2 ขั้น:
มาตรฐานขั้นที่ 1: Sufficient (เพียงพอ — quantity)
มี evidence มากพอ จะสนับสนุน conclusion มั้ย?
ลองนึกถึง ทนายในคดี — มีพยานคนเดียวบอกว่าเห็นจำเลย พอมั้ย? อาจไม่พอ ถ้าเทียบกับมีพยาน 5 คน + กล้องวงจรปิด + DNA + ลายนิ้วมือ
ใน audit ก็แบบเดียวกัน evidence ชิ้นเดียวมักไม่พอ ต้องมีหลายอย่างที่ยืนยันกันและกัน
มาตรฐานขั้นที่ 2: Competent (มีคุณภาพ — quality)
Competent = Reliable + Relevant
- Reliable — น่าเชื่อถือมั้ย
- Relevant — เกี่ยวข้องกับ audit objective มั้ย
Evidence ที่เยอะแต่ไม่ reliable หรือไม่ relevant = ไม่มีค่า เหมือนพยาน 100 คนที่ไม่เห็นเหตุการณ์เลย
ทั้ง 2 มาตรฐานต้องผ่านพร้อมกัน — sufficient + competent
5 ประเภท Audit Evidence
ISACA แบ่ง evidence เป็น 5 ประเภทตามที่มา:
- Observation ของ IS auditor เอง — เห็น personnel หรือ management ปฏิบัติงานจริง
- Notes จาก interview — บันทึกจากการสัมภาษณ์
- Independent / qualified third-party assurances — confirmation จากภายนอก
- Material จาก correspondence / internal documentation / external contracts — เอกสาร
- Results of audit test procedures — ผลจากการทดสอบที่ทำเอง
แต่ละประเภทค่าไม่เท่ากัน มี ลำดับชั้นความน่าเชื่อถือ ที่ต้องเข้าใจ
4 มิติของคุณภาพ Evidence (ลำดับชั้นความน่าเชื่อถือ)
ISACA กำหนด 4 มิติที่ใช้ประเมิน evidence quality — เรียงจากสำคัญมากไปน้อย:
1. Independence ของ Provider (สำคัญที่สุด)
Evidence จากแหล่งภายนอก > evidence จากแหล่งภายใน
ตัวอย่าง:
- Confirmation letter จากลูกหนี้ (external) → น่าเชื่อถือสูง
- บันทึกในระบบ AR ของบริษัทเอง (internal) → น่าเชื่อถือน้อยกว่า
เหตุผล — แหล่งภายในมี interest ที่ทำให้ผล bias ได้ (ทั้งโดยตั้งใจและไม่ตั้งใจ) ส่วนแหล่งภายนอกที่ไม่มี interest = น่าเชื่อถือกว่า
2. Qualifications ของ Provider
Evidence จาก qualified person > evidence จาก unqualified person
ตัวอย่าง:
- รายงานจาก certified penetration tester (qualified) → เชื่อได้
- รายงานจาก เจ้าหน้าที่ใหม่ที่ไม่มี security training (unqualified) → น่ากังขา
หลักการนี้ใช้กับ external specialists ด้วย — IS auditor ที่จะใช้ผลงานของผู้เชี่ยวชาญต้องตรวจ qualifications ก่อนถึงจะเชื่อ
3. Objectivity ของ Evidence
Objective evidence > subjective / interpretive evidence
ตัวอย่าง:
- ตรวจ media inventory เองโดยตรง (objective) → เชื่อได้
- วิเคราะห์ efficiency จากการคุยกับ staff (subjective) → เชื่อได้น้อยกว่า
Objective = ดูข้อเท็จจริงตรงๆ / Subjective = ต้องตีความ ซึ่งการตีความใส่ judgment เข้าไป + อาจผิดได้
4. Timing ของ Evidence
ช่วงเวลาที่ evidence มีอยู่ สำคัญสำหรับระบบที่ dynamic
ตัวอย่าง — Spreadsheet ที่ไม่มี version control vendor ก็ไม่ได้ backup → ถ้าตรวจวันนี้กับตรวจเดือนหน้าเนื้ออาจต่างกัน → เชื่อได้น้อยถ้าไม่มี control
ระบบ static (data ไม่เปลี่ยน) — timing ไม่ critical ระบบ dynamic (data เปลี่ยนตลอด) — timing กลายเป็น critical
สรุปลำดับชั้น
External + Qualified + Objective + Timely ↓ แข็งแกร่งที่สุด ✅
Internal + Unqualified + Subjective + Untimely ↓ อ่อนแอที่สุด ❌Evidence ในชีวิตจริงมักอยู่ตรงกลาง auditor ต้องประเมินทั้ง 4 มิตินี้ทุกครั้ง และใช้ multiple types ผสมกัน เพื่อชดเชยข้อจำกัดของแต่ละแบบ
7 เทคนิคเก็บ Evidence (เรียงจากแข็งแกร่งสุดไปอ่อนสุด)
ISACA กำหนดเทคนิคเก็บ evidence ที่ IS auditor ใช้ — แต่ละแบบ ความแข็งแกร่งต่างกัน:
1. Reperformance (แข็งแกร่งที่สุด)
Reperformance = IS auditor ทำซ้ำ process ด้วยตัวเอง เพื่อดูว่าผลออกมาตามที่ควรจะเป็นมั้ย
ตัวอย่าง — ระบบควรคำนวณดอกเบี้ยเงินกู้ที่อัตรา X% auditor ก็คำนวณเองแยกแล้วเทียบผลกับระบบ
ทำไมแข็งแกร่งสุด: ผลที่ได้มาจาก auditor เอง ไม่มี filter ของระบบหรือคน — objective + independent ในตัว
ใช้เมื่อ inquiry + observation + examination รวมกันแล้วยัง provide sufficient assurance ไม่ได้
2. Review IS Documentation
ตรวจเอกสารที่มีอยู่:
- Vendor documentation
- Application software docs
- Contractual requirements / design specs
- Functional requirements
- Security policies
- Program change logs
- User references
- Governance minutes
- Security-related documents
ครอบคลุมเอกสารทุกประเภทที่บอกว่า “ระบบควรทำอะไร” กับ “ระบบทำอะไรไปแล้ว”
3. Confirmation + Verification Letters
ขอ เขียนรับรอง จาก external parties — เช่น vendor ยืนยันว่าได้ส่งบริการครบ, bank ยืนยัน balance, third-party SaaS ยืนยัน uptime
เป็น evidence ที่ independent + qualified → น่าเชื่อถือสูง
4. Observe Processes + Employee Performance
สังเกต ตอน process ทำงานจริง:
- ดูพนักงานทำงานตาม procedure มั้ย
- ดูระบบประมวลผล transaction
- เก็บ physical evidence (เช่น photograph ของ server room ที่ประตูเปิด)
IS auditor ต้องเข้าใจว่า observation เพียงพอ เมื่อไหร่ และ ไม่เพียงพอ เมื่อไหร่
5. Walk-throughs
Walk-through = ตรวจความเข้าใจของ controls โดยให้ control owner เดินผ่าน process ทีละขั้น
ไม่ใช่ test แต่เป็นการ validate ความเข้าใจ ก่อนเริ่ม test จริง
ช่วยให้ control owner + IS auditor เข้าใจตรงกันว่า controls ที่จะ assess มีอะไรบ้าง + ระบุ evidence ที่ต้องเก็บ
6. Review IS Organization Structures + Policies + Standards
ตรวจ organizational charts, job descriptions, hiring policies, authorization procedures → ใช้ประเมิน SoD
ดูว่า policies / procedures มีจริง + พนักงานเข้าใจ + ทำตาม
7. Inquiry / Interview (อ่อนแอที่สุด)
ถามคำถาม ได้คำตอบมาเป็น verbal / notes
ทำไมอ่อนแอสุด: Internal source + subjective + ต้องตีความคำตอบ + พนักงานอาจตอบเพื่อปกป้องตัวเอง
แต่ interview จำเป็น เพราะหลายเรื่องไม่มีในเอกสาร
หลักการ — interview ต้องมีเทคนิคอื่นมายืนยันด้วยเสมอ ห้ามใช้เป็น primary evidence
Trap ที่ Exam ออกบ่อย
| Trap | ความเข้าใจผิด | ความเข้าใจที่ถูก |
|---|---|---|
| Interview = strong evidence | คิดว่าคำพูดของ manager น่าเชื่อถือ | Interview = evidence อ่อนแอที่สุด ต้อง corroborate ด้วยเทคนิคอื่น |
| Internal docs = reliable | คิดว่าเอกสารบริษัทเอง objective | Internal < external — เพราะมี interest |
| Observation = sufficient | คิดว่าดูครั้งเดียวพอ | Observation อย่างเดียว มักไม่พอ — ต้องคิดว่าจะ observe อะไร + document ยังไง |
| Reperformance = last resort | คิดว่า reperformance ใช้เมื่อหมดทาง | Reperformance = best evidence generally — ใช้เมื่อ technique อื่นไม่ provide sufficient assurance |
| Evidence types เท่ากัน | คิดว่า evidence ใดๆ ก็ใช้ได้ | Quality matters: independent > qualified > objective > timely |
| Walk-through = Reperformance | สับสน 2 อย่าง | Walk-through = เข้าใจ controls (validate understanding); Reperformance = ทำซ้ำเอง เพื่อตรวจ |
ศิลปะของการ Interview + Observation
ถึง interview จะเป็น evidence ที่อ่อนแอ มันก็ยังเป็นทักษะที่สำคัญมากของ IS auditor เพราะ:
- หลายเรื่องไม่มีในเอกสาร
- ต้องเข้าใจ context ของ controls
- บางทีคนกล้าพูดในสิ่งที่ไม่กล้าเขียน
Best practices ของ interview:
- เตรียมล่วงหน้า + objective ชัดเจน
- เดินตาม fixed outline (ไม่ใช่คุยไปเรื่อยๆ)
- บันทึกด้วย interview notes
- ใช้ interview form / checklist
- Verify accuracy ของ notes กับ interviewee หลังจบ session
ที่สำคัญ — interview โดยธรรมชาติแล้วมันคือ discovery ไม่ใช่ confirmation auditor ต้องตามหา accuracy เอง
6 เทคนิคสังเกตการณ์ที่ ISACA กำหนด
- Observation — ดูว่าคนที่ assigned / authorized ทำงานจริงมั้ย
- Inspection of records and documents — ใช้ test compliance + design effectiveness
- Walk-through ของ process — รูปแบบหนึ่งของ compliance observation ใช้ได้ดีกับ physical controls
- Examination of assets — ยืนยันความเข้าใจ + practice ของ security / control
- Reperforming information technology — ตรวจ SoD + เทียบ logical access rights
- Observation after-hours — เห็น actual practice ที่ไม่ใช่ “performance for the auditor”
After-hours observation มีค่าเป็นพิเศษ พนักงานมักเปลี่ยนพฤติกรรมเมื่อรู้ว่าถูกดู สังเกตในเวลานอกราชการเลยเห็น “ระบบทำงานจริงยังไง” ไม่ใช่ “ระบบทำงานยังไงเมื่อมีคนดู”
Cross-Reference กับบทที่ผ่านมา
- Quality factors (independence, objectivity) → กลับไปดู ตอน 02 Independence concept
- Reperformance + Observation → เป็น testing techniques ใน ตอน 09 Phase 2 fieldwork
- Documentation requirement → trace ไปยัง work papers ใน ตอน 08
- Evidence sufficient / competent → เชื่อมกับ Audit Risk จาก ตอน 05 — evidence ดี = audit risk ต่ำ
สิ่งที่ผมเก็บได้จากบทนี้
ในมุมผม บทนี้สอนเรื่องที่ลึกกว่า audit เยอะ — มันสอน ว่าคนเราเชื่อหลักฐานชนิดไหนผิดบ่อยที่สุด ครับ คนทั่วไปจะเชื่อ “คำพูดของผู้รู้” ก่อน “ตัวเลขที่ทำเอง” ทั้งที่ในเชิงความน่าเชื่อถือเรียงกลับด้านเลย Independence > Qualifications > Objectivity > Timing — ทุกชั้นต้านกับสัญชาตญาณว่า “manager พูดว่าใช่ ก็น่าจะใช่”
ที่ผมคิดว่าจะติดอยู่ในใจไปนานคือคำว่า after-hours observation ครับ การไปสังเกตในเวลาที่พนักงานไม่รู้ตัวว่ามีคนดู — ไม่ใช่เพื่อจับผิด แต่เพื่อเห็น “ระบบทำงานจริงยังไง” ไม่ใช่ “ระบบทำงานยังไงเมื่อมีคนดู” สองอันนี้เป็นคนละโลกเลย และเป็น insight ที่ผมอยากเอาไปใช้ในชีวิตประจำวันด้วย ไม่ใช่แค่ใน audit
สิ่งที่ผมจดสำหรับวันสอบคือ — Reperformance อยู่อันดับ 1, Interview อยู่อันดับสุดท้าย; Independent > Internal เสมอ; Sufficient + Competent ต้องผ่านพร้อมกัน ถ้าจำสามอันนี้ trap ส่วนใหญ่ใน table หลุดเองครับ
บทถัดไปมาดูกันว่า เครื่องมือ data analytics + AI ช่วยเก็บ evidence ใน scale ใหญ่ๆ ได้ยังไง เพราะถ้าต้องเก็บ evidence จาก 10 ล้าน transactions ใช้ manual technique ไม่ทันแน่นอน
อ้างอิง CRM (CISA Review Manual 28th Edition): Domain 1: Section 1.7 Audit Evidence Collection Techniques