สารบัญ
Recap: Engagement มาถึงไหน
ใน ตอน 09 เราคุยเรื่อง testing methodology + sampling — ตัดสินใจได้แล้วว่าจะ test compliance หรือ substantive และเลือก sample แบบไหนเท่าไหร่
ตอนนี้ขั้นถัดไป — เมื่อ test ก็ต้องเก็บ evidence เพราะ finding ใน final report ต้อง trace กลับไปที่ evidence ได้เสมอ (จาก ตอน 08 — work papers traceability)
แต่คำถามคือ — evidence แบบไหน “ใช้ได้”? ไม่ใช่ทุกอย่างที่เห็นจะนับเป็น evidence ที่ดี
Evidence คืออะไร — และมาตรฐานคุณภาพ 2 ขั้น
Evidence = ข้อมูลใดๆ ที่ใช้ตัดสินว่า entity/data ตรงตาม established criteria + รองรับ audit conclusion
ฟังดูกว้าง — แต่จริงๆ ISACA กำหนดมาตรฐานชัดเจน 2 ขั้น:
มาตรฐานขั้นที่ 1: Sufficient (เพียงพอ — quantity)
มี evidence มากพอ ที่จะสนับสนุน conclusion มั้ย?
ลองนึกถึง ทนายในคดี — ถ้ามีพยานคนเดียวบอกว่าเห็นจำเลย — พอมั้ย? อาจไม่พอ ถ้าเทียบกับมีพยาน 5 คน + กล้องวงจรปิด + DNA + ลายนิ้วมือ
ใน audit ก็เหมือนกัน — evidence ชิ้นเดียวมักไม่พอ ต้องมีหลายอย่างที่ corroborate กัน
มาตรฐานขั้นที่ 2: Competent (มีคุณภาพ — quality)
Competent = Reliable + Relevant
- Reliable — น่าเชื่อถือมั้ย?
- Relevant — เกี่ยวข้องกับ audit objective มั้ย?
Evidence ที่เยอะแต่ไม่ reliable หรือไม่ relevant = ไม่มีค่า — เหมือนพยาน 100 คนที่ไม่เห็นเหตุการณ์เลย
ทั้ง 2 มาตรฐานต้องผ่านพร้อมกัน — sufficient + competent
5 ประเภท Audit Evidence
ISACA แบ่ง evidence เป็น 5 ประเภทตามที่มา:
- Observation ของ IS auditor เอง — เห็น personnel หรือ management ปฏิบัติงาน
- Notes จาก interview — บันทึกจากการสัมภาษณ์
- Independent / qualified third-party assurances — confirmation จากภายนอก
- Material จาก correspondence, internal documentation, external contracts — เอกสาร
- Results of audit test procedures — ผลจากการทดสอบที่ทำเอง
แต่ละประเภทไม่เท่ากัน — มี ลำดับชั้นความน่าเชื่อถือ ที่ต้องเข้าใจ
4 มิติของคุณภาพ Evidence (ลำดับชั้นความน่าเชื่อถือ)
ISACA กำหนด 4 มิติที่ใช้ประเมิน evidence quality — เรียงจากสำคัญมากไปน้อย:
1. Independence ของ Provider (สำคัญที่สุด)
Evidence จากแหล่งภายนอก > evidence จากแหล่งภายใน
ตัวอย่าง:
- Confirmation letter จากลูกหนี้ (external) → reliable มาก
- บันทึกในระบบ AR ของบริษัทเอง (internal) → reliable น้อยกว่า
เหตุผล: แหล่งภายในมี interest ที่จะ bias ผล (ทั้งโดยตั้งใจและไม่ตั้งใจ) — แหล่งภายนอกที่ไม่มี interest = น่าเชื่อถือกว่า
2. Qualifications ของ Provider
Evidence จาก qualified person > evidence จาก unqualified person
ตัวอย่าง:
- รายงานจาก certified penetration tester (qualified) → reliable
- รายงานจาก เจ้าหน้าที่ใหม่ที่ไม่มี security training (unqualified) → questionable
หลักการนี้ใช้กับ external specialists ด้วย — IS auditor ที่ใช้ผลงานของผู้เชี่ยวชาญต้องตรวจ qualifications ก่อนเชื่อ
3. Objectivity ของ Evidence
Objective evidence > subjective / interpretive evidence
ตัวอย่าง:
- ตรวจสอบ media inventory โดยตรง (objective) → reliable
- วิเคราะห์ efficiency จาก discussion กับ staff (subjective) → reliable น้อย
Objective = ดูข้อเท็จจริงตรงๆ / Subjective = ต้องตีความ → การตีความใส่ judgment เข้าไป + อาจผิดได้
4. Timing ของ Evidence
ช่วงเวลาที่ evidence มีอยู่ — สำคัญสำหรับ dynamic systems
ตัวอย่าง: Spreadsheet ที่ไม่มี version control — vendor ไม่ได้ backup → ถ้าตรวจวันนี้ vs. ตรวจเดือนหน้า เนื้ออาจต่างกัน → reliable น้อยถ้าไม่มี control
ระบบที่ static (data ไม่เปลี่ยน) — timing ไม่ critical ระบบที่ dynamic (data เปลี่ยนตลอด) — timing กลายเป็น critical
สรุปลำดับชั้น
External + Qualified + Objective + Timely ↓ แข็งแกร่งที่สุด ✅
Internal + Unqualified + Subjective + Untimely ↓ อ่อนแอที่สุด ❌Evidence ในชีวิตจริงมักอยู่ตรงกลาง — auditor ต้องประเมินทั้ง 4 มิติทุกครั้งและใช้ multiple types ผสมกัน เพื่อ compensate ข้อจำกัดของแต่ละแบบ
7 เทคนิคเก็บ Evidence (เรียงจากแข็งแกร่งสุดไปอ่อนสุด)
ISACA กำหนดเทคนิคเก็บ evidence ที่ IS auditor ใช้ — ความแข็งแกร่งต่างกัน ตามแต่ละแบบ:
1. Reperformance (แข็งแกร่งที่สุด)
Reperformance = IS auditor ทำซ้ำ process ด้วยตัวเอง เพื่อตรวจว่าผลออกมาตามที่ควรจะเป็น
ตัวอย่าง: ระบบควรคำนวณ ดอกเบี้ยเงินกู้ที่อัตรา X% — auditor คำนวณเองแยก แล้วเทียบผลกับระบบ
ทำไมแข็งแกร่งสุด: ผลที่ได้มาจาก auditor เอง — ไม่มี filter ของระบบหรือคน — objective + independent ในตัว
ใช้เมื่อ: combination ของ inquiry + observation + examination ไม่ provide sufficient assurance
2. Review IS Documentation
ตรวจเอกสารที่มีอยู่:
- Vendor documentation
- Application software docs
- Contractual requirements / design specs
- Functional requirements
- Security policies
- Program change logs
- User references
- Governance minutes
- Security-related documents
ครอบคลุมเอกสารทุกประเภทที่บอกว่า “ระบบควรทำอะไร” และ “ระบบทำอะไรไปแล้ว”
3. Confirmation + Verification Letters
ขอ เขียนรับรอง จาก external parties — เช่น vendor confirm ว่าได้ส่งบริการครบ, bank confirm balance, third-party SaaS confirm uptime
เป็น evidence ที่ independent + qualified → reliable สูง
4. Observe Processes + Employee Performance
สังเกต ขณะ process ทำงานจริง:
- ดูพนักงานทำงานตาม procedure มั้ย
- ดูระบบประมวลผล transaction
- บันทึก physical evidence (เช่น photograph ของ server room ที่ประตูเปิด)
IS auditor ต้องเข้าใจว่า observation เพียงพอ เมื่อไหร่ และ ไม่เพียงพอ เมื่อไหร่
5. Walk-throughs
Walk-through = ตรวจ understanding ของ controls โดยให้ control owner เดินผ่าน process step-by-step
ไม่ใช่ test — เป็นการ validate ความเข้าใจ ก่อนเริ่ม test จริง
ช่วยให้ control owner + IS auditor เข้าใจตรงกันว่า controls ที่จะ assess มีอะไรบ้าง + identify evidence ที่ต้องเก็บ
6. Review IS Organization Structures + Policies + Standards
ตรวจ organizational charts, job descriptions, hiring policies, authorization procedures → SoD evaluation
ตรวจว่า policies/procedures มี + พนักงานเข้าใจ + ทำตาม
7. Inquiry / Interview (อ่อนแอที่สุด)
ถามคำถาม → ได้คำตอบเป็น verbal/notes
ทำไมอ่อนแอสุด: Internal source + subjective + ต้องตีความคำตอบ + พนักงานอาจตอบเพื่อปกป้องตัวเอง
แต่ — interview จำเป็น เพราะหลายเรื่องไม่มีในเอกสาร
หลักการ: interview ควร corroborate ด้วยเทคนิคอื่น เสมอ ไม่ใช้เป็น primary evidence
Trap ที่ Exam ออกบ่อย
| Trap | ความเข้าใจผิด | ความเข้าใจที่ถูก |
|---|---|---|
| Interview = strong evidence | คิดว่าคำพูดของ manager น่าเชื่อถือ | Interview = evidence อ่อนแอที่สุด ต้อง corroborate ด้วยเทคนิคอื่น |
| Internal docs = reliable | คิดว่าเอกสารบริษัทเอง objective | Internal < external — เพราะมี interest |
| Observation = sufficient | คิดว่าดูครั้งเดียวพอ | Observation อย่างเดียว มักไม่พอ — ต้องคิดว่าจะ observe อะไร + document ยังไง |
| Reperformance = last resort | คิดว่า reperformance ใช้เมื่อหมดทาง | Reperformance = best evidence generally — ใช้เมื่อ technique อื่นไม่ provide sufficient assurance |
| Evidence types เท่ากัน | คิดว่า evidence ใดๆ ก็ใช้ได้ | Quality matters: independent > qualified > objective > timely |
| Walk-through = Reperformance | สับสน 2 อย่าง | Walk-through = เข้าใจ controls (validate understanding); Reperformance = ทำซ้ำเอง เพื่อตรวจ |
ศิลปะของการ Interview + Observation
ถึงแม้ interview จะเป็น evidence ที่อ่อนแอ — มันยังเป็นทักษะ critical ของ IS auditor เพราะ:
- หลายเรื่องไม่มีในเอกสาร
- ต้องเข้าใจ context ของ controls
- บางครั้งคนกล้าพูดสิ่งที่ไม่กล้าเขียน
Best practices ของ interview:
- จัดเตรียมล่วงหน้า + objective ชัดเจน
- ทำตาม fixed outline (ไม่ใช่ random conversation)
- บันทึกด้วย interview notes
- ใช้ interview forms / checklists
- Verify accuracy ของ notes กับ interviewee หลัง session
ที่สำคัญ — interview เป็น discovery โดยธรรมชาติ ไม่ใช่ confirmation. Auditor ต้องตามหา accuracy
6 เทคนิคสังเกตการณ์ที่ ISACA กำหนด
- Observation — ตรวจว่าคนที่ assigned/authorized ทำงานจริง
- Inspection of records and documents — test compliance + design effectiveness
- Walk-through ของ process — variety ของ compliance observation, ใช้ดี physical controls
- Examination of assets — verify understanding + practice ของ security/control
- Reperforming information technology — ตรวจ SoD + เทียบ logical access rights
- Observation after-hours — เห็น actual practice ที่ไม่ใช่ “performance for the auditor”
After-hours observation มีค่าเป็นพิเศษ — พนักงานมักเปลี่ยนพฤติกรรมเมื่อรู้ว่าถูกดู ดังนั้นการสังเกตในเวลานอกราชการเผยให้เห็น “ระบบทำงานจริงยังไง” ไม่ใช่ “ระบบทำงานยังไงเมื่อมีคนดู”
Cross-Reference กับบทที่ผ่านมา
- Quality factors (independence, objectivity) → กลับไปดู ตอน 02 Independence concept
- Reperformance + Observation → เป็น testing techniques ใน ตอน 09 Phase 2 fieldwork
- Documentation requirement → trace ไปยัง work papers ใน ตอน 08
- Evidence sufficient/competent → connect กับ Audit Risk จาก ตอน 05 — evidence ที่ดี = audit risk ต่ำ
ในบทถัดไปจะมาดูว่า เครื่องมือ data analytics + AI ช่วยเก็บ evidence ในระดับ scale ใหญ่ๆ ได้ยังไง — เพราะ scenario ที่ต้องเก็บ evidence จาก 10 ล้าน transactions ใช้ manual technique ไม่ทันแน่นอน
อ้างอิง CRM (CISA Review Manual 28th Edition): Domain 1: Section 1.7 Audit Evidence Collection Techniques