1023 คำ
5 นาที
CISA Series ตอนที่ 09 : D1 - Testing & Sampling: ตรวจ Control ยังไง เลือก Sample เท่าไหร่
สารบัญ

ผมเพิ่งเข้าใจว่าทำไม sampling ถึงเป็นบทที่คนสอบ CISA ตกบ่อย — มันไม่ยากเพราะ “คำนวณซับซ้อน” แต่ยากเพราะ คำสองคำที่ดูเหมือนกัน แต่ตอบคำถามคนละข้อ วางสลับกันได้ทันทีถ้าอ่านเร็วเกินไป

ตอนผมอ่าน Section 1.6 รอบแรก ผมจดสับสนระหว่าง compliance กับ substantive อยู่หลายรอบครับ ในใจผมคิดว่า “test ก็คือ test ทำไมต้องแยกเป็นสองชื่อ” พอเจอข้อสอบทดลองจริงๆ ถึงรู้ว่า ISACA ตั้งใจหลอกตรงนี้แหละ — สลับคำให้คนรีบตอบเลือกผิด ที่หนักกว่านั้น พอเข้าคู่ที่สอง (statistical vs nonstatistical, attribute vs variable) อีก คำใหม่อีก 4 คำที่ต้องแยกในใจให้ขาด

จุดที่ปลดล็อกของผมคือเลิกท่องเป็นนิยาม แล้วเปลี่ยนเป็น คำถามที่แต่ละชื่อพยายามตอบ — Compliance ถามว่า “ประตูล็อกอยู่ไหม”, Substantive ถามว่า “ของในห้องครบไหม”, Attribute ถามว่า “How many”, Variable ถามว่า “How much” พอจำเป็นคำถาม คำตอบไม่ต้องท่อง

บันทึกตอนนี้เลยอยากเริ่มจาก recap แล้วค่อยๆ ไล่ pair ต่อ pair ดูว่าแต่ละคู่ตอบคำถามต่างกันยังไง

Recap: เรามาถึงไหนใน Engagement#

ใน ตอน 08 เราเปิด Part B ด้วยภาพ engagement lifecycle 3 phases ตอนนี้เรามาอยู่ที่ Phase 2 — Fieldwork แล้ว ซึ่งเป็นขั้นที่ใช้เวลามากที่สุดของ engagement

ใน Phase 2 มีคำถามใหญ่ 4 ข้อที่ต้องตอบ:

  1. ทดสอบ controls ยังไง เลือก sample เท่าไหร่ถึงจะพอ? ← บทนี้
  2. เก็บ evidence ยังไงให้ใช้ได้ — ตอน 10
  3. data analytics ช่วยได้มั้ย — ตอน 11
  4. บันทึกผลใน work papers ยังไง — คุยใน ตอน 08 ไปแล้ว

บทนี้ตอบคำถามแรก testing methodology ที่หนักไปทาง technical แต่จำเป็น เพราะ CISA exam ออกเรื่องนี้บ่อยมาก

ปัญหาที่ Sampling ตอบ#

ลองนึกถึงธนาคารที่มีธุรกรรม 10 ล้านรายการต่อวัน IS auditor จะตรวจได้หมดมั้ย?

ไม่ได้ครับ ต่อให้ทีม audit 100 คน ทำงาน 24 ชั่วโมง ก็ตรวจไม่ทัน

วิธีที่ใช้คือ sampling — ตรวจตัวอย่างบางส่วน แล้วสรุปเกี่ยวกับ population ทั้งหมด

แต่ถ้าเลือกตัวอย่างผิดวิธี = สรุปผลผิด ซึ่งน่ากลัวกว่าไม่ตรวจเลย เพราะ board จะคิดว่า “audit ผ่านแล้ว”

sampling ใน audit เลยไม่ใช่ “หยิบมาเช็คดู” มันมีระเบียบวิธีที่ ISACA กำหนดไว้

คู่ที่ 1: Compliance Testing vs. Substantive Testing#

ก่อนเข้าเรื่อง sampling ต้องเข้าใจคำถามที่ใหญ่กว่าก่อน — ทดสอบเพื่ออะไร?

มี 2 จุดประสงค์ที่ต่างกันโดยพื้นฐาน:

Compliance Testing — Controls ทำงานมั้ย?#

Compliance testing ทดสอบว่า controls ทำงาน ตามที่ออกแบบ มั้ย — Control EXIST และ WORKING จริงหรือเปล่า?

เปรียบเทียบ: ตรวจว่าประตูล็อกอยู่จริงไหม ไม่ได้ดูของในห้อง

ตัวอย่างใน IS audit:

  • ตรวจ user access rights ว่าตั้งตาม policy มั้ย
  • ตรวจ program change control procedures
  • ตรวจ documentation procedures + program documentation
  • ตรวจการตาม exception follow-up
  • ตรวจ log review
  • ตรวจ software license review

Substantive Testing — ข้อมูลถูกมั้ย?#

Substantive testing ทดสอบ ตัวข้อมูลจริง — ธุรกรรม / ข้อมูลสะท้อน reality มั้ย?

เปรียบเทียบ: นับของในห้องเอง ไม่ได้ดูประตูล็อก

ตัวอย่าง:

  • ตรวจการคำนวณที่ซับซ้อนใน sample ของบัญชี
  • Vouch sample transactions ไปยัง supporting documentation
  • ตรวจ balance + transactions ใน financial statement

ความสัมพันธ์ระหว่างสองอันนี้ (กฎผกผัน — exam ออก)#

Strong internal controls (compliance test ผ่าน) → substantive testing น้อยลง Weak internal controls (compliance test ล้มเหลว) → substantive testing มากขึ้น

ตรรกะ: ถ้า controls แข็ง → ข้อมูลก็น่าจะถูก → ไม่ต้องตรวจข้อมูลทุก transaction ถ้า controls อ่อน → ข้อมูลก็น่าจะมีปัญหา → ต้องไปยืนยันที่ข้อมูลจริงให้เยอะขึ้นเพื่อชดเชย

Decision Logic 4 Steps ที่ ISACA กำหนด#

  1. Review ระบบเพื่อระบุ controls
  2. Test compliance — controls ทำงานหรือเปล่า
  3. Evaluate controls — ใช้เป็นฐานตัดสินใจว่าจะทำ substantive แค่ไหน (nature / scope / timing)
  4. Perform substantive testing 2 แบบ — test balance / transaction + analytic review

→ บทนี้ขยายเรื่อง compliance + substantive ที่เคยพูดถึงใน ตอน 07 ไว้

คู่ที่ 2: Statistical vs. Nonstatistical Sampling#

พอตัดสินใจแล้วว่าจะ test แบบไหน ขั้นต่อไปคือ เลือก sample ยังไง

มี 2 แนวทางหลัก:

Statistical Sampling — ใช้คณิตศาสตร์#

Statistical sampling ใช้ mathematical laws of probability:

  1. คำนวณ sample size
  2. เลือก items
  3. ประเมินผลและอนุมาน

IS auditor กำหนดเชิงปริมาณ:

  • Sampling tolerance / precision — ตัวอย่างใกล้เคียง population แค่ไหน
  • Confidence level — เปอร์เซ็นต์ความน่าเชื่อถือ

ผลที่ได้ quantify ทางคณิตศาสตร์ ได้

ข้อดี: อธิบายได้ ผลมีตัวเลขรองรับ ข้อเสีย: ต้องใช้ความรู้สถิติ + ข้อมูลครบ

Nonstatistical Sampling (Judgmental) — ใช้วิจารณญาณ#

Nonstatistical (judgmental) sampling ใช้แค่ วิจารณญาณ — sample method, sample size, selection criteria ทุกอย่างมาจากการตัดสินของ auditor

อิงกับ materiality + risk ของ items แต่ละชิ้น ไม่ได้ quantify ผลทางคณิตศาสตร์

ข้อดี: ยืดหยุ่น ใช้กับสถานการณ์ที่ statistical ทำไม่ได้ ข้อเสีย: ผลไม่มี mathematical confidence ถ้าถูก challenge อาจสู้ไม่ได้

ในทางปฏิบัติมักใช้ ทั้งคู่ผสมกัน เลือกตามความเหมาะสมของแต่ละ test

คำศัพท์ Statistical Sampling ที่ Exam ออก#

ขอไล่ศัพท์ statistical sampling ที่ IS auditor ต้องเข้าใจ ใน exam ออกบ่อย

ศัพท์ความหมาย
Confidence coefficient% ที่ sample สะท้อน population (เช่น 95% = 95 ใน 100 sample จะ representative)
Level of risk1 ลบ confidence coefficient (5% ถ้า 95% confidence)
Precisionช่วงที่ยอมรับได้ระหว่าง sample กับ actual population (% สำหรับ attribute, $ สำหรับ variable)
Expected error rate% errors ที่คาดว่าจะมี — สูงกว่า → sample size ใหญ่กว่า
Tolerable error rateMax errors ที่ยอมรับได้โดยไม่เป็น material misstatement
Sample meanค่าเฉลี่ยของ sample
Sample standard deviationการกระจายของข้อมูลใน sample
Population standard deviationความสัมพันธ์กับ normal distribution — กระจายมาก → sample size ใหญ่

Trap ที่ exam ชอบหลอก:

  • Higher confidence ≠ smaller sample — กลับด้าน! Higher confidence ต้องการ sample size ใหญ่กว่า
  • Sampling Risk ≠ Audit Risk — sampling risk เป็น component ของ detection risk (อยู่ใน audit risk) ไม่ใช่ตัวเดียวกัน

Attribute Sampling vs. Variable Sampling#

อีกคู่ที่ exam ออกบ่อย — เลือก sampling method แบบไหน?

Attribute Sampling — เรื่อง Rates / Percentages#

ใช้ตอบคำถาม “How many?” — ตอบเป็น rate / % ของ attribute

มี 3 ประเภทย่อย:

  1. Fixed sample size attribute sampling / frequency estimating

    • ประเมิน rate of occurrence ของ attribute
    • ใช้เมื่ออยากรู้ว่าเกิดขึ้นกี่ %
  2. Stop-or-go sampling

    • หยุดให้เร็วที่สุดเมื่อ expected errors น้อยมาก
    • ใช้เมื่อคาดว่า errors น้อยและอยากประหยัดเวลา
  3. Discovery sampling

    • ใช้เมื่อ IS auditor เชื่อว่าจะพบ items น้อยมาก
    • เน้น “ค้นพบ” ไม่ใช่ประเมินอัตรา

Common use: Compliance testing — เช่น “transactions ที่ไม่มี approval มีกี่ %“

Variable Sampling — เรื่องจำนวนเงิน / Values#

ใช้ตอบคำถาม “How much?” — ตอบเป็นจำนวนเงิน / values

มี 3 ประเภทย่อย:

  1. Stratified sampling

    • แบ่ง population เป็นกลุ่ม แล้ว sample จากแต่ละกลุ่ม
    • ใช้เมื่อ population หลากหลาย ต้อง represent ทุกชั้น
  2. Unstratified mean per unit

    • คำนวณ sample mean แล้ว project เป็น total
    • ใช้กับ population ที่ uniform
  3. Difference estimation

    • วัด total difference ระหว่าง audited values กับ book values
    • ใช้เมื่ออยากรู้ผลรวมของส่วนต่าง

Common use: Substantive testing — เช่น “total ของ misstatement ในบัญชี AR คือเท่าไหร่”

กฎการจดจำ#

TypeคำถามCommon use
AttributeHow many?Compliance testing
VariableHow much?Substantive testing

แต่ระวัง exam ชอบหลอกว่า “Attribute ต้องเป็น statistical เสมอ”ผิด! Attribute sampling เป็น statistical หรือ nonstatistical ก็ได้ ขึ้นกับวิธีเลือก sample

อีก trap: “Variable ใช้กับเงินเท่านั้น”ผิด! Variable = quantitative measure อะไรก็ได้ (น้ำหนัก, จำนวน, เวลา) ไม่ใช่แค่ดอลลาร์

Sampling Risk: 2 ประเภทที่ต้องระวัง#

Sampling Risk คือความเสี่ยงที่ผลจาก sample จะ บอกผิด เกี่ยวกับ population

มี 2 ประเภท:

  1. Risk of incorrect acceptance

    • Material weakness ถูกประเมินว่า OK ทั้งที่ population มี material misstatement
    • ผลลัพธ์ — auditor บอก “ผ่าน” ทั้งที่ระบบมีปัญหา → อันตรายกว่า
  2. Risk of incorrect rejection

    • Material weakness ถูกประเมินว่า “น่าจะมี” ทั้งที่ population ไม่มี material misstatement
    • ผลลัพธ์ — auditor ทำงานหนักเกินจำเป็น → เสียเวลาเสียทรัพยากร

ในมุม audit risk: Sampling risk เป็นส่วนหนึ่งของ Detection Risk (จาก ตอน 05) ไม่ใช่ตัว audit risk เอง

6 ขั้นตอนสร้าง Sample#

ISACA กำหนดลำดับการสร้าง sample ที่ทุก audit ต้องทำ:

  1. Determine test objectives — กำหนดวัตถุประสงค์ของ test
  2. Define population — population ที่จะ test คืออะไร
  3. Determine sampling method — statistical / nonstatistical, attribute / variable
  4. Calculate sample size — ตามวิธีที่เลือก + confidence level + precision
  5. Select sample — random หรือใช้ judgment
  6. Evaluate sample — สรุปผลและอนุมานเกี่ยวกับ population

ผ่าน 6 ขั้นนี้ครบ → sample ที่ได้น่าเชื่อถือ ผลที่อนุมานออกมา defensible

Trap Patterns ที่ Exam ออกบ่อย#

ขอรวม trap ที่ exam ชอบหลอกมาให้ครบ:

Trapความเข้าใจผิดความเข้าใจที่ถูก
Compliance = Substantiveคิดว่าใช้แทนกันได้คนละจุดประสงค์ — Compliance = “controls ทำงานมั้ย”; Substantive = “data ถูกมั้ย”
Strong controls = ไม่ต้อง substantiveคิดว่า controls ดีไม่ต้องตรวจ dataStrong controls = ลด substantive (ไม่ใช่ตัดทิ้ง)
Attribute = Statistical เสมอคิดว่า attribute ต้องเป็น statisticalAttribute เป็น statistical หรือ nonstatistical ก็ได้
Variable = เงินเท่านั้นคิดว่า variable คือ dollar amountsVariable = quantitative อะไรก็ได้
Sampling risk = Audit riskสับสนสองอย่างSampling risk เป็น component ของ detection risk
Stop-or-go = ใช้เมื่อ errors เยอะกลับด้านStop-or-go = ใช้เมื่อคาดว่า errors น้อย
Higher confidence = smaller sampleกลับด้านHigher confidence = larger sample size

Cross-Reference กลับ Part A#

ภาษา sampling ที่เพิ่งเรียนเชื่อมกลับเรื่องใน Part A ยังไงบ้าง?

  • Sampling Risk → component ของ Detection Risk ใน ตอน 05 Audit Risk Trinity
  • Compliance vs Substantive → ขยายจาก ตอน 07 ที่เกริ่นไว้
  • Tolerable error rate → ขึ้นกับ risk appetite ขององค์กรที่กำหนดใน ตอน 06 Risk Assessment
  • Test = output ของ Audit Program → จาก ตอน 08 ที่ระบุ testing types ใน program

ทุกศัพท์ใน Part B ตามกลับไปหา Part A ได้เสมอ ถ้า Part A แน่น Part B ก็ตามมา

สิ่งที่ผมเก็บได้จากบทนี้#

ในมุมผม sampling เป็นบทที่สอนเรื่องที่ใหญ่กว่าตัว sampling เอง — มันสอนให้ระวัง คำที่ฟังคล้ายกัน ครับ Compliance/Substantive, Statistical/Nonstatistical, Attribute/Variable, Incorrect Acceptance/Incorrect Rejection — แต่ละคู่ดูเหมือนเรื่องเดียวกันแต่จริงๆ คนละมุมเลย ถ้ารีบจะจมทันที

ที่ทำให้ผมรู้สึกว่าบทนี้สำคัญต่อ exam มากเป็นพิเศษคือ trap ทุกอันใน table ด้านบนผมเคยตอบผิดมาแล้วในข้อสอบทดลอง 555+ มันไม่ใช่ trap ที่อ่านปุ๊บรู้ปั๊บ มันต้องสร้างนิสัยว่าก่อนตอบ ให้ถามตัวเองว่า “ตอนนี้กำลังพูดถึง quality (controls) หรือ quantity (data)” “How many หรือ How much” “Risk ของผลที่บอกผ่านทั้งที่ไม่ผ่าน หรือผลที่บอกไม่ผ่านทั้งที่ผ่าน”

สิ่งที่ผมจดลงสมุดสำหรับวันสอบเลยมีแค่ 3 คู่คำถาม + ข้อสังเกตว่า Sampling Risk เป็น component ของ Detection Risk ไม่ใช่ Audit Risk ทั้งก้อน เพราะตรงนี้ผูกกลับไปที่ Audit Risk Trinity จาก ตอน 05 — ถ้าจำได้ว่าทุกอย่างกลับไปที่ Trinity ก็ไม่มีทางหลงทาง

บทถัดไปจะคุยเรื่องเก็บ evidence ยังไงให้ใช้ได้ ซึ่งเป็นสิ่งที่เกิดต่อจากการเลือก sample เรียบร้อยแล้ว


อ้างอิง CRM (CISA Review Manual 28th Edition): Domain 1: Section 1.6 Audit Testing and Sampling Methodology