การทดสอบนอกกลุ่มตัวอย่าง
ตัวอย่างใช้รูปแบบตัวเลขภาษาอังกฤษ: เครื่องหมายจุลภาคคั่นกลุ่มหลักพัน และจุดคั่นส่วนทศนิยม 1,000 หมายถึงหนึ่งพัน ส่วน 1.25 หมายถึงหนึ่งกับอีกหนึ่งในสี่
กลุ่มตัวอย่างต้องแยกจากกระบวนการเลือก
OOS หมายถึงข้อมูลที่ไม่ได้ใช้เลือกกลยุทธ์ที่กำลังประเมิน ไม่ใช่เพียงไฟล์ชื่ออื่น การเลือกพารามิเตอร์ ตราสาร หรือข้อยกเว้นหลังเห็นผลทดสอบก็ใช้ข้อมูลของชุดนั้น การวิจัยรอบใหม่ทำได้อย่างโปร่งใส แต่ต้องแยกการตรวจสอบระหว่างพัฒนาจากการทดสอบสุดท้าย เก็บการตัดสินใจและรุ่นเพื่อให้ชัดว่าผู้พัฒนาไม่เคยเห็นข้อมูลใดจริง ๆ
ลำดับเวลาและข้อมูลรั่ว
การสุ่มสลับอนุกรมเวลาตลาดอาจผสมข้อมูลอนาคตกับอดีต ปรับสเกล เลือกคุณลักษณะ และตั้งเกณฑ์ด้วยข้อมูลที่มีอยู่ก่อนทดสอบเท่านั้น รายการหรือป้ายผลที่ครอบคลุมช่วงอนาคตอาจข้ามขอบเขตกลุ่มตัวอย่าง ต้องกำหนดการตัดออกให้เหมาะกับกรอบเวลา ช่องว่างในปฏิทินอย่างเดียวไม่ขจัดข้อมูลรั่วทั้งหมด ดู เอกสาร scikit-learn เรื่องข้อมูลรั่ว สำหรับตัวอย่าง
ผลที่อ่อนลงหมายถึงอะไร?
สาเหตุอาจรวมการปรับเข้าข้อมูลเกินไป ภาวะตลาดเปลี่ยน ต้นทุนสูงขึ้น ข้อผิดพลาดการทำงาน หรือความไม่แน่นอนจากตัวอย่างน้อย ตรวจวินิจฉัยแทนการประกาศว่า overfitting โดยอัตโนมัติ รายงานจำนวนรายการปิด การกระจาย และค่าใช้จ่ายทั้งหมด ช่วง OOS บวกสั้น ๆ ก็ไม่ใช่ใบรับรองกำไร ยังคงเป็นค่าประมาณภายใต้แบบจำลองและหน้าต่างวัดเฉพาะ
เอกสารทำให้ทดสอบซ้ำได้
เก็บรุ่นโค้ด ข้อมูลต้นทาง ตารางประกาศ และข้อกำหนดผลิตภัณฑ์ กำหนดวิธีจัดการสถานะเปิดที่ข้ามขอบชุดข้อมูล และประวัติอุ่นเครื่องของตัวชี้วัด ข้อมูลก่อนหน้าที่ใช้คำนวณตัวชี้วัดต่างจากผลอนาคตที่ใช้เลือกพารามิเตอร์ บันทึกควรทำให้ทดสอบรุ่นเดิมได้ตรง โดยไม่แทรกความรู้จากช่วงหลังเข้าสู่การประเมินก่อนหน้าอย่างเงียบ ๆ
ขั้นตอนใช้งานจริง
บันทึกขอบเขตชุดข้อมูล เวลาที่ข้อมูลพร้อม เกณฑ์ประเมิน และแผนตอบสนองก่อนอ่านผล คงต้นทุนครบและขนาดที่เปรียบเทียบได้ หากผลทดสอบทำให้เปลี่ยน ให้จัดการประเมินใหม่อย่างตรงไปตรงมาบนข้อมูลภายหลัง แทนการอ้างว่าข้อสังเกตเดิมยังไม่ถูกแตะ ในหลักสูตร: การทดสอบย้อนหลังและการทดสอบไปข้างหน้า. ตรวจสอบแหล่งข้อมูลเมื่อ 11 ตุลาคม 2026
แผนภาพและตัวอย่างคำนวณ
เปิดภาพขนาดเต็ม
