เทรนทรานส์ฟอร์มเมอร์เล็ก 1.5 ชั่วโมง ค่าเครื่อง 67 เซนต์ ทำคะแนน ARC-1 ได้ 44%
44% on ARC-1 with a small transformer trained in 1.5 hours
งานทดลองที่ขึ้นหน้าแรก Hacker News ด้วยคะแนนกว่า 480 แต้ม เป็นผลงานของ Mithil Vakde ที่เทรนทรานส์ฟอร์มเมอร์ขนาดเล็กจากศูนย์เพื่อแก้โจทย์ ARC-AGI โดยเน้นที่ sample efficiency และต้นทุนต่ำ ผลลัพธ์คือคะแนน 44% บนชุด ARC-1 public evaluation และ 7% บน ARC-2 ซึ่งเทียบเท่าวิธี TRM/HRM แต่ถูกกว่าและเร็วกว่ามาก
สถาปัตยกรรมเป็นทรานส์ฟอร์มเมอร์ 8 เลเยอร์ (เพิ่มจาก 4 ในเวอร์ชันก่อน) ใช้ส่วนประกอบสมัยใหม่อย่าง SwiGLU, RMSNorm และ 3D RoPE embeddings พร้อม per-task learnable embeddings เพื่อให้เรียนรู้ข้ามโจทย์ได้ โดยสร้าง token ต่อ sequence จากคู่กริดอินพุต-เอาต์พุต และเทรนเฉพาะ output token เท่านั้น
ต้นทุนคือจุดขายจริง ๆ ใช้เวลาเทรน 1.5 ชั่วโมงบน NVIDIA RTX 5090 หนึ่งใบ คิดเป็นค่าเช่าเครื่องผ่าน Vast.ai เพียง 67 เซนต์สหรัฐ วิธีการคือเทรนจากศูนย์ตอน test time บนอินพุตของทั้งชุด training และ evaluation โดยซ่อน label ไว้ ซึ่งผู้เขียนโต้แย้งว่าเป็นการให้เหตุผลแบบ transductive ที่ถูกต้องตามกติกา
เทคนิคที่ใช้ประกอบด้วย data augmentation ด้วยการสลับสีและ dihedral permutation แล้วย้อนกลับตอน inference เปลี่ยน optimizer จาก AdamW เป็น NorMuon ใช้ flash attention แบบ variable-length ร่วมกับ flex attention kernel และเติมโจทย์จาก ARC-2 ที่ไม่ทับซ้อนอย่างระมัดระวังเพื่อกัน data leakage
ข้อสรุปที่ผู้เขียนเน้นคือทรานส์ฟอร์มเมอร์ทำคะแนน ARC ได้ดีโดยไม่ต้องใช้ recursion หรือข้อมูลสังเคราะห์ และจากผลการทำ ablation พบว่าคุณภาพของ representation สำคัญที่สุด โดย 3D RoPE embeddings และ per-task embeddings คือสองปัจจัยที่มีผลชัดที่สุด