Lemmalog: เปลี่ยนหน่วยความจำ LLM ให้เป็น Datalog แทน vector database
I accidentally turned LLM memory into program analysis
Jordy Zomer เผยแพร่บทความเมื่อ 28 สิงหาคม 2026 อธิบายระบบชื่อ Lemmalog ซึ่งเป็นวิธีจัดการ "ความทรงจำ" ของ LLM agent ที่ทำงานวิจัยช่องโหว่ โดยไม่ใช้ vector database แต่ใช้ Datalog แทน — มองสิ่งที่ค้นพบระหว่างการสืบสวนเป็นข้อเท็จจริงและกฎเชิงตรรกะ
ระบบแบ่งการทำงานเป็นสองส่วนชัดเจน ส่วนหน้าเป็น LLM ทำหน้าที่แปลงข้อมูลไร้โครงสร้าง (โค้ด เอาต์พุตจากดีบักเกอร์ โน้ต) ให้เป็นข้อเท็จจริงที่มีโครงสร้าง ส่วนหลังเป็นเอนจิน Datalog ที่เก็บข้อเท็จจริงเหล่านั้น ประยุกต์กฎการอนุมาน และ — จุดสำคัญที่สุด — ทำให้ข้อสรุปที่ขึ้นต่อกันกลายเป็นโมฆะโดยอัตโนมัติเมื่อสมมติฐานเปลี่ยน
ผู้เขียนสรุปแรงจูงใจไว้ชัดว่า "เราไม่อยากให้โมเดลต้องสร้างการสืบสวนทั้งหมดขึ้นมาใหม่ เราอยากให้ข้อสรุปที่ได้รับผลกระทบกลายเป็นโมฆะโดยอัตโนมัติ" ฟีเจอร์หลักได้แก่การประเมินแบบ incremental เมื่อข้อเท็จจริงเปลี่ยน, การติดตาม provenance (อธิบายได้ว่าทำไมข้อสรุปนี้ถึงเกิดขึ้น), ช่วงเวลาที่ข้อเท็จจริงยังใช้ได้, การกระทบยอด entity และการค้นคืนแบบผสม
ผลการวัดน่าสนใจมาก บนชุดทดสอบ LongMemEval (102 คำถาม) Lemmalog ได้ F1 ที่ 0.463 ± 0.010 โดยใช้คอนเท็กซ์เพียงราว 2,700 โทเคนต่อคำถาม เทียบกับการยัดคอนเท็กซ์เต็มที่ต้องใช้ 104,000 โทเคน — เล็กกว่า 38 เท่า ส่วน LoCoMo (1,986 คำถาม) ได้ F1 0.533 ± 0.001 โดยเด่นเป็นพิเศษในหมวดการอัปเดตความรู้ (0.579) และคำถามเชิงปฏิปักษ์ (0.707)
สำหรับทีมที่กำลังสร้าง agent ที่ต้องจำสถานะยาว ๆ นี่เป็นทางเลือกที่ต่างจากกระแส RAG/vector อย่างสิ้นเชิง และแก้ปัญหาที่ vector store แก้ไม่ได้ คือการทำให้ข้อสรุปเก่าที่ผิดแล้วหายไปเองเมื่อข้อมูลใหม่เข้ามา