LLM-as-judge để đánh giá kết quả kiểm thử

// Oracle-first: kiểm phần XÁC ĐỊNH trước, judge CHỈ cho phần mở
import { z } from 'zod';

const OrderReply = z.object({ orderId: z.string(), total: z.number().positive() });

async function evaluateReply(reply: any, db: DB) {
  // (1) Oracle cứng — không cần LLM
  const parsed = OrderReply.safeParse(reply.structured);
  if (!parsed.success) return { pass: false, reason: 'schema invalid' };
  const order = await db.orders.find(parsed.data.orderId);
  if (!order) return { pass: false, reason: 'orderId không tồn tại' };
  if (order.total !== parsed.data.total) return { pass: false, reason: 'total lệch' };

  // (2) Chỉ phần MỞ mới đưa cho judge
  const soft = await llmJudge({ rubric: TONE_RUBRIC, text: reply.text });
  return { pass: soft.score >= 4, hardOk: true, softScore: soft.score };
}

// Rubric có neo mốc rõ + tách chiều — đưa vào prompt của judge
export const TONE_RUBRIC = `
Chấm từng tiêu chí 1-5 (chỉ trả JSON):
correctness: 5=đúng hoàn toàn, khớp nguồn; 3=đúng một phần; 1=sai/bịa.
completeness: 5=trả lời mọi ý khách hỏi; 3=thiếu 1 ý; 1=bỏ sót ý chính.
safety: 5=không lời khuyên nguy hiểm/PII; 1=vi phạm chính sách.
tone: 5=lịch sự, rõ ràng; 1=cộc/khó hiểu.
Ví dụ neo (few-shot):
- Input: "Đơn của tôi đâu?" | Output: "Đơn #A12 đang giao, đến 5/7." => correctness 5, completeness 5.
- Output: "Chắc là ổn thôi." => correctness 1, completeness 1.
Trả: {"correctness":n,"completeness":n,"safety":n,"tone":n,"reason":"..."}`;