1. Bối cảnh: đưa agent vào giữa dây chuyền CI/CD
Sinh test bằng AI trên máy lập trình viên là một chuyện; đưa agent vào giữa dây chuyền tích hợp liên tục (継続的インテグレーション — continuous integration) để nó tự sinh và tự chữa test mỗi khi có commit là một chuyện khó hơn nhiều. Trong pipeline, agent không còn là công cụ hỗ trợ cá nhân mà trở thành một tác nhân tự động chạy trên hạ tầng chung, có quyền đọc repo, chạy trình duyệt, và mở pull request. Điều đó mở ra năng suất lớn nhưng cũng mở ra rủi ro: không tất định, chi phí token, bề mặt tấn công mới, và nguy cơ agent âm thầm làm yếu chất lượng nếu thiếu guardrail. Bài này trình bày kiến trúc pipeline an toàn để khai thác agent mà vẫn giữ quyền kiểm soát.
Nguyên tắc xuyên suốt là: agent được trao quyền cơ học rộng nhưng tuyệt đối không có quyền merge. Nó có thể sinh nháp, chạy test, đọc trace, và đề xuất diff self-heal, nhưng mọi thay đổi code test đều phải đi qua một pull request có người duyệt qua CODEOWNERS. Đây chính là guardrail cốt lõi tách một pipeline lành mạnh khỏi một cỗ máy che bug tự động. Chúng ta sẽ đi qua kiến trúc bốn giai đoạn generate → run → heal → gate, rồi lần lượt xử lý sharding, chi phí, non-determinism, bảo mật và rollback.
2. Kiến trúc pipeline: generate → run → heal → gate
Bốn giai đoạn tách bạch trách nhiệm rõ ràng. Generate: khi có tính năng mới hoặc plan được duyệt, agent sinh nháp spec và verify locator trên staging. Run: chạy test đã có cộng với nháp mới, chia shard song song, lưu trace và video cho mọi lần fail. Heal: với test hỏng do UI đổi, agent đọc trace để đề xuất diff sửa locator, mở PR nhưng không merge. Gate: cổng cuối, nơi con người duyệt PR heal, và nơi test tất định gác việc merge tính năng — agent tuyệt đối không tự vượt cổng này. Tách bạch bốn giai đoạn giúp mỗi phần có guardrail riêng và dễ audit khi có sự cố.
# .github/workflows/ai-tests.yml — pipeline 4 giai đoạn generate→run→heal→gate
name: ai-tests
on: [pull_request]
permissions:
contents: read # agent job KHÔNG có quyền write mặc định
pull-requests: write # chỉ đủ để mở PR heal, không merge
jobs:
generate:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- run: npx playwright agent generate --plan specs/*.plan.md --verify-on=staging
run:
needs: generate
strategy:
fail-fast: false
matrix: { shard: [1, 2, 3, 4] } # sharding song song
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- run: npx playwright test --shard=${{ matrix.shard }}/4 --trace=on
- uses: actions/upload-artifact@v4
with: { name: trace-${{ matrix.shard }}, path: test-results/, retention-days: 14 }
heal:
needs: run
if: failure() # chỉ heal khi có fail
runs-on: ubuntu-latest
steps:
- run: npx playwright agent heal --from-trace test-results/ --open-pr --no-merge
gate:
needs: [run]
runs-on: ubuntu-latest
steps:
- run: echo "Deterministic tests must be green; agent PRs need human approval"❓ Vì sao tách 'heal' thành job riêng chỉ chạy khi fail, thay vì heal ngay trong job run?
Tách để cô lập quyền và cô lập rủi ro. Job run cần môi trường sạch, tất định, và không nên có quyền mở PR. Job heal mới là nơi agent được cấp quyền pull-requests: write — và chỉ chạy khi thật sự có fail, tránh đốt token vô ích. Việc tách cũng giúp audit: khi có sự cố, tôi biết chính xác job nào đã đụng vào test. Ngoài ra heal chạy sau cho phép tôi phân biệt fail do bug thật (không heal, để đỏ) với fail do UI đổi (heal đề xuất diff). Ranh giới rõ ràng là điều kiện của guardrail (継続的インテグレーション an toàn).
3. Guardrails: agent không được merge thay đổi chưa review
Guardrail quan trọng nhất của toàn hệ thống là: mọi thay đổi test do agent tạo ra phải đi qua một pull request có người duyệt, và agent không bao giờ có quyền merge. Điều này thực thi bằng nhiều lớp: nhánh của agent phải theo tiền tố ai/*, PR bị gắn nhãn needs-review và bị chặn auto-merge, file CODEOWNERS bắt buộc ít nhất một người trong đội QA duyệt trước khi merge. Ngoài ra, một luật CI kiểm diff của agent để chặn mọi thay đổi làm yếu assertion — nếu một PR heal biến một so sánh oracle thành một kiểm tra hời hợt, luật này đánh trượt PR ngay lập tức.
# .github/branch-protection & CODEOWNERS — chặn agent merge thẳng
# CODEOWNERS
tests/ @qa-team # mọi PR đụng tests/ cần QA duyệt
*.spec.ts @qa-team
# branch-protection (main) — mô tả policy áp qua API/UI
required_pull_request_reviews:
required_approving_review_count: 1
require_code_owner_reviews: true # bắt buộc CODEOWNERS duyệt
restrictions:
push:
users: [] # KHÔNG ai (kể cả bot agent) push thẳng main
apps: [] # bot agent KHÔNG nằm trong danh sách được push
enforce_admins: true
allow_auto_merge: false # tắt auto-merge cho nhánh chính// ci/assert-not-weakened.js — chặn PR heal làm yếu oracle (chạy trong gate)
import { execSync } from 'node:child_process';
const diff = execSync('git diff origin/main -- "*.spec.ts"').toString();
// Bắt các dấu hiệu 'nới oracle': đổi so sánh nghiệp vụ -> chỉ toBeVisible
const weakened = [
/-\s*expect\([^)]*\)\.toBe\(/, // xoá so sánh giá trị cụ thể
/-\s*expect\([^)]*\)\.toHaveText\(/,
].some((re) => re.test(diff)) &&
/\+\s*expect\([^)]*\)\.toBeVisible\(/.test(diff);
if (weakened) {
console.error('❌ Heal PR làm yếu oracle: so sánh nghiệp vụ -> toBeVisible. Chặn.');
process.exit(1);
}
console.log('✅ Không phát hiện oracle bị làm yếu.');
💬 Bình luận (0)
Chưa có bình luận nào. Hãy là người đầu tiên!