Final Workshop: Production Knowledge Support Agent

Level: Advanced

Workshop นี้รวมทุกบทเป็นระบบเดียวครับ คุณจะสร้าง Knowledge Support Agent ที่ตอบจาก engineering handbook, เรียก read-only tools, ขอ approval ก่อน publish และทำงานยาวผ่าน background worker

Outcome

ส่งระบบที่ deploy เข้า staging ได้พร้อม evidence ว่า behavior, recovery, security, retrieval quality และ operations ผ่านเกณฑ์ที่กำหนดครับ

Required Components

src/
  TPCoder.KnowledgeAgent.Api/
  TPCoder.KnowledgeAgent.Application/
  TPCoder.KnowledgeAgent.Ingestion/
  TPCoder.KnowledgeAgent.Infrastructure/
tests/
  TPCoder.KnowledgeAgent.UnitTests/
  TPCoder.KnowledgeAgent.IntegrationTests/
evals/
  retrieval-cases.jsonl

API ต้องมี endpoints สำหรับเริ่ม conversation, ส่ง message, ดู job status, approve action และ cancel job ใช้ AgentSession ต่อ conversation และ persist state พร้อม optimistic concurrency ครับ

Ingestion worker รับ Markdown หรือ HTML, ทำ clean text, สร้าง deterministic chunks, ตรวจ token limit, generate embeddings และ upsert index version ใหม่ Retrieval ใช้ TextSearchProvider พร้อม tenant filter, top K, deduplication และ source metadata

Functional Requirements

1. ตอบคำถาม handbook พร้อม source IDs
2. ปฏิเสธเมื่อ context ไม่พอ
3. เรียก tool เพื่ออ่าน deployment status
4. ขอ approval ก่อน publish announcement
5. resume งานหลัง process restart
6. expose read-only support capability ผ่าน MCP
7. เก็บ OpenTelemetry trace โดย redact sensitive text
8. มี admin command สำหรับ inspect, retry และ reindex

Definition of Done

• dotnet build และ dotnet test ผ่าน
• integration test พิสูจน์ tenant isolation
• approval ซ้ำไม่สร้าง side effect ซ้ำ
• evaluation report แสดง Recall@K, citation precision และ refusal result
• performance report มี P50/P95 latency กับ token usage
• README มี setup, architecture, environment variables และ rollback guide
• threat model ครอบคลุม prompt injection, tool abuse, data leakage และ compromised MCP server

Delivery Plan

ทำเป็น pull requests ตามลำดับเพื่อให้ review และ rollback ง่ายครับ:

1. solution skeleton, package locks และ CI
2. agent endpoint, streaming และ provider error mapping
3. durable session store กับ tenant isolation
4. read tool, approval-required write tool และ audit
5. workflow, background execution และ recovery tests
6. MCP boundary กับ contract tests
7. ingestion worker, persistent vector store และ index lifecycle
8. TextSearchProvider, citations และ refusal behavior
9. evaluation, load tests และ cost budgets
10. hosting, telemetry, security controls และ runbooks

แต่ละ PR ต้องมี feature flag, automated tests, migration/rollback note และ evidence จาก staging เมื่อเกี่ยวข้อง

Verify

Run the complete test, evaluation, load, restart and rollback suites against staging. Attach machine-readable results to the release candidate.

Production Gate

จัด review 4 รอบแยกกัน:

• Behavior — product owner review answer and approval flows
• Security — identity, tenant isolation, prompt injection, MCP and tool policy
• Reliability — restart, duplicate delivery, provider outage and rollback
• Operations — SLO, dashboards, alerts, retention, index recovery and cost

Deliverable

ส่ง source, infrastructure, tests, eval report, performance report, threat model, architecture decisions, dashboards และ runbooks พร้อม demo ที่ restart worker ระหว่างงานแล้วระบบ resume ได้

เริ่มด้วย in-memory store ให้ end-to-end test ผ่าน แล้วเปลี่ยนเป็น persistent vector store ผ่าน Microsoft.Extensions.VectorData abstraction ครับ ส่ง pull request ขนาดเล็กตาม capability เพื่อให้ review และ rollback ง่าย

Reference

• Microsoft Agent Framework end-to-end samples
• Official Agent Framework evaluation guide
• Official Durable Extension guide