Observability, Security, and Hosting

Level: Advanced

ก่อนเปิดให้ผู้ใช้ คุณต้องมองเห็น agent run ทั้งเส้นและจำกัดข้อมูลที่แต่ละ component เข้าถึงครับ Agent Framework รองรับ OpenTelemetry ผ่าน builder API จึงเชื่อม trace ของ model, tool และ application ได้

Outcome

เลือก hosting model, protocol และ durability แยกกัน จากนั้น deploy ด้วย identity, telemetry, health checks, release gates และ rollback ครับ

Add OpenTelemetry

using OpenTelemetry;
using OpenTelemetry.Trace;

const string sourceName = "TPCoder.KnowledgeAgent";

using var tracerProvider = Sdk.CreateTracerProviderBuilder()
    .AddSource(sourceName)
    .AddConsoleExporter()
    .Build();

AIAgent observedAgent = agent
    .AsBuilder()
    .UseOpenTelemetry(sourceName: sourceName)
    .Build();

ส่ง correlation ID จาก HTTP request ผ่าน background job, retrieval และ tool call ครับ Metric ขั้นต่ำควรมี run count, error rate, latency, input/output tokens, tool failures, approval rate, retrieval hit count และ refusal rate

EnableSensitiveData ควรเป็น false บน production ครับ เปิดเฉพาะ isolated troubleshooting environment ที่มี access control กับ retention สั้น

Data Safety

• authenticate caller ก่อนสร้างหรือโหลด session
• filter retrieval ด้วย tenant และ permission metadata
• จำกัด tool ตาม role และ agent purpose
• redact prompt, tool arguments และ retrieved text ก่อน export telemetry
• เก็บ secret ใน managed secret store
• ใช้ managed identity หรือ credential ที่ระบุแหล่งชัดบน production
• ตั้ง retention และ deletion flow สำหรับ session กับ memory

Prompt injection ในเอกสารถือเป็น untrusted data ครับ บอก agent ให้ใช้ retrieved text เป็นข้อมูลอ้างอิง ไม่ใช้เป็น system instruction และบังคับ tool policy ใน code

Hosting Readiness

ย้าย agent registration เข้า ASP.NET Core DI กำหนด health checks แยก readiness ของ app จาก dependency ภายนอก และใช้ queue สำหรับงานยาว Deploy แบบ container ด้วย non-root user, resource limits และ graceful shutdown

เลือกสามเรื่องแยกกัน:

Foundry Hosted Agents เหมาะเมื่อคุณต้องการ managed scaling และ session lifecycle ส่วน self-hosting เหมาะเมื่อ application ต้องคุม routes, identity, storage, network และ deployment เองครับ

เพิ่ม integration test สำหรับ authentication, tenant isolation, approval, timeout, cancellation และ provider outage จากนั้น run load test ที่มี multi-turn session กับ RAG พร้อมกันครับ

Verify

Deploy staging ด้วย production-like identity และ network policy Run smoke, evaluation, load, restart, rollback และ secret-rotation tests ตรวจ dashboards กับ alerts จาก generated failures ก่อนเปิด traffic

Production Gate

Release ต้องผ่าน threat model, dependency scan, evaluation thresholds, SLO budget และ rollback rehearsal Runbook ต้องระบุ owner, dashboard, common error codes, disable switches, index rollback และ provider outage behavior

Deliverable

ส่ง hosting decision record, infrastructure definition, CI/CD gates, dashboards, alerts, health endpoints, rollback steps และ incident runbook

References

• Official Agent Framework observability sample
• Official hosting samples
• Official hosting model guide
• Official ASP.NET Core hosting guide