First Agent and Streaming

Level: Intermediate

เป้าหมายบทนี้คือให้ request แรกผ่านครบเส้นทาง: application สร้าง client, client สร้าง AIAgent, agent เรียก model และ application แสดงผลครับ ยังไม่ต้องใส่ database หรือ tools เพราะเราต้องการ baseline ที่ debug ง่าย

Outcome

สร้าง agent ผ่าน dependency injection แล้วเปิด endpoint แบบ non-streaming ก่อน จากนั้นเพิ่ม streaming endpoint ที่รองรับ cancellation ครับ

Build the Agent

using Azure.AI.Projects;
using Azure.Identity;
using Microsoft.Agents.AI;

var endpoint = Environment.GetEnvironmentVariable("FOUNDRY_PROJECT_ENDPOINT")
    ?? throw new InvalidOperationException("FOUNDRY_PROJECT_ENDPOINT is missing.");
var model = Environment.GetEnvironmentVariable("FOUNDRY_MODEL")
    ?? throw new InvalidOperationException("FOUNDRY_MODEL is missing.");

var projectClient = new AIProjectClient(
    new Uri(endpoint),
    new DefaultAzureCredential());

AIAgent agent = projectClient.AsAIAgent(
    model: model,
    name: "TPCoderSupport",
    instructions: "Help developers understand the internal engineering handbook. " +
                  "Say when the supplied context is not enough.");

var response = await agent.RunAsync(
    "Give me a three-item checklist before deploying an API.");

Console.WriteLine(response);

ลองรันด้วย dotnet run แล้วบันทึก prompt, latency และ response ไว้เป็น baseline ครับ ถ้า authentication ล้มเหลว ให้ตรวจ az account show, endpoint และ role ที่ Foundry project ก่อนแก้ agent code

เก็บ agent creation ใน Infrastructure และ expose interface จาก Application อย่าสร้าง AIProjectClient ใหม่ในทุก request ครับ Client และ agent configuration ควรถูก reuse ผ่าน dependency injection

Add Streaming

Streaming ช่วยให้ UI แสดงข้อมูลระหว่างรอ model สร้างคำตอบ:

await foreach (var update in agent.RunStreamingAsync(
    "Explain readiness and liveness checks with one example each."))
{
    Console.Write(update);
}

อย่ารวม update แต่ละชิ้นเป็น business event เพราะ streaming chunk อาจแบ่งคำในตำแหน่งที่เปลี่ยนไปได้ หากระบบต้อง parse output ให้ใช้ non-streaming response หรือ structured output แล้ว validate schema

Checkpoint

คุณควรตอบคำถามเหล่านี้ได้ก่อนเดินต่อครับ:

1. Agent name และ instructions ถูกกำหนดที่จุดไหน
2. Credential มาจากแหล่งใด
3. UI จะยกเลิก streaming ผ่าน CancellationToken อย่างไร
4. ระบบจะทำอะไรเมื่อ model timeout

Verify

เพิ่ม smoke test ที่เรียก prompt เดิมและตรวจว่า response ไม่ว่าง จากนั้นเพิ่ม integration test ที่ cancel request แล้วพิสูจน์ว่า CancellationToken ไปถึง agent call ครับ เก็บ live-provider test แยกจาก unit tests และเปิดด้วย environment flag ใน CI

Production Gate

• ตั้ง request timeout และ maximum response size
• retry เฉพาะ transient provider error พร้อม jitter
• อย่า retry หลัง tool side effect เริ่มทำงาน
• map provider error เป็น stable API problem code
• วัด time-to-first-token แยกจาก total latency

Deliverable

ส่ง agent registration, one non-streaming endpoint, one streaming endpoint, cancellation test และ baseline latency note

บทถัดไปจะเพิ่ม AgentSession เพื่อรักษา context หลาย turn ครับ

Reference

• Official hello-agent sample
• Official ASP.NET Core hosting guidance