Metrics & Tracing
Hiểu dashboard metrics và xem trace của từng tin nhắn để phân tích reliability, latency, feedback và credits.
Dashboard của assistant cho biết assistant đang phản hồi nhanh, ổn định và hiệu quả đến đâu. Tracing cho bạn đi sâu vào một tin nhắn cụ thể để xem từng LLM call, tool call, lượng token, latency và credits.
Dùng metrics để phát hiện xu hướng; dùng trace để tìm nguyên nhân của một turn chậm, lỗi hoặc tốn nhiều credits.
Dashboard metrics
Vào Admin Panel → Assistants → Dashboard. Date range ở đầu trang áp dụng cho các period metrics và charts. Với operational metrics, chọn một trong ba mode: Chat, Standard Voice hoặc Realtime Voice. Date range, timezone và mode được gửi cùng nhau tới analytics API.
Date range bao gồm cả ngày bắt đầu và ngày kết thúc theo timezone của trình duyệt. Hai summary cards là ngoại lệ: Hoạt động hôm nay luôn dùng ngày hiện tại, còn Bộ nhớ là tổng hiện có của assistant.
Các metric theo mode chỉ được so sánh trong cùng mode vì Chat và Voice có các mốc latency khác nhau. Mode đang chọn và date range cũng được lưu trong URL để có thể reload hoặc chia sẻ cùng một dashboard view.
Cách đọc percentile
| Thuật ngữ | Cách hiểu |
|---|---|
| P95 | 95% số mẫu nhanh hơn hoặc bằng giá trị này. Dùng để phát hiện nhóm turn chậm ở phần đuôi. |
Dấu — nghĩa là không có đủ dữ liệu hoặc metric không áp dụng. Nó không có nghĩa là latency bằng 0.
Operational metrics theo mode
| Metric | Định nghĩa | Cách sử dụng |
|---|---|---|
| Phản hồi P95 | P95 của response-start latency trên các completed turn có timestamp hợp lệ | Phát hiện nhóm turn phản hồi chậm ở phần đuôi. Mốc bắt đầu phụ thuộc Chat hay Voice. |
| Tỷ lệ lỗi kỹ thuật | failed / (completed + failed) | Theo dõi lỗi kỹ thuật của pipeline. Turn bị user ngắt lời không được tính là technical failure. |
| Chi phí mỗi lượt hoàn tất | Tổng credits có attribution chia cho số completed turn | So sánh cost giữa model, khoảng thời gian và interaction mode. |
| Tỷ lệ lỗi công cụ | Tool executions có action ERROR chia cho tổng tool executions | Theo dõi độ ổn định của tool loop trong Chat và Standard Voice. |
Chi phí mỗi lượt hoàn tất có thể là — cho Realtime Voice vì mode này được tính phí theo session. Tỷ lệ lỗi công cụ cũng là — cho Realtime Voice cho đến khi provider-owned tool loop phát ra canonical tool executions.
Summary cards còn hiển thị Phản hồi tích cực và Tỷ lệ lỗi truy vết theo date range. Phản hồi tích cực hiển thị — khi chưa có rating trong kỳ. Tỷ lệ lỗi truy vết tính tỷ lệ LLM call có status error hoặc aborted trên tổng LLM call. Không dùng nó thay cho Tỷ lệ lỗi kỹ thuật: một turn có thể bị user ngắt lời và tạo trace aborted dù pipeline không gặp lỗi kỹ thuật.
Chat latency
| Metric | Bắt đầu | Kết thúc |
|---|---|---|
| Độ trễ phản hồi đầu tiên | Server nhận chat request | Text trả lời đầu tiên được gửi cho user |
Độ trễ phản hồi đầu tiên là latency end-to-end mà user cảm nhận. Nó có thể bao gồm context loading, memory retrieval và các tool loop trước khi câu trả lời đầu tiên xuất hiện. Metric này khác LLM TTFT, vốn chỉ đo một LLM call riêng lẻ.
Voice latency
| Metric | Bắt đầu | Kết thúc |
|---|---|---|
| End-of-Speech → First Audio Sent | Hệ thống xác định user đã nói xong | Audio frame đầu tiên được server gửi tới client/device |
| Endpointing Latency | User nói xong | Audio input được commit để xử lý |
| ASR Latency | Audio input được commit | Có final transcript |
| Agent Latency | Có final transcript | Có text trả lời đầu tiên |
| TTS Text Buffering | Có text trả lời đầu tiên | Gửi TTS request đầu tiên |
| TTS First Audio Latency | Gửi TTS request đầu tiên | Provider trả audio đầu tiên |
| Audio Send Latency | Provider trả audio đầu tiên | Server gửi audio frame đầu tiên |
Với Standard Voice, End-of-Speech → First Audio Sent bao quát toàn bộ pipeline endpointing → ASR → Agent → TTS → audio send. Các stage metric giúp xác định bottleneck cụ thể.
Với Realtime Voice, provider xử lý audio trong một integrated pipeline. Dashboard chỉ hiển thị P95 của End-of-Speech → First Audio Sent; các stage ASR/Agent/TTS là — thay vì ước lượng giả. Status và duration vẫn có trong turn detail.
End-of-Speech → First Audio Sent và Audio Send Latency kết thúc khi server gửi frame đầu tiên. Chúng không đo thời điểm user thực sự nghe thấy âm thanh; network, client buffer và loa có thể tạo thêm latency.
Tracing là gì?
Một câu trả lời của trợ lý không phải lúc nào cũng chỉ là một lời gọi LLM. Khi trợ lý dùng công cụ (kho tri thức, MCP, custom API, v.v.), nó chạy một tool loop: gọi model → chạy các công cụ được yêu cầu → đưa kết quả ngược lại → gọi model tiếp, cho đến khi có câu trả lời cuối cùng.
Tracing ghi lại từng bước của vòng lặp đó:
- Một mục LLM call cho mỗi vòng lặp (model, provider, token, thời lượng, trạng thái).
- Một mục tool execution cho mỗi công cụ mà model gọi (tham số, kết quả, thời lượng, kết cục).
Đây là observability tích hợp sẵn — không cần cấu hình bên ngoài.
Cách mở Traces
- Vào Admin Panel và mở Assistants.
- Mở một assistant, rồi vào Conversations.
- Chọn một hội thoại để xem các tin nhắn.
- Trên bất kỳ tin nhắn của trợ lý nào, nhấn pill Trace (icon activity) để mở hộp thoại Agent Trace.
Chỉ tin nhắn của trợ lý mới có trace. Tin nhắn của người dùng không kích hoạt lời gọi LLM hay công cụ nên không có gì để trace.
Turn Summary
Phần đầu hộp thoại hiển thị interaction mode, channel, Voice mode nếu có, và status của turn. Các badge kỹ thuật dùng nhãn English như Completed, Web app, Manual, Standard và Realtime. Phần này cũng hiển thị Độ trễ phản hồi đầu tiên cho Chat hoặc End-of-Speech → First Audio Sent cho Voice, cùng tổng credits đã attribution. Với Voice, Voice Latency Breakdown nằm ngay bên dưới khi có dữ liệu stage.
Timeline sau đó kết hợp LLM call và các usage step bị tính phí như ASR, TTS, memory hoặc Realtime Voice theo thứ tự thực thi. Credits và attribution type xuất hiện tại step tương ứng.
Đọc một lời gọi LLM
Mỗi LLM call hiển thị dưới dạng một timeline card. Card cho biết phase như direct response, tool call hoặc synthesize result, cùng model, status, input/output tokens, duration và số tool call. Mở rộng card để xem provider, total/cached/reasoning tokens, TTFT, cost và timestamp.
| Trường | Ý nghĩa |
|---|---|
| Model | Chat model xử lý lời gọi này (vd gpt-5.6-luna) |
| Nhà cung cấp | Provider đứng sau model (vd openai, anthropic) |
| Trạng thái | completed, aborted hoặc error — xem bên dưới |
| Thời gian | Thời điểm thực hiện lời gọi |
| Thời lượng | Lời gọi mất bao lâu |
Token Usage
| Metric | Ý nghĩa |
|---|---|
| Input tokens | Token gửi tới model: prompt, history, context và tool result. |
| Output tokens | Token model tạo ra, gồm cả phần output mà provider báo cáo. |
| Total tokens | Tổng token provider báo cáo cho LLM call. |
| Cached tokens | Input tokens được đọc từ prompt cache của provider. |
| Reasoning tokens | Token dành cho internal reasoning khi provider/model có báo cáo. |
Cached tokens và Reasoning tokens chỉ xuất hiện khi lớn hơn 0. Cách provider tính token có thể khác nhau, vì vậy hãy so sánh cùng model/provider khi phân tích.
LLM latency
| Metric | Ý nghĩa |
|---|---|
| Duration | Tổng thời gian của một LLM call, từ lúc gửi request đến khi stream hoàn tất hoặc dừng. |
| TTFT (Time to First Token) | Từ lúc bắt đầu LLM call đến token nội dung đầu tiên. TTFT không bao gồm các stage diễn ra trước LLM call. |
Một answer có nhiều tool loop sẽ có nhiều LLM call và nhiều giá trị TTFT/Duration. Vì vậy không cộng TTFT để thay thế First Response Latency.
Lời gọi công cụ
Khi trợ lý dùng công cụ, card lời gọi sẽ liệt kê từng lần thực thi công cụ. Mỗi dòng hiển thị tên công cụ, một badge loại, và thời lượng. Mở rộng một dòng để xem chi tiết:
| Chi tiết | Ý nghĩa |
|---|---|
| Hành động | Kết cục của lời gọi công cụ (xem bảng bên dưới) |
| Thời gian | Thời điểm công cụ chạy |
| Tham số | Tham số mà model truyền cho công cụ (JSON) |
| Kết quả | Tóm tắt những gì công cụ trả về |
| Lỗi | Thông báo lỗi, nếu công cụ thất bại |
Loại công cụ
| Badge | Là gì |
|---|---|
| builtin | Công cụ tích hợp phía server (kho tri thức, memory, web, v.v.) |
| mcp | Công cụ cung cấp qua MCP (endpoint và MCP server) |
| custom | Custom HTTP API tool của riêng bạn |
Hành động công cụ
| Hành động | Ý nghĩa |
|---|---|
| REQLLM | Kết quả được gửi lại cho model để tiếp tục vòng lặp |
| RESPONSE | Công cụ tạo ra câu trả lời cuối cùng trực tiếp |
| NONE | Công cụ chạy nhưng không trả về gì để xử lý tiếp |
| ERROR | Công cụ thất bại — kiểm tra thông báo lỗi |
Tham số và Kết quả đã được sanitize và cắt ngắn để đảm bảo an toàn và dễ đọc — đây là phần tóm tắt, không phải payload thô đầy đủ.
Trạng thái Trace
| Trạng thái | Ý nghĩa |
|---|---|
| completed | Lời gọi hoàn thành bình thường |
| aborted | Lời gọi bị dừng sớm (vd người dùng ngắt lời / barge-in) |
| error | Lời gọi thất bại — xem trace và lỗi công cụ để tìm nguyên nhân |
Các tình huống thường gặp
Debug câu trả lời sai — kiểm tra công cụ nào được gọi, truyền tham số gì, và mỗi công cụ trả về gì. Kết quả tệ hoặc tham số sai thường giải thích cho câu trả lời lạc đề.
Phân tích chi phí — tổng token tương ứng trực tiếp với lượng credit tiêu thụ. Dùng trace để phát hiện tin nhắn nào tốn kém và vì sao. Xem Credits.
Chẩn đoán câu trả lời chậm — so sánh thời lượng của từng vòng lặp và từng công cụ. Một công cụ bên ngoài chậm hoặc quá nhiều vòng lặp thường là nút thắt cổ chai.
Liên quan
- Tools & MCP — các công cụ xuất hiện trong trace của bạn
- AI Models — các model hiển thị trong mỗi lời gọi LLM
- Credits — token tiêu thụ tương ứng chi phí ra sao
- Standard vs Realtime — vì sao 2 voice mode có metric khác nhau