LLM → Prompt
Để dễ hình dung, chúng ta có thể xem AI System như kiến trúc Client - Server:
IDE Chat Window (Nơi bạn nhập Prompt) ↔ Context Window (Vùng nhớ đệm xử lý Token) ↔ LLM (Bộ não đã được train)
LLM (Large Language Model)
- LLM là một mô hình ngôn ngữ lớn, bản chất nó là mạng nơ-ron nhân tạo (Neural Network) khổng lồ được huấn luyện trên lượng dữ liệu cực lớn (dữ liệu chữ, ảnh,...).
- Với các Developer: Source code → Compile → Binary (.exe)
- Với LLM: Hàng nghìn tỷ token dữ liệu → Training → LLM
Với các Developer
Source code → Compile → Binary (.exe)
Với LLM
Hàng nghìn tỷ token dữ liệu → Training → LLM
Sau khi train xong
- Dữ liệu gốc không còn dược lưu nguyên vẹn
- Model chỉ giữ lại các weights
- Các weights này chứa những thứ mà model đã học được
- LLM không phải là Database
- Nó không hoạt động kiểu:
SELECT answer
FROM knowledge
WHERE question = ?
- Thay vào đó, nó hoạt động gần giống: Dựa trên những gì đã học, hãy dự đoán token tiếp theo hợp lý nhất. Ví dụ: Laravel là framework của...
→ Model dự đoán: PHP (vì trong quá trình train nó đã thấy mẫu này rất nhiều lần).
Model
Model là một phiên bản cụ thể của LLM được huấn luyện, tinh chỉnh và phát hành.
Ví dụ: GPT-4o, Claude Sonet, Gemini 3.0 Pro,... (Tất cả đều là LLM, nhưng là những model khác nhau).
Góc nhìn dev: Ngôn ngữ lập trình → Framework → Phiên bản cụ thể
Ví dụ:
PHP (Laravel 10, Laravel 11, Symfony)
LLM (GPT-4o, GPT-4o mini, Claude Sonet, Gemini Pro)
→ Mỗi model có: tốc độ khác nhau, chi phí khác nhau, khả năng suy luận khác nhau, context window khác nhau và độ chính xác khác nhau.
- Các yếu tố thường dùng để so sánh model:
- Khả năng: lập trình, suy luận, toán học, phân tích
- Tốc độ
- Chi phí: Model mạnh hơn thường đắt hơn =)))
- Khả năng nhớ: Context cảng lớn càng tăng khả năng nhớ và xử lý nội dung trong 1 context window
Tóm lại: Model là một phiên bản cụ thể của LLM, được huấn luyện và tối ưu với những đặc tính về tốc độ, chi phí, khả năng suy luận và ghi nhớ context
→ Về mặt khái niệm thì LLM là loại công nghệ, còn Model là sản phẩm cụ thể được tạo ra từ công nghệ đó
Token (Primitive Data Type)
- AI không đọc trực tiếp từ ngữ, chữ cái hay câu văn như con người. Trước khi đưa vào model, văn bản sẽ được chia thành đơn vị nhỏ hơn gọi là Token
- Một token có thể là một từ hoàn chỉnh, ví dụ: Sh*t
- Subword, ví dụ như: programming → program + ming
- Dấu câu: ['.', ',', '!', '?']
- Khoảng trắng hoặc ký tự đặc biệt
Ví dụ:
const text = "Hello world!";
Trước khi AI xử lý:
["Hello", "world", "!"]
→ Nhưng thực tế phức tạp hơn rất nhiều vì AI dùng thuật toán tokenization (BPE, SentencePiece, WordPiece,...) chứ không chỉ split theo dấu cách
- Token không phải từ bởi nhiều người thường nghĩ rằng: 1 từ = 1 token (điều này là sai !!!)
Ví dụ:
- Hello → có thể là 1 token
- Authentication có thể thành (auth, entication) → 2 token
Quy tắc ước lượng
- Đối với tiếng Anh: 1 token ≈ 4 ký tự
- Hoặc: 100 token ≈ 75 từ
→ Đây chỉ là quy tắc gần đúng
→ Token là dữ liệu cơ bản mà LLM sử dụng để đọc, ghi nhớ và sinh văn bản. Mọi prompt, code hay câu trả lời đều phải được chuyển thành token trước khi model xử lý
Context Window
- Context Window là vùng bộ nhớ tạm thời mà model sử dụng trong 1 lần suy luận (inference)
Mọi thứ AI nhìn thấy trước khi trả lời đều nằm trong context window:
- Prompt hiện tại
- Lịch sử đoạn chat
- System prompt
- Tệp đính kèm
- Code được paste
- Kết quả từ RAG (nếu có)
Nói đơn giản: Context Window là toàn bộ dữ liệu được nạp vào cho model xử lý ở thời điểm hiện tại
Với các Developer có thể liên tưởng đến CPU ↔ RAM
Trong máy tính:
- CPU là nơi xử lý
- RAM là nơi chứa dữ liệu đang làm việc
Với LLM ↔ Context Window
Trong AI:
- LLM là bộ não xử lý
- Context Window là vùng nhớ ngắn hạn
→ AI không thực sự nhớ bạn là ai. Nó chỉ trả lời dựa trên dữ liệu trước đó vẫn nằm trong Context Window
Vì sao Context Window quan trọng???
Trường hợp 1: Chat thông thường
- Context lớn giúp AI nhớ cuộc trò chuyện lâu hơn → ít quên thông tin trước đó
Trường hợp 2: Phân tích code
- Ví dụ bạn gửi: Project ASP.NET Web APIs - 100 file - 40.000 dòng code
- Model có Context Window lớn sẽ đọc được nhiều file hơn trong 1 lần xử lý
Trường hợp 3: Phân tích document
- Ví dụ một file PDF 500 trang
- Context lớn thì có thể nạp nhiều nội dung và xử lý trong 1 lần
Mối quan hệ giữa Token và Context
Prompt → Tokenizer → Tokens → Context Window → LLM → Output Tokens
→ LLM không đọc trực tiếp văn bản, nó chỉ đọc các token nằm bên trong Context Window
AI hiện nay
Chi phí
- Hầu hết các AI hiện nay tính tiền theo: Input Tokens + Output Tokens
- Ví dụ: Bạn gửi 5.000 token và AI trả lời 2.000 token → Tổng sử dụng: 7.000 token
Giới hạn Context Window
- Model không thể đọc vô hạn dữ liệu
- Ví dụ: 128k token (bao gồm prompt, code, tệp đính kèm) → vượt quá giới hạn này thì một phần nội dung sẽ bị cắt bỏ
Tốc độ xử lý
- Ít token hơn → Xử lý nhanh hơn → Chi phí thấp hơn
AI hiểu câu hỏi và generate code như nào???
Tokenization
- Prompt + code được chia thành các token
Context Assembly
- Token từ prompt, code, document và lịch sử chat được nạp vào Context Window
Inference
- LLM phân tích context và dự báo token tiếp theo có xác suất cao nhất
Generation
- Các token được sinh ra liên tục và ghép thành câu trả lời hoặc đoạn code hoàn chỉnh
Lưu ý: mọi số liệu hay thống kê trong bài viết trên chỉ mang tính tham khảo và ước lượng. Nếu có sai sót xin hãy hoan hỉ cho tại hạ!!!