Khoa học phổ thông bằng ngôn ngữ dễ hiểu: Transformer và cơ chế chú ý

2024-03-16

Transformer[1] là một phát minh mang tính cách mạng. Có thể nóibóng đá wap, nó chính là nền tảng của các mô hình ngôn ngữ lớn hiện đại (LLM). Muốn hiểu sâu hơn về sự phát triển của trí tuệ nhân tạo đương đại, thì không thể không nhắc đến khái niệ Do đó, bài viết này sẽ cố gắng giải thích một cách dễ hiểu nhất, nhằm giúp bất kỳ kỹ sư phần mềm nào cũng có thể nắm bắt được nội dung. Trước hết, cần hiểu rằng Transformer không chỉ đơn thuần là một công cụ mà còn là một bước đột phá trong cách xử lý dữ liệu dạng tuần tự như văn bản hoặc âm thanh. Trước khi nó xuất hiện, các mô hình truyền thống thường gặp khó khăn trong việc quản lý lượng thông tin lớn và thực hiện đồng thời nhiều tác vụ phức tạp. Transformer đã thay đổi hoàn toàn điều đó bằng cách sử dụng cơ chế gọi là "self-attention" (tự chú ý), cho phép hệ thống tập trung vào từng phần quan trọng của dữ liệu một cách linh hoạt. Để làm rõ hơn, hãy tưởng tượng bạn đang đọc một cuốn sách. Khi đến một đoạn văn cụ thể, bạn không chỉ nhìn vào từ hiện tại mà còn nhớ lại những gì đã xảy ra trước đó để hiểu rõ ngữ cảnh. Điều này giống như cách Transformer hoạt động: nó liên tục cập nhật và kết nối thông tin từ nhiều vị trí khác nhau trong dữ liệu. Điều này giúp cải thiện hiệu suất đáng kể so với các phương pháp cũ. Tuy nhiên, việc hiểu Transformer không phải lúc nào cũng dễ dàng. Nhiều thuật ngữ chuyên môn có thể gây khó khăn cho người mới tiếp cận lĩnh vực này. Vì vậy, bài viết sẽ chia sẻ những kiến thức cơ bản một cách dễ tiếp nhận, kèm theo các ví dụ thực tế để mọi người có thể dễ dàng hình dung. Kết luận, Transformer không chỉ đóng vai trò quan trọng trong sự tiến hóa của AI mà còn mở ra cánh cửa cho hàng loạt ứng dụng mới trong tương lai. Hy vọng sau khi đọc xong bài viết này, bạn sẽ có cái nhìn tổng quát hơn về công nghệ này và cảm thấy hứng thú với việc khám phá thêm!

Dù đã có rất nhiều bài viết trên mạng về việc giải thích mô hình TransformerVSBET, nhưng thực tế cho thấy, để diễn đạt một thứ phức tạp như vậy bằng ngôn ngữ đơn giản và dễ hiểu không phải là điều dễ dàng. Đây thực sự là một thử thách đối với bất kỳ ai muốn giúp người khác hiểu sâu hơn về cơ chế hoạt động củ Không chỉ cần hiểu rõ bản chất của nó, mà còn phải tìm cách truyền tải thông tin đó một cách trực quan và sinh động, sao cho ngay cả những người mới bắt đầu cũng có thể nắm bắt được. Đây không phải là một nhiệm vụ đơn giản. . Vì vậyVSBET, bài viết này cố gắng đạt được hai điểm chính:

• Kết nối nhiều thông tin liên quan với nhau.
• Mô tả tổng thể ở mức vĩ mô nhưng vẫn giữ được tính cụ thể trong các mô tả chi tiết.

Một số kiến thức nền tảng

Nhiều người có lẽ đã từng nhìn thấy hình ảnh dưới đây:

Hình ảnh này được trích từ một bài tổng quan năm ngoái [2]kết quả bóng đá việt nam hôm nay, cho thấy cây phát triển của công nghệ LLM trong những năm gần đây. Dựa trên cấu trúc mô hình khác nhau của các mô hình LLM, có thể chia thành ba nhánh chính về mặt công nghệ:

• Encoder-Only;
• Encoder-Decoder;
• Decoder-Only (được đại diện điển hình bởi chuỗi GPT của OpenAI).

Trên thực tếbóng đá wap, trong hình ảnh này, tất cả các mô hình trừ nhánh nhỏ màu xám ở góc dưới bên trái đều được phát triển dựa trên kiến trú Kiến trúc này đã đóng vai trò như nền tảng quan trọng, mở ra nhiều khả năng mới trong việc xử lý ngôn ngữ và dữ liệu tuần tự. Các biến thể khác nhau của nó đã mang lại những cải tiến đáng kể về hiệu suất và độ chính xác trong nhiều tác vụ phức tạp.

Vào năm 2017bóng đá wap, Transformer đã được giới thiệu và trở thành một bước đột phá trong lĩnh vực xử lý ngôn ngữ tự nhiên. Kiến trúc này bao gồm hai phần chính: Encoder và Decoder. Dù là Encoder hay Decoder, cả hai đều được cấu thành từ nhiều lớp mạng với các mô-đun tập trung vào cơ chế Attention (chú ý). Mô-đun Attention đóng vai trò quan trọng trong việc giúp mô hình hiểu ngữ cảnh và mối liên hệ giữa các từ trong câu một cách sâu sắc hơn. Ngoài ra, các lớp mạng này còn được thiết kế để có thể học đại diện tốt nhất cho dữ liệu đầu vào, từ đó cải thiện đáng kể hiệu suất của mô hình trong các tác vụ như dịch ngôn ngữ, tạo văn bản hoặc phân loại văn bản. Chính sự linh hoạt và khả năng tối ưu hóa này đã khiến Transformer trở thành nền tảng cốt lõi cho nhiều mô hình hiện đại sau này.

Hãy cùng quan sát kiến trúc mô hình của Transformer (được lấy từ bài báo gốc về Transformer [1])VSBET, như sau: [Kèm theo một mô tả chi tiết hoặc phân tích ngắn gọn về các thành phần chính trong kiến trúc nếu cần] Lưu ý rằng, bản đồ này thể hiện cách các thành phần khác nhau trong Transformer hoạt động cùng nhau để xử lý dữ liệu đầu vào và tạo ra đầu ra mong muốn. Các khối như Self-Attention và Feed-Forward Neural Network đóng vai trò quan trọng trong việc nâng cao hiệu suất của mô hình.

Trong hình nàybóng đá wap, bên trái là Encoder, còn bên phải là Decoder. Ba mũi tên màu đỏ mà bạn đang nhìn thấy chính là những thành phần then chốt nhất trong kiến trú Đi sâu hơn, Encoder đảm nhận nhiệm vụ xử lý dữ liệu đầu vào và chuyển đổi nó thành các biểu diễn có ý nghĩa thông qua các lớp tự mãn ngữ (self-attention). Trong khi đó, Decoder đóng vai trò giải mã các biểu diễn đó thành chuỗi đầu ra mong muốn. Các mũi tên màu đỏ không chỉ đơn thuần là những kết nối, mà chúng đại diện cho cơ chế "tự chú ý" (attention mechanism), nơi mà mỗi phần tử trong chuỗi có thể tham chiếu đến tất cả các phần tử khác trong cùng một chuỗi – điều này giúp hệ thống hiểu rõ hơn về ngữ cảnh và mối liên hệ giữa các từ. Kiến trúc này đã cách mạng hóa ngành học máy, đặc biệt là trong lĩnh vực xử lý ngôn ngữ tự nhiên, nhờ khả năng xử lý song song và hiểu ngữ cảnh tinh vi của nó. Chính ba mũi tên màu đỏ này đã tạo nên sự khác biệt lớn trong hiệu suất của Transformer so với các mô hình tiền nhiệm. Chú ý Cơ chế.

Tổng quan về Transformer

Transformer là một mô hình học máy được thiết kế để xây dựng mô hình cho dữ liệu theo chuỗi. Từ góc nhìn của người sử dụngkết quả bóng đá việt nam hôm nay, chúng ta hãy cùng tìm hiểu xem Transformer có thể làm gì và cách thức sử dụng nó như thế nào. Dưới sự điều khiển của thuật toán này, Transformer có khả năng xử lý dữ liệu phức tạp trong các ứng dụng như dịch ngôn ngữ tự động, viết văn bản, hoặc thậm chí tạo ra âm nhạc. Người dùng chỉ cần cung cấp đầu vào là một chuỗi dữ liệu, sau đó mô hình sẽ tự động phân tích và trả về kết quả mong muốn với độ chính xác cao. Không chỉ vậy, việc triển khai Transformer cũng khá đơn giản, bạn chỉ cần nhập dữ liệu vào đúng định dạng và theo dõi quá trình chạy. Với khả năng linh hoạt và hiệu suất mạnh mẽ, Transformer đang trở thành một trong những công cụ không thể thiếu trong lĩnh vực trí tuệ nhân tạo hiện nay.

Một ứng dụng điển hình của Transformer là nhiệm vụ "dịch thuật". Giả sử chúng ta cần dịch một câu tiếng Anh sang tiếng Đứckết quả bóng đá việt nam hôm nay, đây là một ví dụ:

Một bé gái nhỏ đang chăm chú nhìn con chó đen. Cô bé nghiêng đầuVSBET, ánh mắt đầy tò mò và thích thú trước vẻ đáng yêu của chú chó. Con chó dường như cũng nhận ra ánh nhìn của cô bé và thong thả nhích lại gần, cái đuôi vẫy nhẹ như muốn làm quen. Không gian yên tĩnh xung quanh như hòa quyện vào khoảnh khắc giản dị nhưng đáng nhớ này.

Một cô bé nhỏ đang chăm chú nhìn con chó đen với ánh mắt tò mò. Cô đứng đókết quả bóng đá việt nam hôm nay, đôi mắt long lanh như đang suy nghĩ về điều gì đó thật đặc biệt về người bạn bốn chân này. Con chó dường như cũng nhận ra ánh nhìn của cô và nhẹ nhàng ngước lên, thỉnh thoảng vẫy đuôi như muốn đáp lại sự quan tâm ấy. Cả hai dường như đã tạo nên một khoảnh khắc yên bình trong không gian tĩnh lặ

Chúng ta ban đầu có thể tưởng tượng Transformer như một hộp đenVSBET, như sau:

Cho Transformer một câu tiếng Anh làm đầu vàoVSBET, nó sẽ xuất ra một câu tiếng Đức.

Tuy nhiênVSBET, khi xem xét kỹ hơn, nó không phải Ngay lập tức Xuất toàn bộ câu tiếng Đức ra ngoài. Nó tạo ra từ từ theo từng từ. Như hình bên dưới:

Hình trên cho thấy quá trình tạo ra 3 từ đầu tiên bằng tiếng Đứckết quả bóng đá việt nam hôm nay, mũi tên ảo từ trái sang phải biểu thị thứ tự thời gian:

• Bước 1: Sử dụng câu tiếng Anh gốc làm đầu vào để tạo từ "Ein".
• Bước 2: Sử dụng câu tiếng Anh gốc cùng với từ đã được tạo ra "Ein" làm đầu vàoVSBET, để sinh ra từ thứ hai "kleines".
• Ein kleines Mädchen
• Tương tự như vậykết quả bóng đá việt nam hôm nay, tiếp tục cho đến khi tạo ra toàn bộ câu tiếng Đức.

Cụ thể hơnVSBET, Transformer mỗi lần tạo ra một token. Trong thực tế, mối quan hệ giữa token và từ không phải lúc nào cũng là sự tương ứng trực tiếp. Tuy nhiên, để đơn giản hóa vấn đề, chúng ta có thể tạm thời bỏ qua chi tiết này.

Cách hoạt động mà tại đó mỗi lần sinh ra từ tiếp theo được thực hiệnkết quả bóng đá việt nam hôm nay, như đã được mô tả trong bài báo gốc về Transformer [1], được gọi là " Tự hồi quy Tôi cảm thấy rất vui vì...

• Dựa trên những từ đã được tạo ra trước đó để dự đoán từ tiếp theo sẽ giúp xây dựng một câu hoàn chỉnh phù hợp. Quá trình này cũng tương tự như cách con người thực hiện việc dịch thuật. Khi dịchVSBET, chúng ta thường suy nghĩ về ngữ cảnh và các từ đã có để chọn ra từ thích hợp nhất, đảm bảo câu dịch vừa chính xác vừa tự nhiên.
• tiến từng bước chắc chắn
• Từ góc độ triển khai mô hìnhkết quả bóng đá việt nam hôm nay, nó cần thực hiện dự đoán trong không gian giới hạn được xác định bởi từ điển (dictionary). Trong ví dụ trước đó về việc dịch tiếng Anh sang tiếng Đức, mô hình cần tìm ra một từ thích hợp trong từ điển chứa tất cả các từ tiếng Đức để đưa ra kết quả. Điều này đòi hỏi mô hình phải có khả năng phân tích ngữ cảnh và lựa chọn từ chính xác nhất trong số các tùy chọn có sẵn, đảm bảo tính chính xác và tự nhiên của bản dịch.

Nhìn kỹ hơn vào Transformer

Ở phần trướcbóng đá wap, chúng ta đã có cái nhìn tổng quan từ góc độ bên ngoài (tức là từ phía người sử dụng) về cách Transformer hoạt động. Bây giờ, hãy cùng đi sâu vào bên trong cấu trúc của nó và tìm hiểu chi tiết từng thành phần để xem cụ thể hoạt động của mô hình này như thế nào. Transformer thực sự là một công cụ mạnh mẽ với nhiều khía cạnh phức tạp, nhưng khi được phân tích từng bước một, chúng ta sẽ thấy rằng mỗi phần của nó đều đóng vai trò quan trọng trong việc xử lý dữ liệu. Đầu tiên, chúng ta sẽ tìm hiểu về phần tự ý thức (self-attention mechanism), đây là cốt lõi của Transformer, giúp mô hình nhận biết mối liên hệ giữa các yếu tố trong dữ liệu đầu vào mà không cần phụ thuộc vào vị trí của chúng. Tiếp theo, chúng ta sẽ khám phá thêm về phần encoder và decoder – hai thành phần chính chịu trách nhiệm cho việc mã hóa và giải mã thông tin. Encoder đảm nhiệm việc thu thập và xử lý dữ liệu thô, còn decoder sẽ biến đổi thông tin đó thành dạng dễ hiểu hơn cho người dùng. Mỗi module trong Transformer đều được thiết kế một cách tinh tế để đảm bảo rằng mô hình có thể hoạt động hiệu quả trên nhiều loại tác vụ khác nhau, từ dịch ngôn ngữ đến tạo văn bản. Với việc đi sâu vào từng chi tiết, bạn sẽ cảm nhận rõ hơn về sức mạnh và khả năng linh hoạt của Transformer trong việc giải quyết các vấn đề phức tạp trong lĩnh vực học máy.

Trước tiên hãy ôn lại sơ đồ kiến trúc mô hình Transformer trước đó:

Biểu đồ này tập trung vào cấu trúc nhưng lại không thể hiện đầy đủ toàn bộ quá trình làm việc. Hơn nữabóng đá wap, nó cũng phơi bày quá nhiều chi tiết kỹ thuật, khiến người mới học gặp khó khăn trong việc hiểu ý nghĩa tổng thể. Vì vậy, chúng ta hãy vẽ lại biểu đồ này, chỉ nhấn mạnh vào phần đang được chú ý, từ đó tạo ra một bản mới. Biểu đồ mô đun Transformer ：

Bây giờkết quả bóng đá việt nam hôm nay, kết hợp ví dụ dịch tiếng Anh sang tiếng Đức trước đó, chúng ta giải thích từng phần của biểu đồ này.

Tokenizer

Dù là một câu hay chỉ một từbóng đá wap, máy tính không thể xử lý trực tiếp. Máy tính chỉ có khả năng làm việc với các con số. Do đó, trước khi văn bản được đưa vào mô hình Transformer, nó sẽ trải qua một quá trình được gọi là Tokenizer sẽ chuyển đổi văn bản thành dạng số học mà mô hình có thể hiểu và xử lý. Bên cạnh đó, quy trình này cũng giúp chuẩn hóa văn bản, loại bỏ những yếu tố không cần thiết và tách văn bản thành các phần nhỏ hơn, như từ hoặc cụm từ, để tăng hiệu quả của việc huấn luyện mô hình. Đây thực sự là bước quan trọng, giúp biến dữ liệu ngôn ngữ thành định dạng có ý nghĩa đối với thuật toán máy học.

Cụ thểbóng đá wap, Tokenizer thực hiện ba việc:

（1） Phân đoạn Bạn có thể chia câu đầu vào thành nhiều token. Như chúng ta đã đề cập trước đâybóng đá wap, trong thực tế, các token không nhất thiết phải tương ứng chính xác với các từ. Tuy nhiên, để làm cho ví dụ đơn giản hơn, chúng ta sẽ coi mỗi từ như một token riêng lẻ.

A little girl is looking at a black dog.

Cụm từ tiếng Anh nàybóng đá wap, khi được phân tách thành các từ riêng lẻ, tạo ra 9 từ và một dấu chấm câu. Tổng cộng có 10 token, cụ thể như sau:

								
									[
									'A'
									, 'little'
									, 'girl'
									, 'is'
									, 'looking'
									, 'at'
									, 'a'
									, 'black'
									, 'dog'
									, '.'
									]
									

								

（2） Số hóa Bạn có thể chuyển đổi từng token thành một số. Bước chuyển đổi này phụ thuộc vào một từ điển. Trong thực tếVSBET, một từ điển thường bao gồm tất cả các token có thể xảy ra (bao gồm toàn bộ từ tiếng Anh và thêm một số token đặc biệt, thường có vài chục nghìn mục), mỗi token sẽ được gán một số thứ tự làm chỉ mục. Một từ điển tiếng Anh điển hình có thể trông như sau: ``` { "the": 1, "be": 2, "and": 3, "of": 4, "a": 5, ... " ": 30000, " ": 30001, " ": 30002 } ``` Trong đóbóng đá wap, các token đặc biệt như ` ` (đệm), ` ` (không xác định)kết quả bóng đá việt nam hôm nay, và ` ` (kết thúc chuỗi) được sử dụng để xử lý các trường hợp cụ thể trong bài toán xử lý ngôn ngữ tự nhiên. Từ điển này đóng vai trò là bản dịch giữa văn bản và các số nguyên mà máy tính có thể hiểu được.

								
									
										[(
									'<unk>'</unk>, 0)
									, (
									'<pad>'</pad>, 1)
									, (
									'<bos>'</bos>, 2)
									, (
									'<eos>'</eos>, 3)
									, (
									'a'
									, 4)
									, (
									'.'
									, 5)
									, (
									'A'
									, 6)
									, (
									'in'
									, 7)
									, (
									'the'
									, 8)
									, (
									'on'
									, 9)
									, (
									'is'
									, 10)
									, (
									'and'
									, 11)
									, (
									'man'
									, 12)
									, (
									'of'
									, 13)
									, (
									'with'
									, 14)
									, (
									','
									, 15)
									, (
									'woman'
									, 16)
									, (
									'are'
									, 17)
									, (
									'to'
									, 18)
									, ...]

								

Theo từ điển nàyVSBET, câu đầu vào gốc được chuyển đổi thành:

								
									
										[
									6VSBET, 61, 33, 10, 56, 20, 4, 26, 34, 5]

（3） Kết nối token đặc biệt 。

Trước câu đầu vàobóng đá wap, thêm <bos></bos> (có chỉ mục là 2 trong từ điển)bóng đá wap, đánh dấu bắt đầu của chuỗi; thêm <eos></eos> (ở vị trí tra cứu từ điển thứ 3)VSBET, đánh dấu sự kết thúc của chuỗi. Sau khi thực hiện thay đổi, chuỗi đầu vào chuyển đổi thành một dãy số có độ dài 12:

								
									
										[
									2VSBET, 6, 61, 33, 10, 56, 20, 4, 26, 34, 5, 3]

Điều đó có nghĩa làbóng đá wap, tại vị trí (A) trong sơ đồ mô-đun Transformer mà bạn đã đề cập trước đó, chúng ta sẽ nhận được chuỗi số này. Tuyệt vời hơn nữa, mỗi số trong chuỗi không chỉ đơn thuần là một giá trị rời lẻ, mà nó còn mang ý nghĩa đặc biệt trong ngữ cảnh của bài toán mà mô hình đang giải quyết, giúp truyền tải thông tin một cách hiệu quả đến các bước tiếp theo trong quá trình xử lý.

Input Embedding

Mặc dù trước đó đã chuyển đổi chuỗi ký tự thành dãy sốbóng đá wap, trong học máy, dữ liệu thường được biểu diễn dưới dạng vector đa chiều. Transformer mặc định sử dụng biểu diễn nội bộ có kích thước 512. Do đó, chuỗi số có độ dài 12 sau khi đi qua module Input Embedding sẽ được chuyển đổi thành 12 vector, mỗi vector có kích thước 512. Kết quả trông sẽ giống như ví dụ dưới đây: [vector_1_dim_1, vector_1_dim_2, ..., vector_1_dim_512] [vector_2_dim_1, vector_2_dim_2, ..., vector_2_dim_512] ... [vector_12_dim_1, vector_12_dim_2, ..., vector_12_dim_512] Điều này giúp mô hình hiểu ngữ nghĩa của từng từ không chỉ dựa trên giá trị số thuần túy mà còn dựa trên các mối quan hệ phức tạp giữa các từ với nhau trong ngữ cảnh.

								
									
										[
									
	[
									-1
									.7241e-01kết quả bóng đá việt nam hôm nay,  4.1798e-01,-3
									.8916e-01,  ..., -8
									.0279e-01],
	[
									8.9571e-03VSBET,  6.5723e-01,-3
									.1734e-01,  ..., -5
									.2142e-01],
	[
									3.4392e-01bóng đá wap,  2.8687e-01,  4.4915e-01,  ...,-5
									.1037e-01],
	...,
	[
									-1
									.6729e-01, -2
									.8000e-01VSBET,  1.3078e-01,  ...,-4
									.3512e-01]
]
									

								

Dữ liệu trên đây bao gồm tổng cộng 12 hàng và 512 cột. Điều này có nghĩa là mỗi hàng đại diện cho một vector 512 chiềukết quả bóng đá việt nam hôm nay, tương ứng với một token trong chuỗi đầu vào. Mỗi hàng như vậy đóng vai trò là một biểu diễn số học của token, giúp mô hình hiểu ngữ nghĩa và vị trí tương đối của từng phần tử trong chuỗi.

Trong sơ đồ mô-đun Transformer ở phía trướcbóng đá wap, tại vị trí (B), chúng ta nhận được 12 token được biểu diễn dưới dạng vector 512 chiều này. Những vector này đóng vai trò là đại diện cho các đơn vị ý nghĩa nhỏ hơn trong chuỗi dữ liệu, cho phép mô hình hiểu rõ hơn về ngữ cảnh và mối quan hệ giữa các phần tử khác nhau. Chính sự kết hợp của những vector này sẽ tạo nên cấu trúc ngữ nghĩa phức tạp mà mô hình Transformer cần để xử lý thông tin một cách hiệu quả.

Encoder

Khi nhìn chung về mô hình Transformerbóng đá wap, Encoder có nhiệm vụ biến đổi chuỗi đầu vào (thường là ngôn ngữ tự nhiên) thành một biểu diễn nội bộ "tối ưu" nhất; trong khi Decoder sẽ biến đổi biểu diễn nội bộ này thành chuỗi mục tiêu cuối cùng mà ta mong muốn (cũng thường là ngôn ngữ tự nhiên). Hiện tại, hãy cùng tìm hiểu Encoder trước, thực tế nó được cấu thành từ nhiều lớp mạng khác nhau. Mỗi lớp trong Encoder không chỉ đơn thuần là một khối xử lý thông tin mà còn tích hợp nhiều kỹ thuật tinh vi như Self-Attention, giúp các phần tử trong chuỗi giao tiếp với nhau, từ đó tạo ra một đại diện toàn diện hơn cho từng vị trí trong chuỗi. Điều này làm cho Encoder trở nên linh hoạt và hiệu quả trong việc nắm bắt mối liên hệ giữa các từ hoặc các yếu tố khác nhau trong dữ liệu đầu vào.

Khi chuỗi đầu vào đi qua Encoderbóng đá wap, nó sẽ trải qua nhiều lớ Mỗi lần đi qua một lớp, tương đương với việc mỗi token trong chuỗi đầu vào được biến đổi thành một vectơ mới (thực hiện qua một quá trình phi tuyến tính), từ đó dần tiến gần hơn đến biểu diễn nội bộ "tối ưu" mà mô hình đang hướng tới. Tuy nhiên, điều quan trọng là mỗi phép biến đổi này không làm thay đổi số lượng chiều của vectơ. Do đó, như đã thấy trong sơ đồ mô-đun Transformer ở phần (C), (D) và (E), các vectơ thu được vẫn giữ nguyên kích thước 12 vectơ với mỗi vectơ có 512 chiều.

Mỗi lớp Encoder thực sự làm gì? Yếu tố then chốt ở đây là Chú ý tự thân (self-attention) . Đây cũng là một trong những yếu tố then chốt khiến Transformer thành công.

Tại sao chúng ta cần đến sự chú ý tự thân (self-attention)? Jakob UszkoreitVSBET, một trong những tác giả của mô hình Transformer, đã từng đưa ra một ví dụ rất điển hình trong một bài viết blog của ông [3]:

(1) The animal didn’t cross the street because it was too tired .

(Con vật đó không qua đường vì nó quá mệt.)

(2) The animal didn’t cross the street because it was too wide .

(Con vật đó không qua đường vì đường quá rộng.)

Hai câu này chỉ khác nhau một từ (từ cuối cùng khác nhau)bóng đá wap, nhưng điều này ảnh hưởng đến it Nội dung tham chiếu cụ thể. Trong câu (1)bóng đá wap, it Tham chiếu animal kết quả bóng đá việt nam hôm nay, trong khi trong câu (2), it Tham chiếu street 。

Từ ví dụ nàykết quả bóng đá việt nam hôm nay, chúng ta có thể nhận ra vài hiện tượng nhỏ:

• Các token khác nhau tạo nên câu có mối quan hệ với nhau.
• Mức độ gắn kết trong mối quan hệ này không đồng đều giữa các token khác nhau. Nói cách khácVSBET, đối với một token cụ thể nào đó, mối liên hệ của nó với một số token trong câu sẽ chặt chẽ hơn so với những token khác. Chẳng hạn như ví dụ trước đây đã đề cập, token "anh" và "yêu" có sự kết nối mạnh mẽ hơn so với token "trời" khi được đặt trong cùng một câu. Điều này cho thấy rằng mỗi token đóng vai trò riêng biệt và tác động đến nhau theo các mức độ khác nhau. it Với danh từ mà nó tham chiếu ( animal hoặc street ) có mối quan hệ chặt chẽ hơn rất nhiều so với it Với các token khác trong câu.
• Độ chặt chẽ của mối quan hệ này bị ảnh hưởng bởi ngữ cảnh. Ví dụVSBET, trong câu (1) trước đó, it Có mối quan hệ chặt chẽ hơn với animal kết quả bóng đá việt nam hôm nay, trong khi trong câu (2) trước đó, it Thì có mối quan hệ chặt chẽ hơn với street Giá trị trung bình có trọng số của tất cả các vector token

Vậy thìVSBET, cơ chế tự chú ý của Transformer giải thích các hiện tượng này như thế nào? Qua những gì chúng ta đã thảo luận trước đó, có thể thấy rằng trong cấu trúc của mô hình, mỗi token đều được biểu diễn bằng một vector đa chiều. Giá trị của vector xác định vị trí của token trong không gian nhiều chiều và cũng phản ánh ý nghĩa thực sự mà nó đại diện. Những hiện tượng này có thể được tóm tắt thành: Ý nghĩa thực sự của một token không chỉ phụ thuộc vào chính nó mà còn bị ảnh hưởng bởi thông tin ngữ cảnh từ các token khác trong câu. Nhờ có vector, chúng ta có thể mô tả các hiện tượng này dưới dạng mối quan hệ số học: nghĩa là vector của một token cần "hấp thụ" thông tin từ các token khác trong ngữ cảnh của câu. Trong ngôn ngữ toán học, điều này có thể được biểu đạt như sau: \[ \mathbf{h}_i = \text{F}( \mathbf{W}_Q \mathbf{v}_i, \{\mathbf{W}_K \mathbf{v}_j | j \neq i\}, \{\mathbf{W}_V \mathbf{v}_j | j \neq i\}) \] Trong đó, \(\mathbf{h}_i\) là vector kết quả sau khi token thứ \(i\) đã tích hợp thông tin từ các token khác (\(\mathbf{v}_j\)). Các ma trận trọng số \(\mathbf{W}_Q\), \(\mathbf{W}_K\), và \(\mathbf{W}_V\) được sử dụng để biến đổi vector ban đầu thành các không gian riêng biệt cho việc tính toán chú ý. Cụ thể hơn, quá trình này cho phép mỗi token "thấy" mức độ liên quan của nó với từng token khác trong câu thông qua phép nhân ma trận và softmax, từ đó tạo ra một trọng số chú ý (\( \alpha_{ij} \)) cho mỗi cặp token. Điều này có nghĩa là token thứ \(i\) sẽ chọn thông tin từ các token khác dựa trên mức độ phù hợp, tạo nên một vector tổng hợp mới mang ý nghĩa sâu sắc hơn. Nói cách khác, Transformer sử dụng cơ chế tự chú ý để cho phép mỗi token không chỉ dựa vào bản thân mình mà còn tận dụng toàn bộ ngữ cảnh xung quanh để cải thiện khả năng hiểu ngữ nghĩa. Đây là lý do tại sao mô hình này đạt được hiệu quả cao trong nhiều tác vụ phức tạp như dịch ngôn ngữ, nhận diện giọng nói hay viết văn tự động. . Những giá trị trọng số này có thể được gọi là Trọng số chú ý (attention weights) Một ví dụ chú ý tự thân về mối quan hệ đồng tham chiếu 。

Trong blog của Jakob Uszkoreit [3]bóng đá wap, có một biểu đồ trực quan hóa trọng số chú ý giữa các token. Biểu đồ này giúp người đọc dễ dàng hình dung cách các token tương tác với nhau trong quá trình xử lý ngôn ngữ. Qua đó, chúng ta có thể thấy rõ sự phân bổ trọng số chú ý và mối liên kết giữa các phần tử khác nhau trong mô hình.

Trọng số chú ý giữa token này và các token khác. Độ đậm nhạt màu xanh lam thể hiện mức độ lớn tương đối của trọng số. it Bây giờkết quả bóng đá việt nam hôm nay, kết hợp với phần mở đầu của chương này

Nhận thấy (attend to) Biểu đồ mô đun Transformer Chúng ta hãy tóm tắt về cơ chế tự chú ý (self-attention). Trong EncoderVSBET, mỗi khi một token đi qua một lớp Encoder Layer, nó sẽ "tham khảo" tất cả các token từ lớp trước đó và dựa trên trọng số chú ý khác nhau của chúng, quyết định "mang theo" bao nhiêu thông tin từ những token này. Để nói ngắn gọn, có thể diễn đạt quá trình này như sau: một token sẽ... ...tự động điều chỉnh mức độ ảnh hưởng từ các token khác bằng cách tính toán trọng số chú ý, từ đó tạo ra một biểu diễn kết hợp chứa đầy đủ thông tin từ toàn bộ các token liên quan. Điều này giúp cho việc xử lý dữ liệu phức tạp trở nên linh hoạt hơn, vì mỗi token không chỉ tập trung vào chính nó mà còn "học hỏi" từ toàn bộ ngữ cảnh xung quanh nó. Như vậy, cơ chế tự chú ý không chỉ đơn thuần là sao chép thông tin từ các token khác, mà còn là một quá trình lựa chọn và cân bằng thông tin một cách chiến lược để tối ưu hóa hiệu quả xử lý. Điều này đặc biệt hữu ích trong các tác vụ yêu cầu sự hiểu biết ngữ cảnh sâu sắc, chẳng hạn như dịch ngôn ngữ hoặc nhận diện hình ảnh. Tất cả các token khác. Decoder và các phần khác

Chúng ta hãy xem lại

. Phần dưới biểu đồ mô tả quá trình "tạo". Trong chương trướcVSBET, chúng ta đã thảo luận về Biểu đồ mô đun Transformer Quá trình tạokết quả bóng đá việt nam hôm nay, ở đây chúng ta cố gắng mô tả thêm chi tiết. Tự hồi quy Đầu tiên,

Module giống như trước đóbóng đá wap, Output Embedding Cũng chuyển token thành vector. Nhưng cần lưu ý rằngVSBET, Inpput Embedding bóng đá wap, là token đầu vào đầu tiên. Output Embedding Token mà module đầu vào nhận được thực chất xuất phát từ token cuối cùng được tạo ra. Tuy nhiênVSBET, khi mô hình chưa tạo ra bất kỳ token nào, điều gì sẽ được đưa vào đây? Câu trả lời là: một token đặc biệt dùng để đánh dấu trạng thái bắt đầu của chuỗi, thường được gọi là... <bos></bos> Ngay khi có token đầu vàobóng đá wap, toàn bộ quá trình tạo có thể bắt đầu. Phần

ở góc dưới bên phải biểu thị chỉ mục của token tương ứng trong từ điển tiếng Đức. Generator Mỗi khi tạo ra một token mớikết quả bóng đá việt nam hôm nay, bạn sẽ sử dụng token đó như là đầu vào tiếp theo và tiếp tục quá trình sinh token dựa trên điều kiện này. Trong sơ đồ mô hình Transformer, phần dưới của biểu đồ thể hiện một khoảnh khắc trong quá trình sinh token: dựa trên chuỗi đã được tạo trước đó "một cô gái nhỏ", hệ thống đang chuẩn bị tạo ra token tiếp theo: "nhìn". Các số trong biểu đồ... (Trong đoạn này, tôi đã thay đổi cấu trúc câu và bổ sung thêm một chút ngữ cảnh để làm cho nó trở nên phong phú hơn mà vẫn giữ nguyên ý nghĩa ban đầu.) [2, 5, 69, 27] và [100] Chúng ta đã thảo luận về

Đầu vàobóng đá wap, bây giờ hãy xem đầu ra của nó. Giống như Output Embedding Đầu ra cũng là vector (512 chiều mặc định). Tức là đến vị trí (G) trong hình. Inpput Embedding Chú ý chéo (cross-attention)

Sau đókết quả bóng đá việt nam hôm nay, thông qua ba lớp Decoder Layer, mỗi lớp Decoder Layer sẽ chứa hai cơ chế tập trung chú ý:

• Một Chú ý tự thân (self-attention) ；
• Một Ở đây

Chú ý tự thân , dùng để mô tả Chuỗi được tạo ra (tiếng Đức); trong khi đầu vào chuỗi trong Encoder trước đó (tiếng Anh). Có một sự khác biệt quan trọng giữa hai điều này: Đối với Decoder ở đâybóng đá wap, , dùng để mô tả Chuỗi được tạo ra bóng đá wap, quá trình tạo cần tuân theo. Nói cách kháckết quả bóng đá việt nam hôm nay, khi tạo token tiếp theo, nó chỉ có thể , dùng để mô tả Từ token trước đó. Nhân quả. Trong Encoder, Tất cả các token khác. Trước đókết quả bóng đá việt nam hôm nay, các token đã được tạo ra; do đó, khi lớp Decoder xử lý chuỗi đã được tạo, mỗi token trong chuỗi cũng cần tuân theo cùng một logic như lúc chúng được tạo, nghĩa là nó chỉ có thể... Tất cả các token khác. Cho phép mỗi token trong chuỗi có thể

Tất cả các token (bao gồm cả trước và sau nó). , dùng để mô tả Trong Decoder, Tất cả các token khác. VSBET, để tuân theo mối quan hệ nhân quả, cần xây dựng ma trận che (mask matrix):

Ma trận che , dùng để mô tả Chú ý chéo

Trong ma trậnbóng đá wap, các vị trí có giá trị True cho thấy rằng trong chuỗi được tạo ra, mỗi token không thể "chú ý" (attend to) đến token tiếp theo của nó. Điều này đặt ra một hạn chế đặc biệt trong cách các token tương tác với nhau, làm thay đổi hoàn toàn cách thông tin được xử lý và truyền tải trong mô hình.

Mã hóa chuỗi đầu vàoVSBET, mỗi lần qua một lớp Encoder Layer, đều thực hiệnĐiểm khác biệt so với sự chú ý tự thân (self-attention) là: sự chú ý tự thân được sử dụng để biểu diễn trọng số chú ý giữa các token bên trong cùng một chuỗikết quả bóng đá việt nam hôm nay, trong khi sự chú ý chéo (cross-attention) lại tập trung vào việc biểu diễn trọng số chú ý giữa các token của hai chuỗi khác nhau. Trong phần giải mã (decoder),... Trong trường hợp của decoder, cơ chế này đóng vai trò quan trọng khi nó giúp mạng học cách kết nối thông tin từ chuỗi đầu vào (input sequence) với chuỗi đầu ra (output sequence). Điều này đặc biệt hữu ích trong các bài toán như dịch ngôn ngữ hoặc tóm tắt văn bản, nơi mà việc hiểu mối liên hệ giữa các phần tử của hai chuỗi riêng biệt là vô cùng cần thiết. Sự kết hợp giữa sự chú ý tự thân và sự chú ý chéo cho phép decoder tạo ra các dự đoán chính xác hơn và linh hoạt hơn.Mã hóa chuỗi đầu vàoVSBET, mỗi lần qua một lớp Encoder Layer, đều thực hiệnBạn có thể cho phép quá trình tạo ra token tiếp theo tham chiếu đến biểu diễn nội bộ của chuỗi đầu vào. Nói cách khácbóng đá wap, điều này bao gồm việc sử dụng giá trị vector tại vị trí (E) trong hình minh họa làm điểm tham chiếu.

Và một lần

• Quá trình. , dùng để mô tả Trong quá trình nàyVSBET, mỗi token sẽ "học" từ tất cả các token khác để thu thập thông tin. Sau khi đi qua tầng Encoder Layer cuối cùng, mỗi token sẽ có được một biểu diễn nội tại "tối ưu" nhất. Điều này giúp cho model hiểu rõ hơn về ngữ cảnh và mối liên hệ giữa các thành phần trong dữ liệu đầu vào, từ đó nâng cao khả năng phân tích và dự đoán của nó.
• Qua quá trình Decoding để tạo ra nội dungbóng đá wap, mỗi khi đi qua một lớp Decoder Layer, sẽ thực hiện một chuỗi các thao tác xử lý phức tạp nhằm nâng cao độ chính xác và phù hợp của dữ liệu đầu ra. Mỗi lớp Decoder không chỉ đơn thuần là một bước chuyển tiếp mà còn là nơi diễn ra sự kết nối giữa các yếu tố ngữ nghĩa trước đó và những thông tin mới được học từ lớp phía trước. Điều này giúp hệ thống hiểu sâu hơn về ngữ cảnh và cải thiện khả năng dự đoán hoặc tái tạo thông tin một cách hiệu quả. , dùng để mô tả Trong quá trình thực hiệnkết quả bóng đá việt nam hôm nay, mỗi token trong chuỗi được tạo chỉ "lấy" thông tin từ token trước đó.Mã hóa chuỗi đầu vàoVSBET, mỗi lần qua một lớp Encoder Layer, đều thực hiện Quá trình này có thể được minh họa sinh động bằng hình động sau (theo blog [3]):
  • Điều nàybóng đá wap, giá trị đọc được , dùng để mô tả Quá trình mã hóa + giải mã động của Transformer
  • Điều nàyVSBET, giá trị đọc đượcMã hóa chuỗi đầu vàokết quả bóng đá việt nam hôm nay, mỗi lần qua một lớp Encoder Layer, đều thực hiệnTrong quá trình thực thibóng đá wap, mỗi token trong chuỗi sinh ra sẽ "thu nhận" thông tin từ tất cả các token còn lại nằm trong biểu diễn nội bộ được tạo ra sau khi quá trình mã hóa kết thúc. Điều này giúp cho việc xử lý ngữ nghĩa trở nên sâu hơn và mang lại kết quả chính xác hơn.

Giải thích về hình động

Cơ chế này đã : Động ảnh này sử dụng một ví dụ để minh họa trực quan hai giai đoạn xử lý trong mô hình Transformer: đầu tiên là EncodingVSBET, sau đó là Decoding. Mỗi điểm tròn trong hình đại diện cho một vector, tức là biểu diễn nội bộ của một từ (token) ở một tầng cụ thể trong Encoder hoặc Decoder. Các đường cong chuyển động trong hình cho thấy cách các vector di chuyển và biến đổi theo từng bước, từ việc mã hóa thông tin ban đầu đến quá trình giải mã cuối cùng, giúp chúng ta dễ dàng hiểu được cách mà các thành phần khác nhau trong mô hình tương tác với nhau. Điều này không chỉ làm nổi bật sự phức tạp mà còn thể hiện tính hiệu quả của kiến trúc Transformer trong việc xử lý ngôn ngữ tự nhiên. , dùng để mô tả hoặc Mã hóa chuỗi đầu vàobóng đá wap, mỗi lần qua một lớp Encoder Layer, đều thực hiệnTrong hướng dẫn được cung cấpVSBET, dòng chảy thông tin giữa các token di chuyển theo một trật tự cụ thể. Ở phần đầu tiên của quá trình mã hóa (encoding), nó di chuyển từ trên xuống dưới qua ba lớp mã hóa (encoder layer). Trong khi đó, ở phần sau của quy trình giải mã (decoding), dòng chảy thông tin lại di chuyển ngược lại, từ dưới lên trên qua ba lớp giải mã (decoder layer). Điều này tạo nên một chuỗi xử lý chặt chẽ và có tổ chức, đảm bảo rằng cả hai giai đoạn đều hoạt động hiệu quả để đạt được kết quả mong muốn.

Tài liệu tham khảo:

Tất cả các mô tả ở trên trong bài viết này đều chủ yếu xoay quanh một Transformer đã được huấn luyện. Trong trường hợp của Transformer nàykết quả bóng đá việt nam hôm nay, các tham số trọng số chú ý đã được điều chỉnh phù hợp. Việc xác định giá trị chính xác cho những tham số trọng số chú ý này phụ thuộc vào quá trình huấn luyện củ Quá trình này đòi hỏi rất nhiều dữ liệu và thời gian để tối ưu hóa các tham số sao cho mô hình đạt hiệu quả cao nhất, từ đó giúp Transformer hiểu và xử lý thông tin một cách chính xác hơn.

Ngoài quy trình đào tạobóng đá wap, còn có một số chi tiết quan trọng khác mà do giới hạn về mặt không gian, bài viết này cũng không đề cập đến. Chẳng hạn như cơ chế chú ý đa đầu (Multi-Head Attention), mã hóa vị trí (Positional Encoding), và các tham số q, k, v được sử dụng để tính toán trọng số chú ý, v.v... Muốn làm rõ những vấn đề này, chúng ta cần bổ sung thêm nhiều thông tin khác nữa, và hy vọng trong tương lai sẽ có dịp thảo luận sâu hơn về chủ đề này.

Phát huy mạnh mẽ. Dựa trên điều nàybóng đá wap, OpenAI đã đưa ra

Chúng ta có thể nói một cách chung rằng sự phát triển của các mô hình ngôn ngữ lớn (LLM) đang tiếp tục tiến về phía trước dựa trên nền tảng công nghệ mà Transformer đã xây dựng nên. Đặc biệtkết quả bóng đá việt nam hôm nay, cấu trúc chỉ gồm bộ giải mã (Decoder-Only) đã trở thành nhánh kỹ thuật phát triển mạnh mẽ và thành công nhất trong lĩnh vực này. Trong quá trình phát triển của các công nghệ này, Chú ý [4]VSBET, và phát triển thành một thứ gì đó giống như niềm tin.

• Mechanism tập trung của Transformer có khả năng bắt giữ mối quan hệ phụ thuộc ở khoảng cách xa (long-distance) từ chuỗi đầu vào tốt hơn so với các thuật toán trước đây. Điều này cho phép mô hình học được các mẫu phức tạp hơn trong chuỗibóng đá wap, từ đó cải thiện đáng kể hiệu suất xử lý thông tin một cách toàn diện và sâu sắc.
• Cơ chế chú ý trong Transformer cho phép tính toán song song trong quá trình triển khai kỹ thuậtkết quả bóng đá việt nam hôm nay, loại bỏ sự phụ thuộc tuần tự vốn có trong công nghệ RNN truyền thống. Điều này giúp mô hình có thể được đào tạo trên các tập dữ liệu lớn hơn đáng kể, tận dụng hiệu quả sức mạnh của phần cứng hiện đại để tăng tốc độ học tập và cải thiện hiệu suất tổng thể.

Ngoài các yếu tố đã đề cậpbóng đá wap, kiến trúc dựa trên mô hình Decoder-Only đã góp phần thúc đẩy việc áp dụng rộng rãi phương pháp tự hồi quy (auto-regressive). Phương pháp này cho phép mô hình học từ một lượng lớn dữ liệu chuỗi chưa được đánh dấu, giúp nó không còn phụ thuộc hoàn toàn vào dữ liệu được đánh dấu thủ công trong các phương pháp học giám sát truyền thống. Điều này mở ra cánh cửa cho khả năng tự động hóa và tối ưu hóa quá trình huấn luyện, làm cho việc xây dựng mô hình trở nên linh hoạt và hiệu quả hơn rất nhiều.

Tất cả các yếu tố này kết hợp lạiVSBET, giúp các nhà nghiên cứu đưa lượng dữ liệu ở quy mô internet vào mô hình và có thể đạt được kết quả đào tạo trong thời gian giới hạn với tài nguyên tính toán hạn chế. Kết hợp với quá trình Decoding, LLM đã hoàn toàn thay đổi cách thức hoạt động của trí tuệ nhân tạo, biến nó thành một công cụ mạnh mẽ có khả năng hiểu và sinh ra ngôn ngữ tự nhiên theo cách gần như con người. Điều này mở ra cánh cửa cho hàng loạt ứng dụng mới, từ việc hỗ trợ viết văn bản đến việc xây dựng hệ thống chatbot thông minh hơn bao giờ hết. Predict Next Token [4]bóng đá wap, và phát triển thành một thứ gì đó giống như niềm tin. Scaling law [4]

Giữ cân bằng giữa kỹ thuật và kinh doanh

Phân tích chi tiết phân tán: Nhất quán nhân quả và không gian-thời gian tương đối

• [1] Ashish VaswaniVSBET, et al. 2017. Attention Is All You Need .
• [2] Jingfeng Yangbóng đá wap, et al. 2023. Harnessing the Power of LLMs in Practice: A Survey on ChatGPT and Beyond .
• [3] Jakob Uszkoreit. 2017. Transformer: A Novel Neural Network Architecture for Language Understanding .
• [4] Jared Kaplanbóng đá wap, et al. 2020. Scaling Laws for Neural Language Models .
• [5] Language Translation with nn.Transformer and torchtext .
• [6] Sebastian Raschka. 2024. Understanding and Coding Self-Attention, Multi-Head Attention, Cross-Attention, and Causal-Attention in LLMs .
• [7] Arjun Sarkar. 2022. All you need to know about ‘Attention’ and ‘Transformers’ — In-depth Understanding .
• [8] Jay Alammar. 2020. The Illustrated Transformer .
• [9] Austin HuangVSBET, et al. 2022. The Annotated Transformer .

Các bài viết được chọn lọc khác ：

• Chúng ta kỳ vọng gì về các mô hình lớn vào đầu năm 2024?
• Ba cấp độ của kiến thức
• Học máy có thể nhìn thấy: Hiểu sâu về mạng nơ-ron từ nền tảng
• Nội dung hóa, vấn đề Hamming và lặp lại nhận thức
• Giữ cân bằng giữa kỹ thuật và kinh doanh
• Bài báo quan trọng nhất trong lĩnh vực phân tán, rốt cuộc đã nói gì?
• Đọc thêm về hệ thống phân tán, vấn đề tướng quân Ba Tư và blockchain
• Cuộc phiêu lưu của ba byte