Nói chuyện sơ lược về DSPy và kỹ thuật tự động hóa gợi ý (phần đầu)

2024-11-30

Chóe giữa khe đákeo banh, lửa giữa viên sỏi, thân người trong giấc mộng.

Cuối tuần không cuống cuồngVSBET, tranh thủ nghỉ ngơi giữa lúc bận rộn, viết chút kiến thức kỹ thuật. 。

Cách giao tiếp hiệu quả với mô hình lớn là một nghệ thuật.

dùng khoa học phá vỡ phép màu

Vì bài viết này khá dàikeo banh, tôi dự định sẽ chia nó thành khoảng 2 đến 3 phần để tiện theo dõi. Trong phần đầu tiên này, chúng ta sẽ cùng tìm hiểu một số khái niệm cơ bản trong APE và DSPy, đồng thời minh họa cách DSPy hoạt động qua ví dụ thực tế về một chương trình cụ thể. Điều này sẽ giúp bạn có cái nhìn trực quan hơn về công cụ này. Ở các phần tiếp theo, tôi sẽ đi sâu phân tích sự khác biệt giữa DSPy và APE, những bài học quý giá từ tư duy kỹ thuật mà chúng mang lại, cũng như thảo luận về một số vấn đề tiềm ẩn mà chúng ta có thể gặp phải khi sử dụng chúng.

Hai loại câu hỏi gợi ý chính

Với mỗi vai trò khác nhaukeo banh, khái niệm "prompt" (câu gợi ý) có thể mang những ý nghĩa riêng biệt. Để thuận tiện cho việc thảo luận, chúng ta có thể chia prompt thành hai nhóm chính sau đây: Thứ nhất là **prompt định hướng**, thường được sử dụng khi người dùng cần một hướng đi cụ thể hoặc một ý tưởng rõ ràng để bắt đầu một dự án sáng tạo nào đó. Ví dụ như trong thiết kế đồ họa, một nhà thiết kế có thể sử dụng prompt này để tạo ra hình ảnh theo phong cách đặc trưng mà khách hàng yêu cầu. Thứ hai là **prompt tự do**, thường phù hợp hơn với những ai muốn thử nghiệm và khám phá các ý tưởng mới mẻ mà không bị bó buộc bởi cấu trúc cụ thể. Đối với các nhà văn hay nhà thơ, prompt tự do có thể mở ra cánh cửa sáng tạo để họ phát triển câu chuyện hoặc bài thơ một cách tự nhiên và phóng khoáng.

• Câu hỏi gợi ý cho cuộc trò chuyện thông thường 。
• Câu hỏi gợi ý cho phát triển hệ thống 。

Các gợi ý trò chuyện thông thường là dành cho những người dùng phổ thông. Khi một người sử dụng sản phẩm mô hình lớn thông qua hình thức trò chuyệnVSBET, họ cần phải dùng ngôn ngữ rõ ràng để diễn đạt vấn đề của mình thì mới có thể nhận được câu trả lời như mong muốn. Ví dụ, nếu bạn muốn mô hình lớn giúp viết một bài văn cho học sinh trung học cơ sở, lúc này bạn cần phải trình bày đầy đủ và rõ ràng các thông tin liên quan đến bài văn, ý nghĩa mà bạn muốn truyền tải, phong cách hành văn, thậm chí là bối cảnh cụ thể mà bạn muốn mô tả cũng như tất cả các yêu cầu khác về việc viết lách. Ngoài ra, việc cung cấp thêm ngữ cảnh sẽ làm tăng khả năng mô hình hiểu đúng yêu cầu của bạn. Hãy tưởng tượng rằng bạn đang giải thích cho một người bạn thân về bài tập đó, từ đó bạn có thể xây dựng một bức tranh toàn diện hơn trong đầu trước khi đưa ra yêu cầu cho mô hình lớn. Điều này không chỉ giúp tiết kiệm thời gian mà còn nâng cao chất lượng kết quả nhận được.

Nói cách kháckeo banh, câu hỏi gợi ý cho cuộc trò chuyện thông thường do người dùng tự viết, chỉ cần mô tả rõ nhu cầu hiện tại của nhiệm vụ cụ thể là được.

Việc phát triển các gợi ý hệ thống lại mang một ý nghĩa kháckết quả bóng đá việt nam hôm nay, nó nhắm đến các nhà phát triển ứng dụng AI (hay còn gọi là kỹ sư phần mềm). Trong quá trình viết mã và xây dựng hệ thống AI, các kỹ sư cần tách nhỏ nhiệm vụ của người dùng thành nhiều bước nhỏ hơn. Ở mỗi bước này, họ thường phải tương tác với mô hình lớn, từ đó dẫn đến công việc soạn thảo các gợi ý. Chẳng hạn, phân loại ý định của câu hỏi người dùng, trích xuất thực thể, mở rộng từ khóa tìm kiếm, tất cả đều là những tình huống phổ biến trong quá trình phát triển ứng dụng AI. Một số trường hợp cụ thể có thể kể đến như khi bạn cần xác định xem người dùng đang hỏi về sản phẩm nào, hay họ đang tìm kiếm thông tin về dịch vụ gì. Điều này đòi hỏi kỹ sư phải thiết kế các gợi ý thông minh để hướng dẫn mô hình đưa ra kết quả chính xác nhất. Không chỉ vậy, việc tối ưu hóa các gợi ý cũng giúp tăng hiệu suất làm việc và cải thiện trải nghiệm của người dùng cuối cùng. Chính vì thế, khả năng tạo ra các gợi ý phù hợp đóng vai trò quan trọng trong việc phát triển bất kỳ ứng dụng AI nào.

Rõ ràngkết quả bóng đá việt nam hôm nay, các gợi ý từ ngữ dành cho phát triển hệ thống khác biệt rất lớn so với các gợi ý trò chuyện thông thường. Những gợi ý này được viết bởi các kỹ sư phần mềm và cần phải tính đến mọi khả năng nhập liệu mà người dùng có thể đưa ra trong một tình huống cụ thể. Do đó, việc thiết kế các gợi ý dành cho hệ thống đòi hỏi sự sắp xếp logic và bài bản hơn, cần phải xem xét đầy đủ các trường hợp ngoại lệ, và phải đảm bảo độ chính xác ổn định. Vai trò của chúng cũng quan trọng không kém gì mã nguồn lập trình.

Tiếp theokết quả bóng đá việt nam hôm nay, chúng ta sẽ thảo luận về APE, rõ ràng là nó nhắm đến loại thứ hai trong hai loại câu hỏi gợi ý này - câu hỏi gợi ý cho phát triển hệ thống.

Các khái niệm cơ bản trong APE và DSPy

Trước khi phân tích các chương trình DSPy cụ thểkeo banh, chúng ta hãy làm rõ một số khái niệm cơ bản về APE và DSPy.

Vậy APE là gì? Nói một cách đơn giảnkết quả bóng đá việt nam hôm nay, đó là sử dụng LLM để tự động giúp chúng ta tạo ra câu hỏi gợi ý.

Vấn đề đặt ra là làm sao chúng ta có thể biết được những gợi ý do LLM (Language Model) tạo ra có tốt không? Nó có đáp ứng được yêu cầu của chúng ta hay không? Do đókết quả bóng đá việt nam hôm nay, để sử dụng APE (Automatic Prompt Engineering), chúng ta cần phải xác định rõ một tiêu chí hoặc mục tiêu cụ thể. Chẳng hạn, khi đánh giá chất lượng gợi ý từ LLM, chúng ta cần xem xét nhiều yếu tố như độ chính xác thông tin, tính phù hợp với ngữ cảnh, và khả năng tạo ra kết quả mong muốn. Một tiêu chuẩn rõ ràng sẽ giúp chúng ta dễ dàng hơn trong việc so sánh và cải thiện hiệu suất của model. Không chỉ vậy, điều này còn giúp chúng ta tối ưu hóa cách thức tương tác giữa người dùng và hệ thống, từ đó mang lại trải nghiệm tốt hơn cho người sử dụng. metric Dựa trên chỉ số nàykết quả bóng đá việt nam hôm nay, chúng ta có thể tự động đánh giá hiệu suất của các câu gợi ý hiện tại đã tạo ra đến mức nào. Tất nhiên, việc xác định chỉ số không phải là một nhiệm vụ đơn giản, chúng ta sẽ vấn đề này sau.

Với việc hiện tại đã có metrickeo banh, câu hỏi đặt ra là nó sẽ được đánh giá trên tập dữ liệu nào? Để làm rõ điều này, chúng ta cần cung cấp thêm một tập dữ liệu tham chiếu hoặc mẫu kiểm tra cụ thể. Điều này giúp đảm bảo rằng metric không chỉ là một khái niệm lý thuyết mà thực sự phản ánh chính xác hiệu suất của mô hình trong các tình huống thực tế. Chẳng hạn, chúng ta có thể sử dụng một tập dữ liệu tiêu chuẩn từ lĩnh vực liên quan để so sánh kết quả và đưa ra nhận định khách quan hơn. Tập dữ liệu đã được đánh dấu (labelled dataset) Tất nhiênVSBET, trong thực tế sử dụng, tập dữ liệu này sẽ được chia thành tập huấn luyện, tập kiểm tra và tập xác minh.

APE là một quá trình lặp đi lặp lại không ngừng. Mỗi khi tạo ra phiên bản mới của promptkeo banh, nó sẽ dựa trên metric để đánh giá trên tập dữ liệu và thu được một điểm số (score). Miễn là phiên bản prompt mới đạt được điểm số cao hơn so với phiên bản cũ, quy trình này có thể tiếp tục lặp lại, giúp cải thiện dần dần và cho ra đời các prompt tốt hơn. Hơn nữa, trong quá trình lặp lại này, mỗi phiên bản mới đều mang những thay đổi tinh tế nhưng quan trọng, từ đó giúp tối ưu hóa hiệu suất và đáp ứng nhu cầu phức tạp hơn của người dùng. Điều này cũng cho thấy khả năng thích nghi mạnh mẽ của APE, sẵn sàng điều chỉnh và học hỏi từ mọi lần thử nghiệm, biến nó thành một công cụ đáng tin cậy trong việc tối ưu hóa các mô hình AI.

bước chân trái chạm bước chân phải Câu hỏi gợi ý ban đầu (initial prompt) kết quả bóng đá việt nam hôm nay, làm điểm khởi đầu cho việc tối ưu hóa và lặp lại.

Ngoài rakeo banh, vì trong APE, câu hỏi gợi ý được tạo ra bởi LLM, do đó chúng ta cũng cần mộtCâu hỏi gợi ý được sử dụng để tạo ra câu hỏi gợi ý mớikết quả bóng đá việt nam hôm nay, được gọi là meta-prompt Meta-prompt là một khái niệm rất quan trọ

DSPy là một khung công tác nguồn mởkeo banh, chứa đựng hầu hết các thành phần của dự án APE. Tuy nhiên, DSPy không chỉ đơn thuần là APE; sự khác biệt giữa hai công cụ này sẽ được thảo luận chi tiết hơn sau khi chúng ta phân tích quá trình thực thi của DSPy, và sẽ được đề cập rõ ràng trong những phần tiếp theo của bài viết. Trong khi APE tập trung vào một số khía cạnh cụ thể, DSPy mang đến một tầm nhìn rộng hơn với các tính năng đa dạng, giúp người dùng dễ dàng tùy chỉnh và mở rộng theo nhu cầu cá nhân. Điều này làm cho DSPy trở nên linh hoạt và phù hợp với nhiều loại dự án khác nhau, từ các ứng dụng đơn giản đến các hệ thống phức tạp cần xử lý hàng loạt tác vụ. Với sự phát triển liên tục của cộng đồng mã nguồn mở, DSPy không ngừng được cải tiến để đáp ứng các yêu cầu mới trong thời đại hiện tại, biến nó thành một lựa chọn đáng cân nhắc cho bất kỳ ai đang tìm kiếm một nền tảng mạnh mẽ và bền vững.

Trước khi đi sâu vào phân tích cụ thể về DSPykeo banh, hãy cùng điểm qua một số khái niệm cốt lõi mà DSPy đã tóm lược lại. Những khái niệm này không chỉ giúp chúng ta hiểu rõ hơn về cách thức hoạt động của nó mà còn phản ánh sự sáng tạo trong việc xây dựng framework này.

• Module Đơn vị cơ bản của một chương trình DSPy là Module. Một Module có các định nghĩa rõ ràng về đầu vào và đầu rakeo banh, và nó sử dụng LLM để xử lý từ đầu vào đến đầu ra. Bản thân một chương trình DSPy cũng chính là một Module, và bên trong nó có thể chứa nhiều Module con hơn; Bộ tối ưu hóa của DSPy có thể đưa nhiều Module thuộc cùng một chương trình DSPy vào để tối ưu hóa và lặp lại. Thực chất, quá trình tối ưu hóa này thường đề cập đến việc tối ưu hóa câu hỏi gợi ý, tức là những gì đã được đề cập trước đó như APE.
• Signature Một Module được mô tả qua đầu vào và đầu ra của nókết quả bóng đá việt nam hôm nay, giống như cách một hàm được ký hiệu trong lập trình. Signature (ký hiệu) là một khái niệm đặc trưng trong DSPy mà chúng ta sẽ giải thích kỹ hơn khi phân tích chi tiết bên dưới.
• Metric Chúng ta đã từng đề cập đến metric trong DSPyVSBET, ở đây metric được khái quát hóa dưới dạng một hàm (function). Hàm này có khả năng tính toán một điểm số (score) dựa trên kết quả đầu ra của một chương trình DSPy và câu trả lời mong đợi đã được đánh dấu trước đó. Cách thức tính toán điểm số có thể đa dạng, tuỳ thuộc vào yêu cầu cụ thể và mục tiêu của bài toán. Có thể sử dụng các phương pháp khác nhau như so sánh trực tiếp, tính khoảng cách, hoặc áp dụng thuật toán phức tạp hơn để đưa ra kết quả chính xác nhất.
• Evaluate : Tính toán Metric trên từng tập dữ liệu cụ thể sau đó tổng hợp để tính toán điểm đánh giá tổng thể.
• Optimizer : Tối ưu hóa. Trong DSPykết quả bóng đá việt nam hôm nay, việc tối ưu hóa cụ thể được thực hiện bởi Teleprompter Trong suốt quá trình vận hànhkết quả bóng đá việt nam hôm nay, Teleprompter đóng vai trò là nền tảng điều khiển cho toàn bộ chương trình DSPy, đảm bảo quá trình tối ưu hóa lặp lại diễn ra hiệu quả. Tại mỗi vòng lặp, Teleprompter sẽ tham chiếu thông tin từ nhiều nguồn khác nhau (bao gồm cả nội dung của chính chương trình, tập dữ liệu, prompt phiên bản cũ cùng với điểm đánh giá tương ứng), sau đó triển khai các chiến lược tối ưu hóa để tạo ra những prompt mới cho từng Module cấu thành nên DSPy. Với khả năng phân tích và tổng hợp linh hoạt, Teleprompter không chỉ giúp cải thiện chất lượng đầu ra mà còn góp phần tăng cường hiệu suất làm việc của toàn hệ thống một cách đáng kể.

Phân tích ví dụ chạy DSPy

Trong phần nàyVSBET, chúng ta sẽ phân tích quá trình hoạt động của một chương trình DSPy cụ thể. Chương trình này được lấy từ tài liệu chính thức của DSPy: https://dspy.ai/tutorials/rag/ Bạn có thể thấy cách một chương trình RAG điển hình được tối ưu hóa bằng cách sử dụ Chúng tôi sẽ lấy chương trình RAG này làm ví dụ và phân tích từng bước hoạt động chính cũng như nguyên lý đằng sau nókết quả bóng đá việt nam hôm nay, từ đó hiểu rõ hơn về cách thức vận hành.

Mã khung chương trình như sau:

								
									# Phần 1: Khởi tạo LLMlm
									 =
									 dspy
									.
									LM
									(
									'openai/gpt-4o-mini'
									)
									
dspy
									.
									configure
									(
									lm
									=
									lm
									)
									

# Phần 2: Khởi tạo tập dữ liệuwith
									 open
									(
									'ragqa_arena_tech_500.json'
									)
									 as
									 f
									:
									
    data
									 =
									 ujson
									.
									load
									(
									f
									)
									

data
									 =
									 [
									dspy
									.
									Example
									(
									**
									d
									).
									with_inputs
									(
									'question'
									)
									 for
									 d
									 in
									 data
									]
									
random
									.
									shuffle
									(
									data
									)
									
trainset
									,
									 valset
									,
									 devset
									,
									 testset
									 =
									 data
									[:
									50
									],
									 data
									[
									50
									:
									150
									],
									 data
									[
									150
									:
									300
									],
									 data
									[
									300
									:
									500
									]
									

# Phần 3: Khởi tạo Metric và Evaluatemetric
									 =
									 SemanticF1
									()
									
evaluate
									 =
									 dspy
									.
									Evaluate
									(
									devset
									=
									testset
									,
									 metric
									=
									metric
									,
									 num_threads
									=
									8
									,
									
                         display_progress
									=
									True
									,
									 display_table
									=
									2
									)
									

Tải dữ liệu từ nguồn được chỉ định vào hệ thống để chuẩn bị cho quá trình tìm kiếm. Tham số: data_source: Đường dẫn hoặc nguồn dữ liệu cần tải. Kết quả: Trả về danh sách các tài liệu đã được xử lý sẵn sàng cho việc tìm kiếm.class
									 RAG
									(
									dspy
									.
									Module
									):
									
    def
									 __init__
									(
									self
									,
									 num_docs
									=
									5
									):
									
        self
									.
									num_docs
									 =
									 num_docs
									
        self
									.
									respond
									 =
									 dspy
									.
									ChainOfThought
									(
									'contextVSBET, question -> response')
									

    def
									 forward
									(
									self
									,
									 question
									):
									
        context
									 =
									 search
									(
									question
									,
									 k
									=
									self
									.
									num_docs
									)
									
        return
									 self
									.
									respond
									(
									context
									=
									context
									,
									 question
									=
									question
									)
									

rag
									 =
									 RAG
									()
									
score_before_optimization
									 =
									 evaluate
									(
									rag
									)
									

Bước này sẽ tập trung vào việc khởi tạo Teleprompter và hoàn thành quá trình biên dịch/tối ưu hóa. Điều quan trọng cần lưu ý là **dspy.MIPROv2** thực chất chỉ là một phần nhỏkeo banh, hay nói cách khác, là một tập hợp con (subset) củ Với vai trò là một thành phần cốt lõi trong hệ thống, dspy.MIPROv2 đóng góp không nhỏ trong việc đảm bảo tính chính xác và hiệu quả cho toàn bộ hoạt động của chương trình. Sau khi hoàn tất các bước thiết lập, bạn có thể tiếp tục với công đoạn tối ưu hóa để đạt được hiệu suất tốt nhất từ Chúng ta hãy cùng khám phá thêm về cách Teleprompter hoạt động sâu hơn và làm thế nào dspy.MIPROv2 đóng vai trò như một công cụ hỗ trợ đắc lực trong việc xử lý nội dung. Quá trình này bao gồm việc kiểm tra kỹ lưỡng từng dòng mã, điều chỉnh cấu hình phù hợp, và đảm bảo rằng mọi thao tác đều diễn ra suôn sẻ trước khi đưa hệ thống vào vận hành chính thức.tp
									 =
									 dspy
									.
									MIPROv2
									(
									
    metric
									=
									metric
									,
									
    auto
									=
									"light"
									,
									
    num_threads
									=
									8
									
    )
									 
optimized_rag
									 =
									 tp
									.
									compile
									(
									rag
									,
									 trainset
									=
									trainset
									,
									 valset
									=
									valset
									,
									
                           max_bootstrapped_demos
									=
									2
									,
									 max_labeled_demos
									=
									2
									,
									
                           requires_permission_to_run
									=
									False
									)
									
score_after_optimization
									 =
									 evaluate
									(
									optimized_rag
									)
									

								

Giải thích khung chương trình RAG

Khung chương trình RAG trên đâykeo banh, nhìn chung, gồm năm phần chính.

Phần thứ nhấtkeo banh, khởi tạo LLMTrong một chương trình DSPy (hoặc một chương trình APE điển hình)keo banh, có ba khu vực chính thường sử dụng LLM: 1. **Xử lý dữ liệu ban đầu**: Đây là giai đoạn đầu tiên trong đó LLM được sử dụng để phân tích và chuẩn bị dữ liệu thô trước khi đưa vào hệ thống. Quá trình này bao gồm việc loại bỏ nhiễu, tách biệt các yếu tố quan trọng và tạo ra các đại diện số học cho dữ liệu. 2. **Xây dựng logic chính**: Ở giai đoạn này, LLM đóng vai trò như một công cụ trung tâm để tạo ra logic điều khiển chính của chương trình. Nó giúp xác định các quy tắc xử lý, lập kế hoạch hành động và tối ưu hóa hiệu suất tổng thể của hệ thống. 3. **Đánh giá và phản hồi**: Cuối cùng, LLM được sử dụng để giám sát và đánh giá kết quả sau khi chương trình đã thực hiện xong nhiệm vụ. Nó giúp nhận diện các vấn đề tiềm ẩn, cung cấp phản hồi tức thời và tự động điều chỉnh các thông số nếu cần thiết. Ba giai đoạn này hợp tác chặt chẽ với nhau để đảm bảo rằng chương trình hoạt động ổn định và hiệu quả cao nhất.

• Bạn có thể tối ưu hóa chương trình bằng cách cải thiện mô-đun ngôn ngữ lớn (LLM) mà nó đang sử dụng. Mô-đun chính sẽ gọi đến LLMkeo banh, và tất nhiên, mỗi tiểu mô-đun con bên trong mô-đun cũng sẽ thực hiện việc gọi đến LLM để xử lý các tác vụ riêng lẻ của mình. Điều này giúp tăng cường hiệu quả hoạt động tổng thể cho toàn bộ hệ thống.
• (2) Công cụ LLM được sử dụng để đánh giá. Nói cách kháckết quả bóng đá việt nam hôm nay, đó là mô hình ngôn ngữ lớn (LLM) được sử dụng khi tính toán các chỉ số Metric hoặc được gọi bởi thư việ Đây thường là bước quan trọng trong quá trình nghiên cứu và phát triển hệ thống AI, nơi mà lựa chọn đúng mô hình có thể ảnh hưởng lớn đến kết quả cuối cùng.
• (3) LLM được sử dụng bởi bộ tối ưu hóa. Hay nói cách khácVSBET, đó là LLM được Teleprompter gọi.

Ba vị trí này có thể được chỉ định riêng biệt trong chương trình DSPy. Theo ví dụ mã code trênkết quả bóng đá việt nam hôm nay, chúng ta chỉ thấy việc khởi tạo một phiên bản LLM duy nhất, điều này cho thấy rằng tất cả ba vị trí đều sử dụng cùng một phiên bản LLM này. Tuy nhiên, trong thực tế, tùy thuộc vào nhu cầu của ứng dụng, bạn hoàn toàn có thể cấu hình các LLM khác nhau cho từng vị trí cụ thể. Điều này giúp tối ưu hóa hiệu suất và tăng cường khả năng xử lý đa dạng của hệ thống. Hãy tưởng tượng mỗi LLM như một chuyên gia trong lĩnh vực riêng của mình, và việc chọn đúng chuyên gia cho từng nhiệm vụ sẽ mang lại kết quả tốt hơn đáng kể.

Về các loại mô hình LLM được hỗ trợ bởi DSPykết quả bóng đá việt nam hôm nay, hầu hết các mô hình phổ biến trên thị trường đều có thể tương thích, bao gồm API của các công ty như OpenAI, Anthropic, Databricks, cũng như các mô hình LLM được triển khai riêng tư trong tổ chức. Bên cạnh đó, DSPy cũng hỗ trợ API của các mô hình OpenAI được cung cấp thông qua nền tảng Microsoft Azure, mang đến nhiều lựa chọn linh hoạt cho người dùng trong việc tích hợp và sử dụng các công cụ trí tuệ nhân tạo hiện đại này.

Phần thứ haikết quả bóng đá việt nam hôm nay, khởi tạo tập dữ liệu Bạn có thể quan sát rằng mã nguồn ở trên đã tải xuống một bộ dữ liệu từ tệp ragqa_arena_tech_500.json và chia bộ dữ liệu này thành bốn phần chính:

• Trong tập dữ liệu huấn luyện: trainsetkeo banh, có tất cả 50 ví dụ. Tối ưu hóa của DSPy sẽ trực tiếp học từ tập này, lấy thông tin và cải thiện khả năng dự đoán dựa trên các ví dụ đã cho trước đó.
• Tập kiểm chứng: valsetVSBET, bao gồm 100 ví dụ. Bộ tối ưu của DSPy sử dụng tập kiểm chứng này để theo dõi tiến độ học tập. Nói chung, trainset và valset là hai tham số đầu vào quan trọng đối với bộ tối ưu Teleprompter của DSPy, giúp hệ thống tự điều chỉnh và cải thiện hiệu suất một cách thông minh. Hơn nữa, việc sử dụng tập kiểm chứng không chỉ đơn thuần là để đánh giá kết quả mà còn đóng vai trò như một công cụ phản hồi liên tục cho quá trình đào tạo. Điều này giúp đảm bảo rằng model không chỉ học tốt từ dữ liệu huấn luyện (trainset) mà còn có khả năng áp dụng linh hoạt trên các trường hợp mới, chưa từng gặp trước đó. Nhờ đó, DSPy có thể đạt được mức độ chính xác cao hơn trong việc dự đoán hoặc xử lý dữ liệu thực tế.
• Tập dữ liệu kiểm tra: testsetkết quả bóng đá việt nam hôm nay, bao gồm 200 ví dụ. Tập này được sử dụng để đánh giá toàn diện hiệu suất của chương trình cuối cùng trước khi bàn giao. Ngoài ra, nó còn giúp phát hiện sớm các điểm cần cải thiện trong quá trình vận hành thực tế.
• Tập phát triển: devsetkeo banh, bao gồm 150 ví dụ. Được sử dụng trong quá trình điều chỉnh hàng ngày để xem và phân tích dữ liệu. Nếu nguồn tài nguyên tập dữ liệu bị giới hạn, tập phát triển này có thể tái sử dụng một phần dữ liệu từ tập huấn luyện. Tuy nhiên, ít nhất ba tập đầu tiên là bắt buộc.

Quá trình tối ưu hóa của chương trình DSPy cho thấy sự tương đồng nhất định với quy trình huấn luyện mô hìnhkeo banh, đặc biệt trong việc sử dụng bộ dữ liệu. Tuy nhiên, khác biệt lớn nằm ở yêu cầu về kích thước bộ dữ liệu giữa hai phương pháp này. Đối với việc huấn luyện mô hình học sâu, thông thường kích thước của tập huấn luyện cần lớn hơn tập kiểm chứng. Ngược lại, bộ tối ưu hóa prompt của DSPy lại đặt ra yêu cầu ngược lại. Theo tài liệu chính thức của DSPy, khi phân chia dữ liệu thành tập huấn luyện và tập kiểm chứng, tỷ lệ đề xuất là 20% cho tập huấn luyện và 80% cho tập kiểm chứng [2]. Điều này cho phép hệ thống có thể đánh giá hiệu suất một cách toàn diện hơn, từ đó điều chỉnh các tham số để đạt được kết quả tốt nhất.

Đối với quy mô cụ thể của tập dữ liệuVSBET, tài liệu chính thức của DSPy cũng đưa ra một số khuyến nghị cụ thể [3]:

• Tập huấn luyện và tập xác minh nên có khoảng 30-300 ví dụ.
• Tập kiểm tra và tập phát triển nên có khoảng 30-1000 ví dụ.

Để có cái nhìn trực quan hơn về tập dữ liệukết quả bóng đá việt nam hôm nay, chúng tôi đã chọn mẫu một số ví dụ từ phần devset để kiểm tra, cụ thể như sau:

Có thể nhận thấy rằngkết quả bóng đá việt nam hôm nay, mỗi example đều có hai trường thông tin. Một trong số đó là question (câu hỏi), sẽ được dùng làm dữ liệu đầu vào cho chương trình; trường còn lại là response (phản hồi), biểu thị đáp án mong muốn, giống như nhãn đã được gán sẵn.

Phần thứ bakết quả bóng đá việt nam hôm nay, khởi tạo Metric và EvaluateNhư đã đề cập trước đókeo banh, việc xác định metric không phải là một nhiệm vụ đơn giản. Khung làm việc DSPy cung cấp cho chúng ta một số metric phổ biến để giúp quá trình này trở nên dễ dàng hơn. Với sự hỗ trợ từ các metric có sẵn trong DSPy, bạn sẽ có thêm công cụ để tối ưu hóa và đánh giá hiệu suất của mô hình một cách chính xác và hiệu quả.

Trong mã code ở trênkeo banh, chúng ta đã sử dụng SemanticF1. Đây là một chỉ số đánh giá đo lường hiệu suất từ góc độ ngữ nghĩa, cụ thể là trung bình điều hòa giữa tỷ lệ (_recall) và tỷ lệ chính xác (_precision). Tỷ lệ cho biết bao nhiêu phần trăm các đối tượng đích đã được phát hiện thành công, trong khi đó, tỷ lệ chính xác phản ánh mức độ tin cậy của kết quả dự đoán. Với cách tính toán này, SemanticF1 mang lại cái nhìn toàn diện hơn về hiệu quả thực tế của mô hình trong việc giải quyết vấn đề liên quan đến ngữ nghĩa.

Lưu ý rằng công thức tính F1 ở đây được áp dụng cho một example riêng lẻ. Để kiểm chứng trực quanVSBET, chúng ta hãy tính F1 score giữa một example và chính nó (theo lý thuyết giá trị sẽ là 1), cụ thể như sau:

OKVSBET, điểm này rất gần với 1.

Đối với đầu vào trên devset[6] Trong trường hợp nàykết quả bóng đá việt nam hôm nay, chúng ta có thể sử dụng chương trình RAG đã thiết lập trước đó để dự đoán kết quả (được ký hiệu là "pred"). Sau đó, chúng ta sẽ tính toán điểm số F1 giữa câu trả lời được đánh dấu và kết quả dự đoán. Cụ thể như sau:

Kết quả khoảng 0,53.

Tóm tắt lạiVSBET, metric trên đây tính toán điểm F1 giữa câu trả lời mong đợi và dự đoán từ chương trình cho từng ví dụ riêng lẻ. Trong khi đó, hàm Evaluate được sử dụng để tính điểm F1 cho từng ví dụ trong tập kiểm tra, sau đó tổng hợp kết quả cuối cùng bằng cách tính giá trị trung bình để đánh giá hiệu suất tổng thể. Điều đáng chú ý là trong mã nguồn đã cho, việc khởi tạo hàm Evaluate sử dụng tập dữ liệu testset, điều này phù hợp với cách chúng ta đã đề cập trước đó về việc sử dụng tập dữ liệu. Điều này đảm bảo tính nhất quán và chính xác trong quá trình đánh giá.

LLM được sử dụng trong đánh giá

DSPy cũng đã định nghĩa sẵn một loạt metric phổ biếnkết quả bóng đá việt nam hôm nay, chẳng hạn như:

								
									
										from
									 dspy.evaluate.metrics
									 import
									 answer_exact_match
									
from
									 dspy.evaluate.metrics
									 import
									 answer_passage_match
									
from
									 dspy.evaluate
									 import
									 SemanticF1
									
from
									 dspy.evaluate
									 import
									 AnswerCorrectness
									
from
									 dspy.evaluate
									 import
									 AnswerFaithfulness
									

								

Bạn có thể đoán ý nghĩa của từng metric thông qua tên của nó. Tuy nhiênVSBET, nhìn chung, hiện tại DSPy chưa thực sự tối ưu trong việc đóng gói phần này. Khả năng tương thích giữa các metric và các Teleprompter bên trong DSPy cũng không được tốt lắm. Trong thực tế, rất có thể bạn sẽ cần phải tự triển khai Metric của riêng mình, vì vậy hãy đặc biệt chú ý đến vấn đề này.

Phần thứ tưVSBET, khởi tạo module RAG Mã trên định nghĩa một module có tên là RAG Bạn có thể phát triển thêm một module mới dựa trên nội dung gốcVSBET, đây chính là chương trình RAG mà chúng ta dự định sẽ tối ưu hóa và cải tiến theo từng phiên bản. Module RAG này bao gồm một sub-module nhỏ bên trong, được đặt tên là respond kết quả bóng đá việt nam hôm nay, nó sử dụng cách tiếp cận CoT để gọi LLM và nhậ

Module của DSPy được lấy cảm hứng từ khái niệm nn.Module trong PyTorchVSBET, giúp abstract các đối tượng một cách hiệu quả. Khi khởi tạo, bạn có thể gán giá trị trực tiếp vào thuộc tính để khởi tạo cá Đặc biệt hơn, một instance của Module có thể được sử dụng như một hàm, cho phép gọi trực tiếp và xử lý đầu vào một cách linh hoạt. Điều này không chỉ làm cho mã nguồn trở nên gọn gàng mà còn tăng cường khả năng tùy chỉnh và tái sử dụng mã.

Phần thứ nămVSBET, khởi tạo Teleprompter và hoàn thành biên dịch/tối ưu hóa 。

Phần này đóng vai trò then chốt trong lõi của DSPy. DSPy cung cấp nhiều trình tối ưu hóa khác nhauVSBET, trong đó MIPROv2 là một trong những cái tên quan trọng nhất. Thuật toán cụ thể của MIPROv2 được mô tả chi tiết trong bài báo [4]. Việc triển khai của nó bao gồm ba bước thực thi lớn: Trước tiên, quá trình bắt đầu với việc chuẩn bị và phân tích dữ liệu đầu vào, nơi mà hệ thống xác định các thông số cần thiết và xác định cấu hình tối ưu cho từng trường hợp. Tiếp theo, bước thứ hai tập trung vào việc chạy thuật toán chính, nơi các phép tính phức tạp và giải thuật tối ưu được áp dụng để đạt được hiệu quả cao nhất. Cuối cùng, bước thứ ba kiểm tra kết quả, tối ưu hóa thêm nếu cần thiết và đưa ra đầu ra cuối cùng cho người dùng. Những bước này đảm bảo rằng MIPROv2 hoạt động một cách hiệu quả và ổn định trong mọi tình huống.

• Bước 1: Sử dụng phương pháp Bootstrap để tạo ra hoặc chọn ra tập hợp các ứng viên cho ví dụ few-shot. Có thể áp dụng một số chiến lược sáng tạo để tăng cường độ đa dạng của tập ứng viênVSBET, chẳng hạn như điều chỉnh tham số hoặc kết hợp các mẫu dữ liệu khác nhau để đảm bảo chất lượng và tính đại diện cao nhất cho tập hợp này.
• Bước 2: Tạo ra tập hợp ứng viê
• Bước 3: Từ tập hợp các ứng cử viênkeo banh, chọn ra cặp few-shot và instruction phù hợp nhất. Trong quá trình này, bạn có thể đánh giá kỹ lưỡng từng tùy chọn để đảm bảo lựa chọn tối ưu nhất, dựa trên nhu cầu và mục tiêu cụ thể của mình.

Thực hiện chi tiết của các bước này tương đối phức tạpkết quả bóng đá việt nam hôm nay, chúng tôi sẽ giới thiệu trong bài viết tiếp theo.

Lưu ý ở đây là mã này khi gọi tp.compile thì truyền vào hai tập dữ liệukeo banh, một là trainset, còn lại là valset. Ở đây đã sử dụng compile từkeo banh, thực chất quá trình "biên dịch" này có nhiều điểm tương đồng với quá trình huấn luyện mô hình.

Tiếp theo

Đối với đoạn mã trênkeo banh, người đọc cẩn thận có thể sẽ đặt ra một câu hỏi khác: Tại sao không thấy bất kỳ dấu hiệu nào của việc gọ Hơn nữa, meta-prompt quan trọng mà chúng ta đã đề cập trước đó cũng không xuất hiện trong mã. Điều này thực chất liên quan đến cách thiết kế cơ chế Signature của DSPy. Cụ thể hơn, trong hệ thống này, các prompt và meta-prompt thường được cấu hình từ bên ngoài, được truyền vào dưới dạng tham số hoặc thông qua các tệp cấu hình riêng biệt. Điều này giúp tăng tính linh hoạt và tái sử dụng trong quá trình xây dựng ứng dụng, đồng thời giảm thiểu sự phức tạp trong mã nguồn chính. Nhờ đó, lập trình viên có thể dễ dàng điều chỉnh các prompt mà không cần sửa đổi trực tiếp mã code, tạo ra một hệ thống dễ bảo trì và mở rộng hơn. Vì vậy, nếu bạn đang tìm kiếm đoạn mã cụ thể chứa các prompt, hãy kiểm tra kỹ các phần nhập liệu hoặc cấu hình của chương trình thay vì chỉ tập trung vào nội dung của đoạn mã chính.

Do giới hạn về mặt bằngVSBET, bài viết này tạm dừng tại đây. Trong bài viết tiếp theo, chúng ta sẽ tiếp tục thảo luận hai vấn đề còn lại:

• Quá trình từ Signature đến Prompt.
• Thực hiện cụ thể của MIPROv2 (ba bước).

Giữ cân bằng giữa kỹ thuật và kinh doanh

Phân tích chi tiết phân tán: Nhất quán nhân quả và không gian-thời gian tương đối

• [1] DSPy: The framework for programming—not prompting—foundation models .
• [2] Optimization in DSPy .
• [3] Tutorial: Retrieval-Augmented Generation (RAG) .
• [4] Krista Opsahl-OngVSBET, Michael J Ryan, Josh Purtell, David Broman, Christopher Potts, Matei Zaharia, Omar Khattab. 2024. Optimizing Instructions and Demonstrations for Multi-Stage Language Model Programs .

Các bài viết được chọn lọc khác ：

• Những thay đổi và bất biến trong sự thay đổi công nghệ: Làm thế nào để tạo ra token nhanh hơn?
• Kiến thức phổ thông: Giải mã nguyên lý xác suất đằng sau LLM
• Nhìn thế giới qua góc nhìn thống kê: Bắt đầu từ việc không tìm thấy thứ gì đó
• Xem xét lại thông tin qua GraphRAG
• Thể trí doanh nghiệp, số hóa và phân công ngành nghề trong lĩnh vực
• Cuộc phiêu lưu của ba byte
• Bài báo quan trọng nhất trong lĩnh vực phân tán, rốt cuộc đã nói gì?
• Nội dung hóa, vấn đề Hamming và lặp lại nhận thức
• Đọc thêm về hệ thống phân tán, vấn đề tướng quân Ba Tư và blockchain