Phương pháp bình phương nhỏ nhất là một trong những ứng dụng quan trọng nhất trong việc tính gần đúng các hàm. Ý tưởng là tìm một đường cong sao cho, đưa ra một tập hợp các cặp theo thứ tự, hàm này xấp xỉ tốt hơn dữ liệu. Hàm có thể là đường thẳng, đường cong bậc hai, đường cong hình khối, v.v.. Show Ý tưởng của phương pháp là tối thiểu hóa tổng bình phương của sự khác biệt trong tọa độ (thành phần Y), giữa các điểm được tạo bởi hàm đã chọn và các điểm thuộc tập dữ liệu.  Chỉ số
Phương pháp bình phương tối thiểuTrước khi đưa ra phương pháp, trước tiên chúng ta phải rõ ràng về "cách tiếp cận tốt hơn" nghĩa là gì. Giả sử rằng chúng ta tìm kiếm một dòng y = b + mx đại diện tốt nhất cho một tập hợp n điểm, cụ thể là (x1, y1), (x2, y2) ..., (xn, yn). Như được hiển thị trong hình trước, nếu các biến x và y có liên quan bởi dòng y = b + mx, thì với x = x1, giá trị tương ứng của y sẽ là b + mx1. Tuy nhiên, giá trị này khác với giá trị thực của y, đó là y = y1. Nhớ lại rằng trong mặt phẳng, khoảng cách giữa hai điểm được cho theo công thức sau: Với suy nghĩ này, để xác định cách chọn dòng y = b + mx gần đúng nhất với dữ liệu đã cho, nên sử dụng lựa chọn dòng tối thiểu hóa tổng bình phương của khoảng cách giữa các điểm làm tiêu chí và thẳng. Vì khoảng cách giữa các điểm (x1, y1) và (x1, b + mx1) là y1- (b + mx1), nên vấn đề của chúng tôi được giảm xuống là tìm các số m và b sao cho tổng sau là tối thiểu: Dòng đáp ứng điều kiện này được gọi là "xấp xỉ đường bình phương nhỏ nhất với các điểm (x1, y1), (x2, y2), ..., (xn, yn)". Khi vấn đề được giải quyết, chúng ta chỉ cần chọn một phương pháp để tìm xấp xỉ bình phương nhỏ nhất. Nếu các điểm (x1, y1), (x2, y2), ..., (xn, yn) đều nằm trên dòng y = mx + b, chúng ta sẽ phải được cộng tuyến và: Trong biểu thức này: Cuối cùng, nếu các điểm không thẳng hàng, thì y-Au = 0 và vấn đề có thể được chuyển thành tìm một vectơ hoặc sao cho chỉ tiêu Euclide là tối thiểu. Tìm vectơ thu nhỏ không khó như bạn tưởng. Vì A là ma trận nx2 và u là ma trận 2 × 1, nên ta có vectơ Au là vectơ trong Rn và nó thuộc về hình ảnh của A, là không gian con của Rn với kích thước không lớn hơn hai. Chúng tôi sẽ giả sử rằng n = 3 để chỉ ra quy trình nào cần được tuân theo. Nếu n = 3, ảnh của A sẽ là mặt phẳng hoặc đường thẳng đi qua gốc tọa độ. Đặt v là vectơ thu nhỏ. Trong hình chúng ta quan sát thấy y-Au được thu nhỏ khi nó trực giao với ảnh của A. Nghĩa là, nếu v là vectơ thu nhỏ, thì điều đó xảy ra: Sau đó, chúng ta có thể diễn đạt những điều trên theo cách này: Điều này chỉ có thể xảy ra nếu: Cuối cùng, xóa v, chúng ta phải: Có thể làm điều này vì AtA không thể đảo ngược miễn là n điểm được cung cấp dưới dạng dữ liệu không được cộng tuyến. Bây giờ, nếu thay vì tìm kiếm một dòng, chúng tôi muốn tìm một parabol (biểu thức của nó sẽ có dạng y = a + bx + cx2) đó là một xấp xỉ tốt hơn với n điểm dữ liệu, quy trình sẽ được mô tả dưới đây. Nếu n điểm dữ liệu nằm trong parabola đã nói, thì nó sẽ phải: Sau đó: Theo cách tương tự chúng ta có thể viết y = Au. Nếu tất cả các điểm không nằm trong parabol, chúng ta có y-Au khác 0 đối với bất kỳ vectơ u nào và vấn đề của chúng ta lại là: tìm một vectơ u trong R3 sao cho định mức của nó | | y-Au | | càng nhỏ càng tốt. Bằng cách lặp lại quy trình trước đó, chúng ta có thể đến vectơ được tìm kiếm: Bài tập đã giải quyếtBài tập 1Tìm dòng phù hợp nhất với các điểm (1,4), (-2,5), (3, -1) và (4,1). Giải phápChúng tôi phải: Sau đó: Do đó, chúng tôi kết luận rằng dòng phù hợp nhất với các điểm được đưa ra bởi: Bài tập 2Giả sử rằng một vật thể được thả từ độ cao 200 m. Trong khi ngã, các biện pháp sau đây được thực hiện: Chúng ta biết rằng chiều cao của vật thể nói, sau khi đã qua một thời gian t, được đưa ra bởi: Nếu chúng ta muốn đạt được giá trị của g, chúng ta có thể tìm thấy một parabol gần đúng hơn với năm điểm được đưa ra trong bảng, và do đó chúng ta sẽ có hệ số đi kèm với t2 nó sẽ là một xấp xỉ hợp lý với (-1/2) g nếu các phép đo là chính xác. Chúng tôi phải: Và sau đó: Vì vậy, các điểm dữ liệu được điều chỉnh theo biểu thức bậc hai sau: Sau đó, bạn phải: Đây là một giá trị gần hợp lý với giá trị chính xác, g = 9,81 m / s2. Để có được xấp xỉ chính xác hơn g, cần phải bắt đầu từ những quan sát chính xác hơn. Nó dùng để làm gì??Trong các vấn đề xảy ra trong khoa học tự nhiên hoặc xã hội, thật thuận tiện để viết các mối quan hệ xảy ra giữa các biến khác nhau bằng một số biểu thức toán học. Ví dụ: chúng ta có thể liên quan đến chi phí (C), thu nhập (I) và lợi nhuận (U) trong kinh tế bằng một công thức đơn giản: Trong vật lý, chúng ta có thể liên quan đến gia tốc gây ra bởi trọng lực, thời gian một vật thể rơi xuống và chiều cao của vật thể theo luật: Trong biểu thức trước so là chiều cao ban đầu của vật thể đó và vo là tốc độ ban đầu của bạn. Tuy nhiên, tìm công thức như thế này không phải là một nhiệm vụ đơn giản; thông thường, tùy thuộc vào chuyên môn khi làm việc với nhiều dữ liệu và liên tục thực hiện một số thử nghiệm (để xác minh rằng kết quả thu được là không đổi) để tìm mối quan hệ giữa các dữ liệu khác nhau. Một cách phổ biến để đạt được điều này là biểu diễn dữ liệu thu được trong một mặt phẳng dưới dạng các điểm và tìm kiếm một hàm liên tục tiếp cận tối ưu các điểm này. Một trong những cách để tìm hàm "gần đúng nhất" dữ liệu đã cho là bằng phương pháp bình phương nhỏ nhất. Ngoài ra, như chúng ta đã thấy trong bài tập, nhờ phương pháp này, chúng ta có thể có được xấp xỉ khá gần với hằng số vật lý. Tài liệu tham khảo
Trong toán học, phương pháp bình phương tối thiểu ( Ordinary least square), còn gọi là bình phương nhỏ nhất hay bình phương trung bình tối thiểu, là một phương pháp tối ưu hóa để lựa chọn một đường khớp nhất cho một dải dữ liệu ứng với cực trị của tổng các sai số thống kê (error) giữa đường khớp và dữ liệu. Nội dung này giải thích tại sao tên của phương pháp là bình phương tối thiểu. Đôi khi thay vì tìm giá trị nhỏ nhất của tổng bình phương, người ta có thể tìm giá trị nhỏ nhất của bình phương trung bình: Điều này dẫn đến tên gọi bình phương trung bình tối thiểu. Giải quyếtSửa đổiBài toán thường có lời giải đáng tin cậy khi số lượng các tham số pj nhỏ hơn số lượng các dữ liệu (m < n). Trong trường hợp, f là hàm tuyến tính của các tham số pj, bài toán trở nên đơn giản hóa rất nhiều, rút gọn thành việc giải một hệ phương trình tuyến tính. Xem thêm bình phương tối thiểu tuyến tính. Nếu f không là hàm tuyến tính của các tham số, bài toán trở thành một bài toán tối ưu hóa tổng quát. Bài toán tổng quát này có thể dùng các phương pháp như phương pháp tối ưu hóa Newton hay phương pháp trượt dốc. Đặc biệt thuật toán Gauss-Newton hay thuật toán Levenberg-Marquardt là thích hợp nhất cho bài toán bình phương tối thiểu tổng quát này. Hồi quy tuyến tínhSửa đổiTrong hồi quy tuyến tính, người ta thay biểu thức: f(xi) ≈ yibằng f(xi) = yi + εivới hệ số nhiễu ε là biến ngẫu nhiên có giá trị kỳ vọng bằng 0. Trong biểu thức của hồi quy tuyến tính x được đo chính xác, chỉ có y chịu nhiễu loạn ε. Thêm nữa, hàm f tuyến tính với các tham số pj. Nếu f không tuyến tính với các tham số thì có hồi quy phi tuyến, một bài toán phức tạp hơn nhiều hồi quy tuyến tính. Xem thêmSửa đổi
Tham khảoSửa đổi
Liên kết ngoàiSửa đổi
|
