Chương 2: Mạng noron RBF

2.1 Lịch sử phát triển

Cuối thế kỉ 19 đầu thế kỉ 20, một số nghiên cứu về vật lý, tâm lý và hệ thần kinh của các nhà khoa học Herman, Ernst Mach và Ivan Ivalov đã đưa ra các lý thuyết về quá trình học, sự tưởng tượng, sự quyết định… của hệ thần kinh đã làm tiền đề cho việc nghiên cứu mạng nơron.

Năm 1943, Warren McCulioch và Walter Pitts đã nghiên cứu ba cơ sở lí thuyết: Triết học cơ bản và chức năng của các nơron thần kinh; phân tích về các mệnh đề logic của Russell và Whitehead; thuyết dự đoán của Turning. Cuối cùng họ đã đề xuất mô hình nơron nhân tạo mà mỗi nơron đặc trưng bởi hai trạng thái “tắt” và “bật”. Đây là điểm khởi đầu của lĩnh vực mạng nơron.

Năm 1949, Donald Hebb đã đưa ra một cơ chế giải thích cho quá trình học diễn ra trong các noron sinh học.

Năm 1950-1953, Claude Shannon và Alan Turning đã viết chương trình đánh cờ theo cách mà Von Newman sáng chế ra máy tính.

Năm 1958, McCarthy đã định nghĩa ngôn ngữ bậc cao Lisp, và nó trở thành ngôn ngữ lập trình cho các mạng trí tuệ nhân tạo nói chung.

Cuối thập niên 50 đầu thập niên 60, Frank Rosenblatt đã đưa ra mạng Perceptron có luật học dùng để nhận dạng mẫu. Rosenblatt chứng minh rằng thuật toán mà ông nghiên cứu có thể thêm vào những khả năng của nhận thức phù hợp với bất cứ dữ liệu đầu vào nào. Cùng lúc đó, Bernard Widrow và Ted Hoff giới thiệu một thuật toán học (learning algorithm) và sử dụng nó để huấn luyện (training) các mạng nơron tiếp hợp tuyến tính với phần tử nơron tuyến tính thích ứng Adaline (Adaptive Linear Element).

Năm 1969, Minskey và Papert là hai nhà toán học nổi tiếng đã chỉ ra những hạn chế của mạng Perceptron của Rosenblatt và mạng Widrow-Hoff làm nhiều người nghĩ rằng nghiên cứu về mạng noron sẽ đi vào ngõ cụt. Hơn nữa vào thời gian này chưa có những máy tính số mạnh để thực nghiệm mạng noron nên các nghiên cứu về mang noron bị trì hoãn gần một thập kỉ.

Năm 1972, Teuvo Kohonen và James Anderson độc lập phát triển các mạng nơron mới với khả năng nhớ (memory) và khả năng tự tổ chức (self-organizing).

Đầu những năm 80, những đóng góp to lớn cho mạng nơron ở giai đoạn này phải kể đến Grossberg, Kohonen, Rumelhart và Hopfield. Đóng góp chính của Hopfield là hai mô hình mạng phản hồi: Mạng rời rạc năm 1982 và mạng liên tục năm 1984. Đặc biệt, ông dự kiến nhiều khả năng tính toán lớn của mạng mà một nơron đơn không thể có được.

Từ năm 1990 đến nay, hàng loạt các lĩnh vực khác nhau đều đã nghiên cứu và đưa mạng nơron đi vào ứng dụng, đem lại nhiều kết quả đáng khích lệ.

2.2 Noron nhân tạo

2.2.1 Định nghĩa

Noron nhân tạo là sự mô phỏng đơn giản của neron sinh học. Mỗi noron nhân tạo thực hiện hai chức năng là chức năng tổng hợp đầu vào và chắc năng tạo đầu ra.

Mỗi noron nhân tạo có một số đầu vào và một đầu ra. Mỗi đầu vào được gắn một hệ số nhân gọi là trọng số (weigh) có ý nghĩa như mức độ liên kết tại khớp nối trong mạng noron. Trọng số có thể là dương hay âm.

Mỗi noron có một giá trị ngưỡng. Chức năng đầu vào chính là tổng các trọng số các tín hiệu vào kết hợp với ngưỡng để tạo ra tín hiệu đầu vào. Chức năng tạo đầu ra được thể hiện bằng hàm truyền đạt. Hàm này sẽ nhận tín hiệu đầu vào và tạo tín hiệu đầu ra của mạng noron.

2.2.2 Mô hình noron

2.2.2.1 Mô hình noron sinh học

Trước khi đi vào tìm hiểu mô hình mạng nơron nhân tạo, ta tìm hiểu mạng nơron sinh học trước vì một mạng nơron nhân tạo được học từ mạng nơron sinh học.

Bộ não người có mạng lưới gồm khoảng 1011 tế bào thần kinh (gọi là noron) liên kết phức tạp với nhau. Mỗi tế bào thần kinh gồm 3 thành phần chính:

Các nhánh và rễ: Là các bộ phận nhận thông tin. Khi các đầu vào có sự chênh lệch nồng độ ion thì xảy ra hiện tượng thẩm thấu từ ngoài vào trong qua một màng thấm đặc biệt. Tùy vào mức độ thẩm thấu, thông tin sẽ được đưa vào các lối vào khác nhau, ứng với các liên kết khác nhau. Mức độ thẩm thấu được gọi là trọng (weight).

Thân thần kinh (soma): Chứa nhân và cơ quan tổng hợp protein. Khi nồng độ ion đạt đến một giá trị nhất định thì sẽ xảy ra quá trình phát xung kích thích. Xung tín hiệu được đưa ra các dây thần kinh.

Dây thần kinh (axon): Đưa tín hiệu ra và truyền tới các nơron khác qua các khớp kết nối.

Khớp kết nối (synape): Là bộ phận tiếp xúc của các đầu ra nơron với rễ, nhánh của các nơron khác.

Hình 2.1: Mô hình noron sinh vật

2.2.2.2 Mô hình noron nhân tạo

Mạng nơron nhân tạo (Artificial Neural Network) là mô hình toán học được xây dựng dựa trên các mạng nơron sinh học. Nó gồm các nút (nơron nhân tạo) nối với nhau, xử lý thông tin bằng cách truyền theo các kết nối và tính các giá trị tại các nút.

Hình 2.1b: Mô hình noron nhân tạo

Trong đó:

uk là các đầu vào ngoài.

bk là trọng liên kết các đầu vào ngoài.

I là ngưỡng.

w là trọng liên kết các đầu vào trong.

y(t) là đầu ra nơron.

Một mạng nơron nhân tạo gồm ba phần chính đó là: Tổng các liên kết đầu vào v(t), động học tuyến tính x(t), phi tuyến không động học g(.).

Tổng các liên kết đầu vào.

v (t )=wy (t )+∑k=1

n

bk uk ( t )+ I 122EquationChapter2Section2222\*MERGEFORMAT (.)

Phần động học tuyến tính

Ta sử dụng toán tử Laplace để mô tả phần động học tuyến tính như một hàm truyền đạt:

X(s)=H(s)V(s) 323\*MERGEFORMAT(.)

Dưới đây là một số hàm H(s) thường dùng cho nơron nhân tạo:

Bảng 2.1. Một số hàm H(s) thường dùng cho nơron nhân tạo

H(s) 11s

11−sT e(−sT)

Quan hệ vào ra v(t)=x(t) v (t )=dx (t)

dtv (t )=T

dx (t )dt

+x (t) v(t-T)=x(t)

Phần phi tuyến

Đầu ra của các nơron sinh học là các xung và thường có giới hạn chặn vì thế nên trong mạng nơron nhân tạo, để ổn định đầu ra, ta dùng các hàm chặn ở lối ra cho các tín hiệu, thường ở dạng phi tuyến với hàm g(.). Như vậy đầu ra mạng nơron nhân tạo có thể được viết như sau:

424\*

MERGEFORMAT (.)

Một số hàm phi tuyến thường dùng như trình bày trong bảng 2.2.

2.2.3 Đặc điểm noron nhận tạo

Tính phi tuyến: Một nơron có thể tính toán một cách tuyến tính hay phi tuyến. Một mạng nơron, cấu thành bởi sự kết nối các nơron phi tuyến thì tự nó sẽ có tính phi tuyến. Hơn nữa, điều đặc biệt là tính phi tuyến này được phân tán trên toàn mạng. Tính phi tuyến là một thuộc tính rất quan trọng, nhất là khi các cơ chế vật lý sinh ra các tín hiệu đầu vào (ví dụ tín hiệu tiếng nói) vốn là phi tuyến

Tính chất tương ứng đầu vào-đầu ra: Mặc dù khái niệm “học” hay “huấn luyện” (training) chưa được bàn đến nhưng để hiểu được mối quan hệ đầu vào - đầu ra của mạng nơron, chúng ta sẽ đề cập sơ qua về khái niệm này. Một mô hình học phổ biến được gọi là học có giám sát liên quan đến việc thay đổi các trọng số liên kết đầu vào ngoài của mạng nơron bằng việc áp dụng một tập hợp các mẫu huấn luyện. Mỗi một mẫu bao gồm một tín hiệu đầu vào và một đầu ra mong muốn tương ứng. Mạng nơron nhận một mẫu lấy một cách ngẫu nhiên từ tập hợp nói trên tại đầu vào của nó, và các trọng số liên kết đầu vào ngoài (các tham số tự do) của mạng được biến đổi sao cho có thể cực tiểu hoá sự sai khác giữa đầu ra mong muốn và đầu ra thực sự của mạng theo một tiêu chuẩn thống kê thích hợp. Sự huấn luyện của mạng được lặp lại với nhiều mẫu trong tập hợp cho tới khi mạng đạt tới một trạng thái ổn định mà ở đó không có một sự thay đổi đáng kể nào của các trọng số liên kết đầu vào. Các mẫu huấn luyện được áp dụng trước có thể được áp dụng lại trong thời gian của phiên tích luỹ nhưng theo một thứ tự khác. Như vậy mạng nơron học từ các mẫu này bằng cách xây dựng nên một tương ứng đầu vào - đầu ra cho vấn đề cần giải quyết

Tính chất thích nghi: Các mạng nơron có một khả năng mặc định là biến đổi các trọng số liên kết đầu vào tuỳ theo sự thay đổi của môi trường xung quanh. Đặc biệt, một mạng nơron đã được tích luỹ để hoạt động trong một môi trường xác định có thể được huấn luyện lại một cách dễ dàng khi có những thay đổi nhỏ của các điều kiện môi trường hoạt động. Hơn nữa, khi hoạt động trong một môi trường không ổn định (các số liệu thống kê thay đổi theo thời gian), một mạng nơron có thể được thiết kế sao cho có khả năng thay đổi các trọng số liên kết đầu vào của nó theo thời gian thực. Kiến trúc tự nhiên của một mạng nơron cho việc phân loại mẫu, xử lý tín hiệu, và các ứng dụng điều khiển luôn đi đôi với khả năng thích nghi của mạng, tạo cho nó một phương tiện hữu hiệu trong việc phân loại mẫu thích nghi, xử lý tín hiệu thích nghi, và điều khiển thích nghi. Như một quy tắc chung, có thể nói rằng chúng ta tạo ra một hệ thống càng có khả năng thích nghi thì tính năng của nó sẽ càng mạnh khi hệ thống cần phải hoạt động trong một môi trường không ổn định. Tuy nhiên, cần nhấn mạnh rằng tính thích nghi không phải lúc nào cũng đem đến sức mạnh; nó có thể làm điều ngược lại. Ví dụ, một hệ thống thích nghi với những hằng số thời gian nhỏ có thể biến đổi rất nhanh và như vậy là có xu hướng phản ứng lại những sự nhiễu loạn giả tạo, và sẽ gây ra sự suy giảm mạnh về tính năng hệ thống. Để thể hiện đầy đủ lợi ích của tính thích nghi, các hằng số thời gian của hệ thống nên đủ lớn để hệ thống có thể bỏ qua được sự nhiễu loạn và cũng đủ nhỏ để phản ứng được với những thay đổi có ý nghĩa của môi trường.

Tính chất đưa ra lời giải có bằng chứng: Trong ngữ cảnh phân loại mẫu, một mạng nơron có thể được thiết kế để đưa ra thông tin không chỉ về mẫu được phân loại,

mà còn về sự tin cậy của quyết định đã được thực hiện. Thông tin này có thể được sử dụng để loại bỏ các mẫu mơ hồ hay nhập nhằng.

Tính chất chấp nhận sai sót: Một mạng nơron, được cài đặt dưới dạng phần cứng, vốn có khả năng chấp nhận lỗi, với ý nghĩa là tính năng của nó chỉ thoái hoá (chứ không đổ vỡ) khi có những điều kiện hoạt động bất lợi. Ví dụ, nếu một nơron hay các liên kết kết nối của nó bị hỏng, việc nhận dạng lại một mẫu được lưu trữ sẽ suy giảm về chất lượng. Tuy nhiên, do bản chất phân tán của thông tin lưu trữ trong mạng nơron, sự hỏng hóc cũng được trải ra trên toàn mạng. Như vậy, về cơ bản, trong trường hợp này một mạng nơron sẽ thể hiện một sự thoái hoá về tính năng hơn là sự đổ vỡ trầm trọng

Khả năng cài đặt VLSI (Very-large-scale-intergrated): Bản chất song song đồ sộ của một mạng nơron làm cho nó rất nhanh trong tính toán đối với một số công việc. Đặc tính này cũng tạo ra cho một mạng nơron khả năng phù hợp cho việc cài đặt sử dụng kỹ thuật VLSI. Kỹ thuật này cho phép xây dựng những mạch cứng tính toán song song quy mô lớn. Chính vì vậy mà ưu điểm nổi bật của VLSI là mang lại những phương tiện hữu hiệu để có thể xử lý được những hành vi có độ phức tạp cao.

Tính chất đồng dạng trong phân tích và thiết kế: Về cơ bản, các mạng nơron có tính chất chung như là các bộ xử lý thông tin. Chúng ta nêu ra điều này với cùng ý nghĩa cho tất cả các lĩnh vực có liên quan tới việc ứng dụng mạng nơron. Đặc tính này thể hiện ở một số điểm như sau:

o Các nơron, dưới dạng này hoặc dạng khác, biểu diễn một thành phần chung cho tất cả các mạng nơron

o Tính thống nhất này đem lại khả năng chia sẻ các lý thuyết và các thuật toán học trong nhiều ứng dụng khác nhau của mạng nơron.

o Các mạng tổ hợp (modular) có thể được xây dựng thông qua một sự tích hợp các mô hình khác nhau

2.3 Cấu trúc mạng noron

2.3.1 Cấu trúc chung

Trong bộ não con người, các tế bào thần kinh liên kết với nhau thông qua các khớp nối thần kinh tạo thành những mạng lưới với kiến trúc vô cùng phức tạp và đa dạng. Đối với các mạng nơron nhân tạo, chúng ta có ba lớp kiến trúc cơ bản sau:

Lớp đầu vào (input layer): Thực hiện tiếp nhận các tín hiệu vào.

Lớp ẩn (hidden layer): Nhận dữ liệu đầu vào ở các lớp trước đó, xử lý chúng và cho ra một kết quả duy nhất. Kết quả xử lý của một nơron có thể làm đầu vào cho các nơron khác. Một mạng nơron có thể có nhiều lớp ẩn.

Lớp ra (output layer): Thực hiện đưa tín hiệu ra.

Hình 2.2. Kiến trúc chung của mạng nơron

Trong đó: PE là Processing Element là một nơron, mỗi nơron nhận các dữ liệu vào, xử lý chúng và cho ra một kết quả duy nhất. Kết quả xử lý của một nơron có thể làm đầu vào cho các nơron khác.

2.3.2 Phân loại

Dựa vào các phương thức truyền tín hiệu, ta có thể chia mạng nơron thành các loại như sau:

Mạng truyền thẳng : Trong mạng này tín hiệu đầu vào được truyền thẳng qua các lớp để tới đầu ra.

Mạng phản hồi : Trên hướng đi tới đầu ra, tín hiệu được đưa hồi tiếp trở về đầu vào của nơron (hồi quy).

Mạng tự tổ chức : Cấu trúc mạng nơron thay đổi tùy theo sự thay đổi của môi trường xung quanh tác động lên mạng.

Hình 2.3. Cách phân loại điển hình mạng nơron nhân tạo

2.4 Mạng noron RBF