Wikipedia

Oleksiy Hryhorovych Ivakhnenko

Oleksiy Hryhorovych Ivakhnenko (tiếng Ukraina: Олексíй Григо́рович Іва́хненко </link> ; sinh ngày 30 tháng 3 năm 1913 – mất ngày 16 tháng 10 năm 2007) là một nhà toán học, nhà khoa học máy tính Liên Xô và Ukraine. Ông là tác giả của "phương pháp nhóm trong xử lý dữ liệu (Group Method of Data Handling)" - là một phương pháp học thống kê quy nạp mà đôi khi được ông gọi là "Cha đẻ của học sâu".[1]

Oleksiy Hryhorovych Ivakhnenko
SinhOleksiy Hryhorovych Ivakhnenko
(1913-03-30)30 tháng 3, 1913
Kobelyaky, Poltava, Đế quốc Nga
Mất16 tháng 10, 2007(2007-10-16) (94 tuổi)
Kyiv, Ukraine
Quốc tịchUkraine
Trường lớpViện Kỹ thuật điện Leningrad (M.Sc)
Nổi tiếng vìPhương pháp nhóm trong xử lý dữ liệu,
Deep learning,
Mô hình hóa quy nạp
Giải thưởngNhà Khoa học danh dự của Liên bang Xô viết
Hai Giải thưởng Nhà nước
Sự nghiệp khoa học
NgànhTrí tuệ nhân tạo,
Machine learning,
Khoa học máy tính
Nơi công tácViện Điều khiển học Glushkov [uk],
Viện Kỹ thuật Điện Saint Petersburg,
Viện Bách khoa Kyiv (D.Sc)
Luận ánLý thuyết về Hệ thống kết hợp cho Điều khiển tự động các động cơ điện (1954)
Các sinh viên nổi tiếngV. M. Kuntsevich, V. I. Kostiuk
V. I. Ivanenko, V. I. Vasylyev
O. A. Pavlov

Thời thơ ấu

sửa

Oleksiy được sinh ra tại Kobeliaky, tỉnh Poltava trong một gia đình nhà giáo.[2] Ông tốt nghiệp trường Cao đẳng Kỹ thuật Điện ở Kyiv năm 1932 và theo nghề kỹ sư tham gia xây dựng một nhà máy điện quy mô lớn ở Berezniki trong hai năm. Vào năm 1938, sau khi tốt nghiệp Học viện Kỹ thuật Điện Leningrad, Ivakhnenko đến công tác tại Viện Kỹ thuật Điện toàn Liên bang ở Moskva trong giai đoạn Đệ nhị thế chiến. Tại đây ông tiến hành nghiên cứu các bài toán tự động hóa tại cơ sở thí nghiệm do nhà khoa học Liên Xô Sergey Lebedev đứng đầu.

Sau khi trở về Kyiv vào năm 1944, ông tiếp tục công việc của mình trong một số viện nghiên cứu tại Ukraine. Trong cùng năm, ông nhận bằng Tiến sĩ, đến năm 1954 thì nhận bằng Tiến sĩ Khoa học. Năm 1964, ông được bổ nhiệm làm Trưởng khoa Hệ thống điều khiển kết hợp tại Viện Điều khiển học và đồng thời tham gia giảng dạy. Từ năm 1961, ông đảm nhận vai trò Giáo sư Điều khiển Tự động và Điều khiển học Kỹ thuật tại Viện Bách khoa Kyiv.

Các nghiên cứu

sửa

Ivakhnenko còn được biết đến với vai trò cha đẻ của phương pháp mô hình hóa quy nạp, một cách tiếp cận được dùng cho kỹ thuật nhận dạng mẫu và hệ thống dự báo phức hợp.[3] Ông đã theo đuổi cách tiếp cận này trong quá trình phát triển phương pháp nhóm trong xử lý dữ liệu (group method of data handling - GMDH) trong một nhóm gồm các nhà toán học và kỹ sư do ông dẫn dắt tại Viện Điền khiển học. Năm 1968, tạp chí "Avtomatika" đã xuất bản bài báo "Group Method of Data Handling – a rival of the method of stochastic approximation" (Tạm dịch: Phương pháp nhóm trong xử lý dữ liệu - đối thủ của phương pháp xấp xỉ ngẫu nhiên),[4] đánh dấu sự khởi đầu một giai đoạn mới trong sự nghiệp của ông.

Phương pháp nhóm trong xử lý dữ liệu

sửa

Phương pháp này là một cách tiếp cận độc đáo để giải các bài toán trí tuệ nhân tạo và thậm chí đôi khi được xem như một triết lý mới trong nghiên cứu khoa học, điều đã trở nên khả thi kể từ sự ra đời của máy tính hiện đại.[5] Một nhà nghiên cứu có thể không cần phải tuân thủ chính xác quy trình suy diễn truyền thống trong việc xây dựng các mô hình "từ lý thuyết tổng quát – đến một mô hình cụ thể" theo đúng quy trình: từ quan sát một đối tượng đến nghiên cứu cấu trúc, tìm hiểu nguyên lý hoạt động, từ đó đề xuất lý thuyết và thử nghiệm mô hình. Thay vào đó, cách tiếp cận mới dựa trên phương pháp quy nạp được đề xuất "từ dữ liệu cụ thể – đến mô hình tổng quát": sau khi thu thập và nhập dữ liệu, nhà nghiên cứu có thể chọn một lớp các mô hình, một số phiên bản hay biến thể của mô hình đó và đặt tiêu chí để lựa chọn mô hình. Hầu hết các công việc từng được thực hiện thủ công được chuyển sang máy tính giúp giảm thiểu tác động của con người lên kết quả. Thực tế, phương pháp này có thể được xem là một trong những cách tiếp cận của việc triển khai một đề tài trí tuệ nhân tạo, xem máy tính như là một trợ thủ đắc lực cho con người.

Sự phát triển của phương pháp nhóm bao gồm sự tổng hợp ý tưởng từ nhiều lĩnh vực khoa học khác nhau: khái niệm "hộp đen" trong điều khiển học, nguyên lý lựa chọn di truyền đến thế hệ sau của các đặc trưng theo cặp, các định lý bất toàn của Godel và nguyên lý "tự do lựa chọn quyết định" của Gabor,[6] nguyên lý về sự không chính xác của Adhémar và nguyên lý bổ sung ngoại vi của Beer.[7]

Phương pháp nhóm trong xử lý dữ liệu là phương pháp ban đầu được dùng để giải các bài toán đi tìm cấu trúc và tham số cho các mô hình học trên dữ liệu thử nghiệm trong điều kiện "không chắc chắn".[8] Các bài toán dạng này thường nảy sinh khi con người xây dựng một mô hình toán học tìm cách xấp xỉ các mẫu chưa được mô hình tiếp xúc thuộc về đối tượng hoặc một quy trình đang được nghiên cứu.[9] Các mô hình này tìm cách tận dụng các thông tin tồn tại ngầm định trong dữ liệu. Phương pháp này khác với các phương pháp khác ở việc tích cực áp dụng các nguyên tắc: tự động hóa việc xây dựng mô hình, các quyết định không mang tính kết luận, lựa chọn nhất quán tuân theo các tiêu chuẩn được quy định trước để tìm ra các mô hình tối ưu. Phương pháp thực hiện một quy trình gồm nhiều lớp có chức năng khởi tạo tự động các cấu trúc mô hình, mỗi cấu trúc này là một cá thể, mô phỏng theo quy trình tiến hóa và chọn lọc tự nhiên kết hợp với việc chọn lọc đặc trưng tốt thông qua so sánh theo cặp, phương pháp sẽ sinh ra từng mô hình ứng với mỗi bộ đặc trưng được lựa chọn, tiến hành tối ưu hóa và so sánh hiệu quả. Quy trình này hiện vẫn được sử dụng trong các mạng học sâu.[10] Để có thể so sánh và chọn ra được các mô hình tối ưu, chúng ta đánh giá hiệu năng của các mô hình cá thể trên hai hoặc nhiều tập con được trích ra từ bộ dữ liệu. Điều này giúp tránh các giả định ban đầu có thể không chính xác. Việc phân chia bộ dữ liệu ban đầu thành nhiều mẫu kiểm thử đã ngầm tạo ra các tình huống "không chắc chắn" khác nhau trong quá trình xây dựng tự động mô hình tối ưu.

Vào đầu những năm 1980, Ivakhnenko phát hiện ra sự tương đồng một cách tự nhiên giữa hai bài toán: bài toán xây dựng mô hình cho dữ liệu nhiễu và bài toán truyền tín hiệu đi qua kênh có nhiễu.[11] Khám phá này đã đặt nền móng cho lý thuyết về mô hình miễn nhiễm với nhiễu.[12] Kết quả chính của lý thuyết cho rằng độ phức tạp của mô hình tối ưu phụ thuộc vào mức độ không chắc chắn trong dữ liệu huấn luyện: mức độ này càng cao (có nhiều nhiễu) - thì mô hình tối ưu phải càng đơn giản (với ít tham số ước tính hơn nhằm đảm bảo tính tổng quát). Điều này đã đánh dấu sự khởi đầu cho việc phát triển lý thuyết nhóm như một phương pháp quy nạp tự động nhằm đáp ứng độ phức tạp của mô hình với mức độ thông tin trong tập dữ liệu mờ. Từ đây, phương pháp nhóm được xem như một kỹ thuật để trích xuất tri thức từ dữ liệu thực nghiệm.

Kết quả

sửa

Cùng với phương pháp nhóm trong xử lý dữ liệu, Ivakhnenko cũng đã thực hiện rất nhiều nghiên cứu khác được công bố:

  • Principle of construction of self-organizing deep learning networks (Nguyên lý xây dựng mạng học sâu tự tổ chức).[13]
  • Theory of models self-organization according to experimental data (Lý thuyết về mô hình tự tổ chức dựa trên dữ liệu thực nghiệm).[14]
  • Method of control with forecast optimization (Phương pháp điều khiển với tối ưu hóa dự báo).[15]
  • New principles of automatic control of speed for AC and asynchronous electric motors (Nguyên lý mới về tự động điều khiển tốc độ cho động cơ điện xoay chiều không đồng bộ).[16]
  • (Lý thuyết về các hệ thống bất biến để điều khiển thích ứng có bù các nhiễu đo được).[17] Ông đã phát triển nguyên tắc đo nhiễu gián tiếp, được gọi là "ngã ba vi sai" được sử dụng sau này trong thực tế.
  • Principle of combined control (Nguyên lý điều khiển kết hợp (với phản hồi tiêu cực cho cách thức kiểm soát các biến và phản hồi tích cực cho các thức kiểm soát nhiễu)).[18] Một số hệ thống kiểu này để điều khiển tốc độ tự động cho động cơ điện đã được triển khai trong thực tế. Điều này chứng tỏ tính khả thi của những điều kiện bất biến trong hệ thống điều khiển kết hợp, một hệ thống đã kết hợp được ưu điểm của kiểu hệ thống khép kín để điều khiển theo độ lệch (độ chính xác cao) và kiểu hệ thống mở (đảm bảo hiệu suất).
  • The non-searching extreme regulators on the basis of situations recognition ("Các bộ điều chỉnh cực đại không tìm kiếm" dựa trên cơ sở nhận biết tình huống).[19]
  • Principle of self-learning pattern recognition (Nguyên lý nhận dạng mẫu tự học). Được minh họa lần đầu trong hệ thống nhận thức mang tên "Alpha",[9] được xây dựng dưới sự dẫn dắt của Ivakhnenko.
  • Basis for the construction of cybernetic prediction devices (Cơ sở để xây dựng các thiết bị dự báo điều khiển học).[20]
  • Noise-immune principles of robust modelling for data with noises. (Nguyên lý miễn nhiễm với nhiễu cho phương pháp mô hình hóa mạnh mẽ cho dữ liệu có nhiễu).[21]
  • Design of multilayered neural networks with active neurons, where each neuron is an algorithm (Thiết kế mạng nơ-ron đa lớp với mỗi nơ-ron là một thuật toán).

Ivakhnenko cũng được biết đến qua những thành tựu trong lý thuyết bất biến và lý thuyết về hệ thống điều khiển tự động kết hợp, hoạt động trên nguyên lý bù nhiễu cho các dạng nhiễu đo được. Ông đã phát triển các thiết bị và phương pháp phục vụ cho việc điều khiển thích ứng các hệ thống có bộ khuếch đại từ tính và động cơ.

Ông từng viết bài cho chuyên khảo đầu tiên của Liên Xô về điều khiển học kỹ thuật [19] được xuất bản trên toàn thế giới bằng bảy thứ tiếng.[22] Theo các nghiên cứu của ông, sự phát triển về sau của các lý thuyết điều khiển kết hợp gắn liền với việc thực nghiệm một số phương pháp như: tự tổ chức tiến hóa, nhận dạng và dự báo trong các hệ thống điều khiển.

Trong những năm gần đây, phương pháp nhóm trong xử lý dữ liệu đã được phát triển thành một phương pháp mô hình hóa quy nạp, thực hiện các quy trình phức hợp và dự báo hệ thống. Các ý tưởng của ông hiện được tận dụng trong các mô hình mạng học sâu.[23] Hiệu quả của phương pháp đã nhiều lần được chứng minh trong các bài toán phức tạp trong thực tế về sinh thái, khí tượng, kinh tế và công nghệ, làm phổ biến phương pháp này trong cộng đồng khoa học quốc tế.[24] Song song với đó, các thuật toán tiến hóa tự tổ chức trong kỹ thuật phân cụm trong bài toán nhận dạng mẫu được ra đời.[25] Những tiến bộ trong việc trừu tượng và mô hình hóa các quy trình kinh tế và môi trường được phản ánh trong các chuyên khảo và đầu sách tương ứng,[26][27][28][29]. Việc khám phá các thuật toán sử dụng phương pháp nhóm đa lớp hồi tiếp trong xử lý dữ liệu cũng được thực hiện trong các xuất bản của ông.[30][31]

Trường khoa học

sửa

Trong giai đoạn 1963 đến 1989, Ivakhnenko giữ vai trò biên tập tại tạp chí khoa học chuyên ngành "Avtomatika" (sau đổi tên thành "Các bài toán trong quản lý và khoa học máy tính"), tạp chí này đã đóng một vai trò quan trọng trong sự hình thành và phát triển của trường khoa học đào tạo về Mô hình quy nạp tại Ukraine. Trong suốt khoảng thời gian này tạp chí đã được biên dịch và tái bản tại Hoa Kỳ với tên gọi "Kỹ thuật điều khiển tự động Liên Xô" (Soviet Automatic Control) (sau đổi tên thành "Tạp chí Khoa học Tự động hóa và Thông tin" (Journal of Automation and Information Sciences)).

Bên cạnh những đóng góp to lớn cho lĩnh vực của mình kể từ năm 1945, Ivakhnenko vẫn tích cực duy trì sự nghiệp giảng dạy, ban đầu với vai trò Trợ lý Giáo sư tại Khoa Cơ học Lý thuyết và sau đó là khoa Hệ thống Điều khiển. Từ năm 1960, với tư cách là Giáo sư Khoa Điều khiển Kỹ thuật tại Học viện Bách khoa Kyiv, ông đã đóng góp các bài giảng của mình cho trường và hội sinh viên, cũng như cố vấn cho đề tài của nhiều nghiên cứu sinh. Năm 1958-1964, ông làm việc trong ban tổ chức "Hội nghị về tính bất biến" toàn liên bang tại Kiev, nơi việc nghiên cứu phát triển lý thuyết về hệ thống điều khiển bất biến đã được khôi phục sau khi lệnh cấm bị dỡ bỏ.[32]

Vai trò giúp đỡ nhiệt tình của ông đã giúp hơn 220 nhà khoa học trẻ chuẩn bị và bảo vệ thành công luận án tiến sĩ. Dưới sự hướng dẫn của ông tại Viện Bách khoa Kyiv và Viện Điều khiển học, gần 30 sinh viên của ông đã bảo vệ thành công luận án sau tiến sĩ. Trường khoa học của Ivakhnenko đã và đang là cái nôi của các nhà khoa học trình độ cao. Các học trò của ông có thể kể đến như V.M.Kuntsevych, V.I.Kostyuk, V.I.Ivanenko, V.I.Vasiliev, A.A.Pavlov và một số nhân tố xuất sắc khác sau này đã thành lập các trường khoa học của riêng mình. Ivakhnenko là tấm gương sáng cho giới học thuật với trực giác khoa học nhạy bén và có tính tiên phong. Năm 1984, một chuyên khảo tập thể từ một số nhà khoa học tại Hoa Kỳ và Nhật Bản đả được xuất bản nhân dịp kỷ niệm 70 năm ngày sinh của Ivakhnenko. Cho đến những ngày cuối đời, ông vẫn tích cực làm việc, đề xuất thêm nhiều ý tưởng và kết quả nghiên cứu.

Giải thưởng và danh hiệu

sửa

Ivakhnenko là Nhà khoa học danh dự của Liên Xô (1972), hai lần đoạt Giải thưởng Nhà nước (1991, 1997) cho các công trình về lý thuyết hệ thống tự động bất biến và các ấn phẩm trong lĩnh vực Trí tuệ nhân tạo. Ông là tác giả của 40 đầu sách và hơn 500 bài báo khoa học. Ông là tiến sĩ danh dự của Đại học Kỹ thuật Quốc gia "KPI" (2003) và Đại học Bách khoa Lviv (2005). Ông cũng là Hội viên thông tấn tại Viện Hàn lâm Khoa học Liên Xô (1961) và Viện sĩ tại Viện Hàn lâm Khoa học Quốc gia Ukraine (2003).

Những công trình được chọn lọc

sửa

Nguồn tham khảo

sửa
  1. ^ Schmidhuber, Jurgen. “Critique of Paper by "Deep Learning Conspiracy". (Nature 521 p 436)” (bằng tiếng Anh). Truy cập ngày 26 tháng 12 năm 2019.
  2. ^ Бобрищев, К.В. (2002). Отчий Край (bằng tiếng Ukraina). Полтава: Дивосвіт. tr. 284–293. ISBN 978-966-95846-9-4.
  3. ^ Madala, H.R.; Ivakhnenko, A.G. (1994). Inductive Learning Algorithms for Complex Systems Modeling (PDF). Boca Raton: CRC Press. ISBN 978-0849344381.
  4. ^ Ivakhnenko, A.G. (1968). “The Group Method of Data Handling - a Rival of the Method of Stochastic Approximation”. Soviet Automatic Control. 13 (3): 43–55.
  5. ^ Madala, H.R.; Ivakhnenko, A.G. (1994). Inductive Learning Algorithms for Complex Systems Modeling (PDF). Boca Raton: CRC Press. ISBN 978-0849344381.
  6. ^ Gabor, D. (1971). Perspectives of Planing. Organization of Economic Cooperation and Development. London: Imp.Coll.
  7. ^ Beer, S. (1959). Cybernetics and Management. London: English Univ. Press.
  8. ^ Ivakhnenko, A.G.; Stepashko, V.S. (1985). Pomekhoustojchivost' Modelirovanija (Noise Immunity of Modeling) (PDF). Kyiv: Naukova Dumka.
  9. ^ a b Ivakhnenko, A.G.; Lapa, V.G. (1967). Cybernetics and Forecasting Techniques . American Elsevier. ISBN 978-0444000200.
  10. ^ Takao, S.; Kondo, S.; Ueno, J.; Kondo, T. (2017). “Deep feedback GMDH-type neural network and its application to medical image analysis of MRI brain images”. Artificial Life and Robotics. 23 (2): 161–172. doi:10.1007/s10015-017-0410-1.
  11. ^ Ivahnenko, A.G. (1982). Inductive Method of Models Self-organisation for Complex Systems (PDF) (bằng tiếng Nga). Kyiv: Naukova Dumka.
  12. ^ Ivakhnenko, A.G.; Stepashko, V.S. (1985). Pomekhoustojchivost' Modelirovanija (Noise Immunity of Modeling) (PDF). Kyiv: Naukova Dumka.
  13. ^ Madala, H.R.; Ivakhnenko, A.G. (1994). Inductive Learning Algorithms for Complex Systems Modeling (PDF). Boca Raton: CRC Press. ISBN 978-0849344381.
  14. ^ Ivakhnenko, A.G.; Yurachkovsky, Yu.P. (1986). Modelirovanie Slozhnykh Sistem po Exsperimentalnym Dannym (Modelling of Complex Systems on Experimental Data). M: Radio i Svyaz.
  15. ^ Ivakhnenko, A.G.; Müller, J.A. (1985). Self-Organisation of Forecasting Models (PDF) (bằng tiếng Nga). Kyiv: Tehnika.
  16. ^ Ivakhnenko, A.G. (1953). Automatic Control of Velocity of Asynchronous Motors with Moderate Power. Kiev: Izd.AN USSR.
  17. ^ Ivakhnenko, A.G. (1954). Theory of Combined Automatic Control of Electric Motors. Kiev: Izd.KPI.
  18. ^ Ivakhnenko, A.G. (1954). Electroautomatika. Kiev: Gostekhizdat.
  19. ^ a b Ivakhnenko, A.G. (1959). Tekhnicheskaya Kibernetika. Kiev: Gostechizdat USSR.
  20. ^ Ivakhnenko, A.G. (1969). Self-learning systems of recognition and automatic control. Kyiv: Tehnika.
  21. ^ Ivakhnenko, A.G.; Stepashko, V.S. (1985). Pomekhoustojchivost' Modelirovanija (Noise Immunity of Modeling) (PDF). Kyiv: Naukova Dumka.
  22. ^ Ivachnenko, A.G. (1962). Techniche kybernetik. Berlin: Verlag Technik.
  23. ^ Schmidhuber, J. (tháng 1 năm 2015). “Deep Learning in Neural Networks: An Overview” (PDF). Neural Networks. 61: 85–117. arXiv:1404.7828. doi:10.1016/j.neunet.2014.09.003. PMID 25462637. Truy cập ngày 26 tháng 12 năm 2019.
  24. ^ Farlow, S.J. biên tập (1984). Self-organizing Methods in Modeling: GMDH Type Algorithms . Marcel Dekker Inc. ISBN 978-0824771614. Truy cập ngày 26 tháng 12 năm 2019.
  25. ^ Ivahnenko, A.G.; Zaychenko, Yu.P.; Dimitrov, V.D. (1976). Decision Making on the basis of Self-Organisation. M: Sov.Radio.
  26. ^ Ivahnenko, A.G. (1975). Long-term Forecasting and Complex Systems Control (PDF) (bằng tiếng Nga). Kyiv: Tehnika.
  27. ^ Ivahnenko, A.G. (1982). Inductive Method of Models Self-organisation for Complex Systems (PDF) (bằng tiếng Nga). Kyiv: Naukova Dumka.
  28. ^ Ivakhnenko, A.G.; Müller, J.A. (1985). Self-Organisation of Forecasting Models (PDF) (bằng tiếng Nga). Kyiv: Tehnika.
  29. ^ Ivachnenko, A.G.; Müller, J.A. (1984). Selbstorganisation von Vorhersagemodellen. Berlin: Veb Verlag Technik.
  30. ^ Ivakhnenko, A.G.; Yurachkovsky, Yu.P. (1986). Modelirovanie Slozhnykh Sistem po Exsperimentalnym Dannym (Modelling of Complex Systems on Experimental Data). M: Radio i Svyaz.
  31. ^ Madala, H.R.; Ivakhnenko, A.G. (1994). Inductive Learning Algorithms for Complex Systems Modeling (PDF). Boca Raton: CRC Press. ISBN 978-0849344381.
  32. ^ “Nauka i Promyshlennost' (Science and Industry)”. Pravda. Communist Party of the USSR. 16 tháng 5 năm 1941.

Liên kết ngoài

sửa
Lấy từ “https://vi.wikipedia.org/w/index.php?title=Oleksiy_Hryhorovych_Ivakhnenko&oldid=71545045”