Bộ vi điều khiển là máy tính thu nhỏ có thể chạy các lệnh đơn giản, làm cơ sở cho hàng tỷ thiết bị được kết nối, từ thiết bị kết nối vạn vật (IoT) đến cảm biến trong ô tô. Các vi điều khiển giá rẻ có đặc điểm là công suất thấp với bộ nhớ cực kỳ hạn chế và không có hệ điều hành, khiến việc đào tạo các mô hình trí tuệ nhân tạo trở nên rất khó khăn.

Đào tạo mô hình học máy trên một thiết bị thông minh cho phép nó thích ứng với dữ liệu mới và đưa ra dự đoán tốt hơn. Lấy ví dụ, đào tạo một mô hình trên bàn phím thông minh có thể cho phép bàn phím liên tục học hỏi từ cách viết của người dùng. Tuy nhiên, quá trình đào tạo đòi hỏi nhiều bộ nhớ đến mức nó thường được thực hiện bằng các máy tính mạnh tại trung tâm dữ liệu, trước khi mô hình được triển khai trên một thiết bị. Điều này tốn kém hơn và gây ra các vấn đề về quyền riêng tư vì dữ liệu người dùng phải được gửi đến một máy chủ trung tâm.

Để giải quyết vấn đề này, các nhà nghiên cứu tại MIT và MIT-IBM Watson AI Lab đã phát triển một kỹ thuật mới cho phép đào tạo trên thiết bị sử dụng bộ nhớ ít hơn một phần tư megabyte. Các giải pháp đào tạo khác được thiết kế cho các thiết bị được kết nối có thể sử dụng hơn 500 megabyte bộ nhớ, vượt rất nhiều so với dung lượng 256 kilobyte của hầu hết các bộ vi điều khiển.

Các thuật toán và framework thông minh mà các nhà nghiên cứu đã phát triển làm giảm số lượng tính toán cần thiết để đào tạo một mô hình, giúp quá trình nhanh hơn và sử dụng bộ nhớ hiệu quả hơn. Kỹ thuật mới có thể được sử dụng để đào tạo mô hình học máy trên vi điều khiển trong vài phút.

Kỹ thuật này cũng bảo vệ quyền riêng tư bằng cách giữ dữ liệu trên thiết bị, điều này có thể đặc biệt có lợi khi dữ liệu nhạy cảm, chẳng hạn như trong các ứng dụng y tế. Nó cũng có thể cho phép tùy chỉnh một mô hình dựa trên nhu cầu của người dùng. Bên cạnh đó, framework giúp bảo tồn hoặc cải thiện độ chính xác của mô hình khi so sánh với các phương pháp đào tạo khác.

Nghiên cứu của các nhà khoa học cho phép các thiết bị IoT không chỉ thực hiện suy luận mà còn liên tục cập nhật các mô hình AI đối với dữ liệu mới được thu thập, mở đường cho việc học tập trên thiết bị suốt đời. Việc sử dụng tài nguyên thấp làm cho việc học sâu trở nên dễ dàng hơn và có thể có phạm vi tiếp cận rộng hơn.

Một loại mô hình học máy phổ biến được gọi là mạng nơ-ron. Dựa trên bộ não con người, các mô hình này chứa các lớp nút kết nối với nhau, hoặc các tế bào thần kinh, xử lý dữ liệu để hoàn thành một nhiệm vụ, chẳng hạn như nhận dạng người trong ảnh. Trước tiên, mô hình phải được đào tạo, bao gồm việc hiển thị hàng triệu ví dụ để nó có thể học được nhiệm vụ. Khi nó học xong, mô hình tăng hoặc giảm sức mạnh của các kết nối giữa các nơ-ron, được gọi là trọng số.

Mô hình có thể trải qua hàng trăm lần cập nhật khi nó học và các kích hoạt trung gian phải được lưu trữ trong mỗi vòng. Các nhà nghiên cứu đã sử dụng hai giải pháp thuật toán để làm cho quá trình đào tạo hiệu quả hơn và ít tốn bộ nhớ hơn. Lần đầu tiên, được gọi là cập nhật thưa thớt, sử dụng một thuật toán xác định các trọng số quan trọng nhất để cập nhật ở mỗi vòng đào tạo. Thuật toán bắt đầu đóng băng các trọng số tại một thời điểm cho đến khi nó thấy độ chính xác giảm xuống một ngưỡng đã đặt, sau đó nó dừng lại. Các trọng số còn lại được cập nhật, trong khi các kích hoạt tương ứng với các trọng số đã đóng băng không cần phải được lưu trữ trong bộ nhớ.

Việc cập nhật toàn bộ mô hình rất tốn dung lượng vì có rất nhiều lần kích hoạt, vì vậy thường chỉ cập nhật lớp cuối cùng, nhưng điều này làm ảnh hưởng đến độ chính xác. Trong nghiên cứu của mình, các nhà khoa học thực hiện cập nhật có chọn lọc các trọng số quan trọng. Giải pháp thứ hai của họ liên quan đến đào tạo lượng tử hóa và đơn giản hóa các trọng số, thường là 32 bit. Một thuật toán làm tròn các trọng số để chúng chỉ còn 8 bit, thông qua một quá trình được gọi là lượng tử hóa, cắt giảm lượng bộ nhớ cho cả đào tạo và suy luận. Suy luận là quá trình áp dụng một mô hình vào một tập dữ liệu và tạo ra một dự đoán. Sau đó, thuật toán áp dụng một kỹ thuật gọi là tỷ lệ lượng tử hóa nhận biết (QAS), hoạt động giống như một hệ số nhân để điều chỉnh tỷ lệ giữa trọng số và gradient, để tránh bất kỳ sự sụt giảm nào về độ chính xác có thể đến từ quá trình huấn luyện lượng tử hóa.

Trong nghiên cứu này, việc tối ưu hóa chỉ yêu cầu 157 kilobyte bộ nhớ để đào tạo mô hình học máy trên vi điều khiển, trong khi các kỹ thuật khác được thiết kế để đào tạo cần từ 300 đến 600 megabyte.

Các nhà nghiên cứu đã thử nghiệm framework của mình bằng cách đào tạo một mô hình thị giác máy tính để phát hiện người trong hình ảnh. Chỉ sau 10 phút huấn luyện, nó đã hoàn thành xuất sắc nhiệm vụ. Phương pháp của họ có thể đào tạo một mô hình nhanh hơn 20 lần so với các phương pháp khác. Chi tiết tham khảo tại:

Ji Lin, Ligeng Zhu, Wei-Ming Chen, Wei-Chen Wang, Chuang Gan, Song Han. On-Device Training Under 256KB Memory. Submitted to arXiv, 2022 [abstract]

(Sưu tầm)
VIỆN IMC
Tòa nhà IMC Tower, Số 176 Trường Chinh, Phường Khương
Thượng, Quận Đống Đa, Thành phố Hà Nội, Việt Nam
Tel/Fax : (+84) 24 3566 6232 / 24 3566 6234
Email: contact@imc.org.vn   Website: https://imc.org.vn