Từ kiến thức về lập trình, Trí tuệ nhân tạo (AI) và Computer Vision, Nguyễn Thế Quân – sinh viên K21.3, chuyên ngành Lập trình Ứng dụng AI, Bộ môn Công nghệ Thông tin, FPT Polytechnic HCM đã phát triển NEXA Vision Application. Dự án cho phép xử lý hình ảnh, nhận diện khuôn mặt và cử chỉ trực tiếp trên trình duyệt, mở ra nhiều hướng ứng dụng trong bán lẻ, Smart Home, giáo dục và hỗ trợ người khuyết tật.
Điểm đáng chú ý của NEXA Vision Application nằm ở cách dự án tiếp cận công nghệ Client-side Edge AI. Thay vì gửi dữ liệu hình ảnh về một máy chủ để xử lý, hệ thống thực hiện quá trình phân tích trực tiếp trên thiết bị của người dùng thông qua trình duyệt. Cách triển khai này giúp giảm độ trễ và tăng tốc độ phản hồi của ứng dụng, đồng thời hạn chế việc truyền dữ liệu hình ảnh lên máy chủ. Đây là hướng tiếp cận phù hợp với những ứng dụng cần xử lý dữ liệu nhanh và đặt yếu tố quyền riêng tư lên cao.
Thông qua camera, NEXA Vision có thể tiếp nhận dữ liệu hình ảnh và thực hiện các tác vụ AI ngay trên thiết bị. Người dùng vì thế có thể tương tác với hệ thống mà không cần phụ thuộc vào một máy chủ AI riêng để xử lý toàn bộ dữ liệu.
Để xây dựng NEXA Vision, Nguyễn Thế Quân kết hợp nhiều công nghệ thuộc cả hai nhóm lập trình web và AI. Ở phần giao diện và nền tảng web, dự án sử dụng TypeScript, HTML5, CSS3 và Vite. Các công nghệ này hỗ trợ xây dựng giao diện trực quan, đồng thời tối ưu khả năng tải và vận hành ứng dụng.
Ở lớp AI, dự án sử dụng Google MediaPipe Web SDK kết hợp WebAssembly, cho phép mô hình AI được thực thi trực tiếp trên trình duyệt và tận dụng CPU/GPU của thiết bị. Một trong những chức năng chính của NEXA Vision là nhận diện khuôn mặt. Hệ thống thực hiện việc trích xuất các đặc trưng hình học trên khuôn mặt, sau đó lưu thông tin nhận diện cùng tên người dùng trong LocalStorage.
Khi cần xác định người dùng, hệ thống sử dụng Euclidean Distance để tính toán và so khớp mức độ tương đồng giữa các khuôn mặt. Bên cạnh nhận diện, NEXA Vision còn có khả năng phân tích một số trạng thái khuôn mặt dựa trên các điểm landmark, như cảm xúc, trạng thái mắt nhắm/mở và mức độ căng thẳng.
Không dừng lại ở nhận diện khuôn mặt, NEXA Vision còn phát triển tính năng nhận diện cử chỉ tay. Hệ thống kết hợp MediaPipe với các thuật toán phân tích vị trí, góc và trạng thái của từng ngón tay để nhận biết nhiều cử chỉ. Người dùng có thể thực hiện các thao tác như OK, chỉ hướng, gọi điện hoặc bắn tim để tương tác với hệ thống.
Từ nền tảng này, dự án có thể mở rộng theo hướng Touchless Interaction – tương tác không chạm, trong đó cử chỉ của người dùng trở thành phương thức điều khiển thay cho thao tác trực tiếp trên màn hình. Đây là hướng ứng dụng có thể phù hợp với nhiều thiết bị và không gian công cộng, nơi việc giảm thao tác chạm trực tiếp có thể mang lại trải nghiệm thuận tiện hơn.
NEXA Vision được định hướng phát triển với nhiều khả năng ứng dụng. Trong kiosk và bán lẻ, công nghệ nhận diện có thể được sử dụng để nhận diện khách hàng, cá nhân hóa lời chào hoặc hỗ trợ đánh giá mức độ hài lòng. Với Smart Home, nhận diện cử chỉ có thể trở thành phương thức điều khiển đèn, TV, hệ thống âm thanh và các thiết bị thông minh. Trong E-Learning, khả năng phân tích trạng thái khuôn mặt có thể được nghiên cứu để hỗ trợ theo dõi mức độ tập trung hoặc trạng thái buồn ngủ của người học.
Đặc biệt, công nghệ nhận diện chuyển động đầu, mắt hoặc cử chỉ đơn giản cũng có tiềm năng được phát triển thành công cụ hỗ trợ người khuyết tật điều khiển máy tính. Những hướng ứng dụng này cho thấy giá trị của dự án không chỉ nằm ở việc trình diễn công nghệ mà còn ở khả năng tiếp tục phát triển thành những giải pháp phục vụ nhu cầu cụ thể.
Điểm đáng chú ý ở NEXA Vision Application là dự án đặt kiến thức AI trong một bài toán sản phẩm tương đối hoàn chỉnh. Nguyễn Thế Quân không chỉ tiếp cận một mô hình AI riêng lẻ mà phải kết hợp nhiều thành phần, từ giao diện web, xử lý hình ảnh, nhận diện khuôn mặt và cử chỉ đến triển khai AI trực tiếp trên thiết bị.
Quá trình này giúp sinh viên có cơ hội tiếp cận cách một sản phẩm công nghệ được xây dựng và vận hành, đồng thời hiểu rõ hơn mối liên hệ giữa lập trình, AI, Computer Vision và trải nghiệm người dùng.
Với khả năng xử lý trực tiếp trên thiết bị, độ trễ thấp, không cần máy chủ AI riêng và hạn chế truyền dữ liệu hình ảnh, NEXA Vision cho thấy những hướng tiếp cận đáng chú ý của Edge AI trong phát triển ứng dụng thông minh.
Từ một dự án của sinh viên K21.3 chuyên ngành Lập trình Ứng dụng AI, NEXA Vision trở thành ví dụ cho cách kiến thức trên lớp có thể được chuyển hóa thành sản phẩm công nghệ có tính ứng dụng. Quan trọng hơn, dự án mở ra cơ hội để sinh viên tiếp tục thử nghiệm, hoàn thiện và giải quyết những bài toán mới bằng chính nền tảng công nghệ mình đang học.
Giảng viên Nguyễn Ngọc Chấn
Bộ môn Công nghệ thông tin
FPT Polytechnic HCM
