SẢN PHẨM NGHIÊN CỨU

 


Máy phân loại sản phẩm tự động

Máy phân loại sản phẩm với 03 màu chính là đỏ, xanh lá, xanh da trời, các loại màu khác sẽ được được gộp chung. Các sản phẩm như trái cây, đồ vật,...  sẽ được đưa vào băng chuyền, các sản phẩm này sẽ đi qua các cảm biến màu sắc, rồi so sánh với các thông số đã được cài đặt trước, từ đó đưa ra các quyết định chuyển hướng các sản phẩm vào các khay tương ứng với các màu, máy phân loại còn có chức năng đếm số lượng sản phẩm cho từng màu.



Hình 1: Máy phân loại sản phẩm và đếm sản phẩm


 



Súng bắn chim tự động

Mô hình súng bắn chim có thể được chia thành ba bộ phận chính như sau: Bộ phận cảm biến màu, súng laser và chim(bia). Theo nguyên tắc chung, chim(bia) màu được gắn trên băng chuyền, đi qua bộ cảm biến màu, nếu nhận diện đúng màu được yêu cầu thì súng laser sẽ bắn vào chim(bia) ấy.



 Hình 1: Mô hình 03 con chim giả định bay vòng tròn


 



 Hình 2: Bộ phận gắn màu sắc cho cảm biến hoạt động



Hình 3: Súng bắt Chim(bia) dựa vào cảm biến màu sắc

Robot xoay Rubik với OpenCV

Robot xoay Rubik gồm 4 cánh tay xoay, với 2 động cơ dịch để kéo các cánh tay gần hoặc xa khối rubik, kết hợp với camera trên đỉnh chóp, các thuật toán trong OpenCV để nhận diện màu, đưa ra các lệnh điều khiển để cánh tay robot hoạt động và giải khối rubik trong thời gian ngắn nhất.


 Hình 1: Robot giải Rubik



Hình 2: Vị trí đặt camera để thu thập hình ảnh

 

Bộ xử lý kiến trúc RISC-V hỗ trợ chế độ giám sát

 

Thực hiện thiết kế bộ xử lý 32 bit đơn chu kỳ thực thi 37 lệnh cơ bản thuộc kiến trúc RV32I, 7 lệnh hệ thống và lệnh ECALL. Muc tiêu hướng đến là khả năng xử lý 7 ngoại lệ: lệnh bất hợp pháp, supervisor và user software interrupt, supervisor và user timer interrupt, ECALL from U-mode và S-mode.


            Hình 1: Sơ đồ bộ xử lý kiến trúc RISC-V 



Hình 2: Hiện thực trên DE2 kit


Kết quả hiện thực trên DE2 kit thực thi được:

    • 37 lệnh thuộc kiến trúc RV32I và lệnh ECALL
    • 7 lệnh hệ thống: CSRRW,
    • Xử lý ngoại lệ: Lệnh bất hợp pháp, Lệnh gọi môi trường ở SM và UM, Software interrupt ở SM và UM, Timer interrupt ở SM và UM, xảy ra ngoại lệ khi đang xảy ra một ngoại lệ.
    • Xung clock kiểm tra trên kit DE2 hiện tại chỉ sử dụng nút nhấn, không sử dụng xung clock thực (CLK27 và CLK50).

Tài nguyên sử dụng trên kit DE2 khi hiện thực:

    • Số lượng logic element: 8030 / 33216 (24%).
    • Số lượng thanh ghi: 2133.
    • Số lượng pin sử dụng: 165 / 475 (35%).

 


Hình 3: Mô phỏng kết quả trên phần mềm


Bộ phát sinh chương trình kiểm tra ngẫu nhiên cho thiết kế RISC-V

RISC-V là một kiến trúc tập lệnh, xây dựng dựa trên những nguyên tắc của kiến trúc tập lệnh RISC. Tính tới hiện tại, Việt Nam vẫn chưa có công trình nghiên cứu liên quan đến "Bộ phát sinh chương trình kiểm tra ngẫu nhiên cho thiết kế RISC-V". Vì vậy, nhóm nghiên cứu đã thực hiện đề tài trên, với mong muốn góp một phần nhỏ bé giúp Việt Nam bắt kịp xu hướng phát triển của thế giới trong lĩnh vực thiết kế bộ vi xử lý.



Hình 1: Sơ đồ khối cảu bộ phát sinh



Hình 2: Biểu đồ kết quả



Hình 3: So sánh kết quả

Những ưu điểm:

    • Tạo ra những testcases với nội dung là chương trình hợp ngữ có những chuỗi lệnh ý nghĩa, thay vì những chuỗi lệnh riêng biệt.
    • Tạo ra những testcases với nội dung là chương trình hợp ngữ có những chuỗi lệnh phụ thuộc vào những trọng số của nhóm lệnh với mục đích để kiểm tra các trường hợp mà người dùng mong muốn.
    • Thời gian chạy chương trình của bộ phát sinh chương trình kiểm tra ngẫu nhiên cho thiết kế RISC-V khá nhanh khi so với các công trình nghiên cứu khác. Đối việc việc tạo ra 8900 testcases cho các chuỗi lệnh có ý nghĩa thì trung bình chạy của chương trình là 130s.
    • RTG tạo ra được các testcase đạt được những tiêu chí như phần mục tiêu đề tài đã định nghĩa như là về thanh ghi, lệnh, số tức thời,…

DRONE hỗ trợ thu hoạch trong nông nghiệp

Hiện nay, việc ứng dụng Drone trong nông nghiệp đang dần trở nên phổ biến. Tuy nhiên, giá thành của các sản phẩm drone vẫn luôn được đánh giá khá cao, gây không ít trở ngại cho nhiều hộ nông dân. Vì vậy, có thể thấy rằng người ta chỉ mới ứng dụng drone trong chăm sóc nông nghiệp, còn thu hoạch trong nông nghiệp thì vẫn hạn chế.

Đề tài được thực hiện với mục tiêu tạo ra drone có khả năng hỗ trợ thu hoạch nông sản trên cao và vận chuyển xuống mặt đất, được điều khiển thông qua một ứng dụng trên smartphone (Android), nhằm cung cấp tối đa sự lựa chọn trong sản xuất nông nghiệp cho người nông dân.

Đối với ứng dụng điều khiển trên smartphone:


Hình 1: sơ đồ thiết kế ứng dụng cho smartphone (Android)



Hình 2: giao diện đăng nhập và cài đặt trên ứng dụng



Hình 3: giao diện điều khiển đơn giản


Đối với drone:



Hình 4: sơ đồ thiết kế hệ thống drone



Hình 5: Mô hình khung chứa nông sản



Hình 6: Mô hình khung và drone hoàn chỉnh


Thực nghiệm:


Hình 7: Mô phỏng thu hoạch nông sản trên cao


Hình 8: Góc nhìn điều khiển thu hoạch thông qua app

Kết quả thực nghiệm:

    • Tổng thời gian bay: ~15 phút.
    • Khối lượng tải thêm tối đa: ~800 grams.
    • Khoảng cách bay tối đa: ~15 meters.

Kết quả thu được:

    • Hệ thông có khả năng giúp thu hoạch thu hoạch hoa quả trên cao
    • Sử dụng được smartphone để điều khiển.

Hệ thống camera thông minh phát hiện các hành vi bất thường

Trong thế giới hiện đại, các vấn đề về an sinh xã hội như: trộm cắp, phá hoại, ẩu đả... luôn là mối quan tâm nhức nhối.  Để kiểm soát những vấn nạn này, thế giới đã và đang không ngừng phát triển công nghệ camera an ninh, nhằm áp dụng vào đời sống hằng ngày. Nhu cầu sử dụng camera để giám sát, bảo vệ tài sản cá nhân cũng vì thế mà ngày một gia tăng.

Đứng trước tình hình thực tế trên, nhóm nghiên cứu đã hiện thực "Hệ thống camera thông minh phát hiện các hành vi bất thường" theo hướng xử lý trực tiếp tại camera, giúp phát hiện những hành vi có thể gây ảnh hưởng đến an ninh và gửi cảnh báo cho người giám sát.

Mục tiêu:

    • Xây dựng và huấn luyện mô hình máy học có khả năng phát hiện các hành vi bất thường của con người từ dữ liệu thu được qua camera Pi NOIR V2.

    • Thử nghiệm, đánh giá tốc độ thực thi, độ chính xác của các mô hình máy học trên kit NVIDIA Jetson Nano.

    • Lập trình chức năng cảnh báo qua E-mail thông qua máy chủ SMTP của Gmail.




Hình 1: Sơ đồ các bước hiện thực 



Hình 2: mô hình camera dùng trong khóa luận



Hình 3: Mô hình camera dùng trong thực tế



Hình 4: Kết quả phương pháp phân loại ảnh đa lớp



Hình 5: Kết quả phương pháp phân loại video


Hình 6: Thực nghiệm dựa trên video bản tin

Hình 7: Tin nhắn được gửi cho người giám sát


Kết quả:

    • Đã thực nghiệm và đánh giá qua 3 mô hình DL chính, bao gồm: ResNet-18, ResNet-3D-18, MobileNet_V2.
    • Nhìn chung, các mô hình có thể hoạt động trên máy tính nhúng NVIDIA Jetson Nano, các chức năng đã xây dựng có thể hoạt động bình thường.
    •  Hệ thống đưa ra kết quả nhận dạng đạt được mục tiêu đề ra, tuy nhiên tốc độ xử lý trên kit NVIDIA Jetson Nano còn khá hạn chế. Để có thể áp dụng mô hình vào thực tế cần phải cân nhắc kĩ lưỡng về tốc độ xử lí cũng như độ chính xác.

Hệ thống phát hiện buồn ngủ cho tài xế sử dụng xử lý ảnh

Theo thống kê của Bộ Giao Thông Vận Tải, dựa vào kết quả nghiên cứu được công bố ở Mỹ, thì 10% số vụ tai nạn giao thông xảy ra là do tài xế buồn ngủ ngay khi đang lái xe. Do đó, nhóm nghiên cứu đã thực hiện đề tài "Hệ thống phát hiện buồn ngủ cho tài xế sử dụng xử lý ảnh". Mục đích cuối cùng, chính là có sự cảnh báo kịp thời nhất có thể, góp phần làm giảm thiệt hại về tai nạn giao thông nói chung.

Mục tiêu đề tài:

Hệ thống phát hiện buồn ngủ của tài xế khi đang lái xe và tốc độ xử lý là 20 => 25 FPS để đảm bảo tính thời gian thực cho hệ thống với độ chính xác hơn 80% (với điều kiện ánh sáng ban ngày).



Hình 1: lưu đồ minh họa các bước thực hiện



Hình 2: Minh họa các bước thực hiện



Hình 3: Các thiết bị sử dụng Raspberry Pi (trái) và Google Coral USB (phải)



Hình 4: Hệ thống báo bình thường (trên) và cảnh báo khi tài xế ngủ gật (dưới)



Hình 5: Thực nghiệm với góc nhìn nghiêng

Kết quả:

    • Thuật toán phát hiện được trên bộ YawDD dataset với độ chính xác 89% ở tốc độ 26fp, vượt trên chỉ tiêu đặt ra ban đầu.

Hệ thống ước tính vận tốc phương tiện


Theo thống kê trong 9 tháng đầu năm nay, trên toàn quốc đã xảy ra hơn 10.000 vụ tai nạn giao thông, làm thiệt mạng hơn 4.800 người. Vấn đề về việc kiểm soát tốc độ khi tham gia giao thông được đặt ra. Tuy nhiên, vì xét thấy phương pháp đo vận tốc (gồm Radar và Lidar) còn nhiều hạn chế, nhóm thực hiện đã chọn đề tài "Hệ thống ước tính vận tốc phương tiện", nhằm mục đích đáp ứng các vấn đề về an toàn giao thông nói trên.

Mục tiêu:

    • Nhận diện phương tiện giao thông với độ sai lệch xấp xỉ 1.
    • Ước tính vận tốc đạt sai số trung bình 10%.
    • FPS đạt được từ 15fps đến 25fps.



Hình 1: Minh họa các bước hiện thực



Hình 2: Đào tạo mô hình máy học



Hình 3: Mô hình chuyển đổi từu khoảng cách thực sang khoảng cách ảo



Hình 4: Hai tuyến đường được thu thập dữ liệu



Hình 5: Thống kê kết quả thực nghiệm



Hình 6: Kết quả thực nghiệm trên tuyến đường 1



Hình 7: Kết quả thực nghiệm trên tuyến đường 2

Kết quả nổi bật:

    • Vận tốc đo được đạt kết quả khả quan
    • Kết quả đạt được mục tiêu ban đầu
    • Bộ dữ liệu tự tạo và model train trên bộ dữ liệu có sẵn
    • Đưa ra khảo sát và đánh giá các thuật toán tracking cũng như model detection

Nghiên cứu thiết kế Lora Relay

Mục tiêu:

Đề tài nghiên cứu, thiết kế và chế tạo thiết bị chuyển tiếp gói tin LoRaWAN-LoRa Relay. 

Thiết bị hổ trợ việc mở rộng vùng phủ sóng cũng như tối ưu hóa về mặt năng lượng và chi phí thay vì phải lắp đặt thêm gateway.


Hình 1: Sơ Đồ khối Thiết Kế LoRa Relay



Hình 2: Mô hình board lactuna (trái) và board lactuna sử dụng (phải)



Hình 3: Giao tiếp trong môi trường LOS



Hình 4: Giao tiếp trong môi trường NLOS



Hình 5: Thống kê thí nghiệm



Hình 6: Biểu đồ so sánh GPS tỏng các thí nghiệm



HÌnh 7: Quá trình thực nghiệm

Kết quả:

    • Đo đạc, lập trình thiết bị chuyển tiếp tín hiệu không dây hoàn chỉnh, giải quyết được vấn đề mở rộng vùng phủ sóng của thiết bị.
    • Có thể mở rộng vùng phủ sóng của thiết bị lên đến 3km trong môi trường LOS, 2km trong môi trường NLOS thông qua thí nghiệm.
    • Phân tích kết quả cho thấy ở 500 mét tính tính từ thiết bị Relay, có thể đạt được tới 97% các gói được nhận chính xác (tải trọng 10 byte ở SF9).
    • Thiết kế và chế tạo được một thiết bị Relay sử dụng tích hợp nhiều antenna.

Nghiên cứu và thiết kế trợ lý ảo Tiếng Việt offline trên nền tảng hệ thống nhúng

Hiện nay, trợ lý ảo đang là một xu thế dẫn đầu trong ngành công nghiệp 4.0 nói chung. Có được trợ lý ảo, con người không cần phải sẽ không cần phải làm những việc nặng nhọc, hơn thế, hiệu suất lao động còn tăng lên, chất lượng cuộc sống cũng dần được cải thiện. Những trợ lý ảo tiêu biểu có thể kể đến là: Siri, Alexa, Cortana, Google Assistant,…

Mục tiêu:

    • Tạo ra một trợ lý ảo có khả năng nhận đầu vào từ người dùng (giọng nói, văn bản) và phản hồi lại (văn bản, giọng nói)

    • Lĩnh vực tư vấn tuyển sinh trong UIT.




Hình 1: Sơ đồ khối hệ thống  trợ lý ảo Tiếng Việt offline trên nền tảng hệ thống nhúng 



Hình 2: Ví dụ về dữ liệu huấn luyện



Hình 3: Dữ liệu nhận dạng giọng nói



Hình 4: Dữ liệu từ văn bản sang giọng nói 



Hình 5: Thí nghiệm về phản hòi yêu cầu



Hình 6: Thí nghiệm văn bản sang giọng nói


Kết quả:

    Nhận dạng giọng nói:

    • Bộ dữ liệu 54 giờ nói nhóm tổng hợp từ bộ Vivos 15 giờ nói và bộ VinBigData 39 giờ nói
    • Google Colab Pro với GPU V100 huấn luyện trong 36 giờ với 29 epoch
    • WER khoảng 34%, tức độ chính xác 66%.

   Phản hồi yêu cầu:

    • Bộ UIT câu hỏi – trả lời đạt trên 90%

 Văn bản sang giọng nói:

    • Bộ dữ liệu Zalo_VLSP giọng nữ, 18 giờ nói
    • Google Colab Pro với GPU V100 trong 15 ngày.
    • Đánh giá theo phương pháp Mean Option Score (MOS) đạt 2.8 / 5 điểm.

Research and implementation of detecting and tracking system of vehicle on national ways

The main objective of the system will be applying Yolo model, a state of art object detector, to detect various kinds of vehicle on Vietnam National roads. SORT algorithm  is used to tracking objects based on previous detections.

Through the project, we hope to help reduce the inconvenience, solve the traffic jam of the road network, and create a safer traveling for everyone.


Picture 1: Processing flow of the SORT



Picture 2: Oject detectors



Picture 3: Experiments' results



Picture 4: Results table



Picture 5: Results comparation



Picture 6: Dectecting and tracking vehicles in demo 1



Picture 7: Detecting and tracking vehicles in demo


In conclusion:

    • Libraries and software needed to run YOLO have been installed various kinds of vehicles have been able to be detected, performance is at 11 fps, the accuracy of detection is about 77%.
    • The system can detect many types of vehicles that had been training with high confidence.
    • The performance is stable at around 10 FPS, which could be use for real-time purpose.


The research and implemetation of CNN algorithm (Yolo) on Zedboard zynq-7000

In recent years, the Deep Learning models has been interested by many scientists to participate in research, notably the Convolutional Neural Networks (CNN) model [1] as a good candidate to solve problems such as recognize object processing.

Increasing speed of recognition of YOLO-CNN algorithm from software to SoC system.

Topic’s Goal:

Success to implement YOLO algorithm on Zedboard to recognize object.


Picture 1: Overall architecture



Picture 2: Overall architecture of accelerator



Picture 3: Result after run algorithm on Zedboard



Picture 4: Power Resources after generating bitstream



Picture 5: Running by step and result


Gained:


    • Understand CNN algorithm and YOLO algorithms based on CNN.
    • Vivado can simulate yolov2 base on C/C++.
    • Create an HDF file to apply on Zedboard.
    • Calculated resources after synthesis.
    • Understand the architecture of FPGA.



Nghiên cứu và ứng dụng bluetooth mesh vào hệ thống thông minh

Đề tài gồm 2 phần:


    • Thiết kế mô hình mạng Bluetooth mesh gồm các node cảm biến lửa, ánh sáng, nhiệt độ và node Relay 4 kênh, thiết kế Gateway (bao gồm module Bluetooth nRF52832 và module Wifi ESP8266) để truyền nhận dữ liệu từ mạng mesh tới Server và ngược lại.
    • Thiết kế Server để xử lý dữ liệu và tín hiệu điều khiển từ người dùng, thiết kế một ứng dụng Android trên thiết bị di động với giao diện thân thiện giúp người dùng dễ dàng tương tác, theo dõi trạng thái của các thiết bị trong mạng mesh.



Hình 1: Sơ đồ khối cảu hệ thống



Hình 2: Thực nghiệm khả năng relay



Hình 3: Thực nghiệm khả năng tự định tuyến



Hình 4: Thực nghiệm khả năng truyền gói tin xa hơn qua nhiều node trung gian hơn



Hình 5: Phân tích sự ổn định khi truyền gói tin trong mạng mesh



Hình 6: Thực nghiệm 3 nodes relay



Hình 7:  Thực nghiệm 5 nodes relay


Kết quả:

    • Triển khai thành công mô hình mạng Bluetooth mesh.
    • Phân tích được độ ổn định trong việc truyền gói tin.
    • Việc truyền, nhận tín hiệu trong mạng Bluetooth mesh khá ổn định, khả năng bị mất gói tin thấp.



Nghiên cứu, thử nghiệm thiết bị nhận dạng trạng thái tài xế lái xe ô tô

Tìm hiểu và xây dựng một chương trình giúp nhận biết trạng thái buồn ngủ của tài xế.

Mục tiêu:

    • Nghiên cứu, hiện thực một thiết bị có thể đếm được số lần chớp mắt và số lần ngáp của người lái xe ô tô 
    • Phát triển chương trình để có thể nhận biết mức độ buồn ngủ của tài xế dựa trên tần số chớp mắt và số lần ngáp trong một phút.
    • Chương trình sẽ có độ chính xác sẽ trên 60% và mức FPS khi thực thi trên kit NVIDIA Jetson Nano có thể sử dụng cho tốt với khả năng real – time.



Hình 1:  Sơ đồ khối của hệ thống



Hình 2: Kit NVIDIA Jetson Nano



Hình 3: Tổng quan quy trình tối ưu model với TensorRT



Hình 4: Thống kê các chỉ số sau khi traing SVM với rbf kernel và c=1.9



Hình 5: Hình ảnh thực thi chương trình trên kit NVIDIA Jetson Nano


Kết quả:

    • Chương trình đã giúp nhận diện được trạng thái buồn ngủ của tài xế trên kit NVIDIA Jetson Nano với độ trễ tương đối thấp

    • Thực hiện tối ưu thành công, tăng tốc độ thực thi của chương trình đạt 19 – 20 fps trên kit NVIDIA Jetson Nano.


Nhận diện khuôn mặt real-time với mô hình Facenet và ứng dụng IOT platform

Đề tài xây dựng một hệ thống nhận diện khuôn mặt người để xác định định danh ứng dụng vào IoT. Ngoài ra, xây dựng IoT Platform hỗ trợ cho việc lưu trữ thông tin real-time cùng các thông tin của sensor.

Mục tiêu:

    • Xây dựng hệ thống nhận diện khuôn mặt với 15 FPS trên PC, Laptop và 5 FPS trên kit NVIDIA Jetson Nano.

    • Xây dựng hệ thống IoT.

    • Lưu trữ và cập nhật các thông tin IoT real-time.

    • Xây dựng giao diện người dùng và hiển thị.




Hình 1: Mô hình giải pháp



Hình 2: Sơ đồ hướng xử lý ảnh với RetineFace (trái) và MTCNN (phải)



Hình 3: Kết quả các gói tin được truyền tải lên server



Hình 4: Kết quả thu nhận thông tin từ Platform để xuất thông tin ra giao diện người dùng.



Hình 5: Kết quả so sánh FPS khi đinh danh khuôn mặt chạy trên laptop và jetson nano



Hình 6: Thống kê chi tiết độ chính xác và khoảng cách tối thiểu và tối đa để hệ thống có thể nhận diện chính xác



Hình 7: So sánh kết quả thu được với model đã được pretrained từ các github



Hình 8: Tốc độ khi tiến hành chạy từng tác vụ của hệ thống



Hình 9: Kết quả về giao diện người dùng 



Hình 10: Kết quả hiển thị database 


Kết quả:

    • Hệ thống hoạt động phụ thuộc nhiều vào khoảng cách đo và độ sáng môi trường.

    • Khoảng cách và độ sáng tỷ lệ nghịch với nhau.

    • Kết quả so sánh FPS đã đạt độ chính xác định danh chính xác đạt 90% với FPS = 15 trên PC và 2 FPS trên Jetson nano.


Phát hiện và loại bỏ mắt kình trên ảnh khuôn mặt người

Đề tài được thực hiện nhằm mục đích nhận biết và loại bỏ mắt kính trên khuôn mặt, phục vụ cho bài toán nhận diện khuôn mặt người.

Mục tiêu:

    • Nhận diện được 500 hình ảnh trực diện khuôn mặt có đeo kính (loại kính cận có viền cỡ vừa màu đen) và khuôn mặt không đeo kính. 

    • Tỉ lệ số lượng hình ảnh loại bỏ được viền mắt kính khỏi khuôn mặt người >70% trong số 500 ảnh. 

    • Tỉ lệ phục hồi ảnh khuôn mặt người sau khi loại bỏ mắt kính >80% so với ảnh khuôn mặt người không đeo kính (đối với tập dữ liệu ảnh tự chụp).

    • Xây dựng chương trình demo với giao diện đơn giản




Hình 1: Lưu đồ giải pháp



Hình 2: Chuyển đổi ảnh mức xám



Hình 3: Xác định vùng nhận dạng mắt kính



Hình 4: Xác định có mắt kính



Hình 5: Tìm những đường viền trên ảnh biên lọc được 



Hình 6: Thí nghiệm loại bỏ mắt kính



Hình 7: Thực nghiệm bằng ảnh thực tế


 

Phát triển và nâng cấp hệ thống đo lường chất lượng bể cá, cây xanh trong tòa nhà sử dụng Bluetooth mesh và Cloud

Mục tiêu:

    • Hoàn thiện, nâng cấp từ hệ thống cơ bản đã có:

    • Cải thiện tính ổn định của hệ thống gồm Bộ điều khiển – Mạng mesh – Website.

    • Hệ thống kiểm tra, đánh giá được chất lượng môi trường bể thủy sinh.

    • Thu thập thông tin định kì từ các node và đưa ra cảnh báo về môi trường.

    • Ứng dụng điều khiển trên Website và App mobile.


 


Hình 1: Sơ đồ Khối của hệ thống



Hình 2: Hệ thống đo lường chất lượng bể cá (trái) và hệ thống đo đạc cây cảnh (phải)



Hình 3: Website hiển thị thông tin các node



Hình 4: Giao diện chính, chức năng, thống kê của App mobile



Hình 5Môi trường thực nghiệm



Hình 6: Kết quả thực nghiệm xử lý ảnh nồng độ pH của hồ cá



Hình 7: Kết quả thực nghiệm truyền nhận dữ liệu của mạng mesh



Hình 8: Kết quả sau khi đo nồng độ trung bình các chất trong 4 tuần


Hình 9:   Thực nghiệm

Kết quả:

    • Hệ thống đã có thể hoạt động ổn định trong môi trường thực tế.

    • Hoàn thành được việc thu thập kết quả một cách tự động, hiển thị thông tin lên web và app mobile cho người dùng.

    • Hệ thống phù hợp với từng nhu cầu của khách hàng, linh động với các Node đô đạc có thể thay đổi với từng dự án.

{slide Research and implementation cnn arcface algorithm on kit zynq7020 for face recognition}

Face recognition with the CNN algorithm is one of the most challenging problems nowadays. Many programmers and scientists have created many algorithms and methods to solve this matter. These techniques compare to each other of how accurate and fast are they, and among all of those formulas, there is one stand out which called Arcface.

Arcface is a new algorithm that was first to introduce in February 2019 in the paper titled Arface: Additive Angular Margin Loss for Deep Face Recognition and the researchers for this paper are four scientists: Jiankang Deng, Jia Guo, Niannan Xue, and Stefanos Zafeiriou. This method is currently being research in many countries but the country that develops in China. They have many papers and articles about this new algorithm. In our country, specifically Vietnam, at the moment this method doesn’t have much research and file or papers about this, most of the articles in Vietnam just about the introduction.

The advantage of the proposed Arcface can be summarized as follows: Engaging, Effective, Easy and Efficient. But one of the difficulties in this method is that the paper and most of the example of this code is run on software, not many implement this algorithm down in the hardware system. And because of that, our group is assigned to research this algorithm and trying to implement this Arcface method down to the hardware, specifically the kit Zynq7020.



Picture 1: System's process



Picture 2: Solution 



Picture 3: Experiment


Achievement:

    • We have finished is that our group has the source code to detect objects and human faces. This might seems like a small step but it is really valuable. Because our whole project is focus on face recognition; therefore, this can be considered as one of the first major step. Without the separation from face and object, this thesis is determined to be fail at the very beginning.

    • The next step is that with the algorithm – Arcface. We can have a data of one person, the biometrics number. Data are valuable, and with that we can determine the person we want to recognize, of course with the help of the database. And final is that we did prove the idea of implement this down into hardware. The source code we have can be put on the Vivado tool but some libraries and fixing are needed.


 

Nghiên cứu phương pháp xử lý ảnh và ứng dụng vào quá trình điều khiển robot nhện 6 chân

Robot là sản phâm trí tuệ mang tính đột phá cua rcon người. Với robot, ta có thể khám phá, thăm dò những nơi mà con người chưa từng đặt chân đến, phục vụ cho sự phát triển của nhân loại.

Mục tiêu:

    • Chế tạo và điều khiển được robot nhện 6 chân

    • Robot có hỗ trợ các chức năng di chuyển cơ bản, trèo bậc thang

    • Tích hợp xử lý ảnh giúp nhận diện màu sắc các vật thể




Hình 1: Sơ đồ kết nối tổng quan của robot



Hình 2: Các thiết bị sử dụng



Hình 3: Hình mô tả các vùng làm việc trên ứng dụng di động



Hình 4: Hướng nhận diện vật thể dưới góc nhìn của Robot (trái) và Ảnh mô tả kết quả giải thuật nhận diện màu sắc (phải)



Hình 5: Kết quả 


Kết quả:

    • Điều khiển robot theo hướng thủ công bằng ứng dụng di động, đáp ứng được các thao tác di chuyển căn bản

    • Robot tự động thực hiện các chức năng theo vật thể đã nhận diện.

    • Trèo bậc thang (với chiều cao được xác định trước).


Thiết kế bộ điều khiển cache 2 mức

Trong hệ thống phân cấp bộ nhớ, cache là lớp bộ nhớ có tốc độ nhanh nhất chỉ sau tập thanh ghi. Đồng thời là nơi lưu trữ dữ liệu tạm thời tận dụng theo hai nguyên tắc cục bộ về mặt thời gian và không gian.

Mục tiêu:

Thiết kế Bộ điều khiển cache 2 mức theo phương pháp kết hợp giúp giảm thời gian truy xuất trung bình từ CPU đến bộ nhớ chính từ đó giúp nâng cao hiệu suất xử lý của CPU.



Hình 1: 3 phương pháp thiết kế cache



Hình 2: Thiết kế hệ thống



Hình 3: Mô hình ghi dữ liệu



Hình 4: Các kết quả mô phỏng



Hình 5: So sánh kết quả mô phỏng



Hình 6: Hiện thực bằng kit DE2


Kết quả:

Kết quả hiện thực hóa trên DE2 kit thực thi được:

    • Xử lý được truy xuất Hit, Miss Clean, Miss Dirty.

    • Bộ điều khiển Cache 2 mức hoạt động được ở tần số 50 MHz trên kit DE2.

Tài nguyên sử dụng trên kit DE2 khi hiện thực:

    • Số lượng logic element: 11235 / 33216 (33%).

    • Số lượng thanh ghi: 6686.

    • Số lượng pin sử dụng: 384 / 475 (80%).

Đã đáp ứng được đầy đủ các chức năng mà Cache cần phải làm như: Xử lý được các yêu cầu đọc ghi Hit từ CPU, xử lý được các tình trạng truy xuất Miss Clean và Miss dirty từ CPU.

Thiết kế hoạt động được ở tần số 50 MHz.

Đã tích hợp được Cache 2 mức với RISC-V ở mức pre-synthesis, tuy nhiên chưa tích hợp được ở mức post-synthesys.


Thiết kế bộ tăng tốc tính toán CNN

Trong những năm gần đây, mạng nơ-ron tích chập (CNN) đã đạt được thành công lớn trong các ứng dụng thị giác máy tính khác nhau như phân loại hình ảnh, phát hiện đối tượng và nhận dạng khuôn mặt. CNN chủ yếu được áp dụng trên hình ảnh 2D để tự động trích xuất các đặc điểm không gian và đã nâng cao đáng kể độ chính xác phân loại hình ảnh.

CNN đòi hỏi một lượng lớn bộ nhớ vì có hàng triệu tham số trong một mô hình CNN điển hình. Trong khi đó, CNN chuyên sâu về tính toán với hơn hàng tỷ phép toán để suy luận một đầu vào.

Nhờ những lợi thế về hiệu suất cao, tiết kiệm năng lượng và tính linh hoạt, FPGA là một trong những lựa chọn hàng đầu trong việc thực hiện tính toán tăng tốc của CNN.

Mục tiêu:

Thiết kế bộ tăng tốc tính toán CNN ở mức truyền thanh ghi (RTL) với các đặc tính:

    • 4 layers: 1 input layer, 2 hidden layer, 1 output layer
    • Khối Forward
    • Khối Backward
    • Active function: ReLU
    • Tần số hoạt động 170MHz


Hình 1: Sơ đồ khối thiết kế bộ tăng tốc tính toán CNN



Hình 2: So sánh sai số



Hình 3: So sánh chung



Hình 4: Dùng Vilvado Design Suite để lập trình



Hình 5: Dùng TeraTerm để chuyển dữ liệu từ PC sang Kit bằng UART



Hình 6: Thiết bị phần cứng sử dụng


Kết quả:

Nhóm đã hoàn thành được mục tiêu đã đề ra, cụ thể là nhóm đã thiết kế được bộ tăng tốc tính toán CNN ở mức truyền thanh ghi (RTL), bao gồm:

    • 4 layers: 1 input layer, 2 hidden layer, 1 output layer
    • Khối Forward
    • Khối Backward
    • Active function: ReLU
    • Tần số hoạt động 200MHz
    • Có tham số điều chỉnh thay đổi số lượng nơ ron của mỗi lớp, độ rộng bit của dữ liệu, …

Thiết kế bộ xử lý theo vi kiến trúc OoO

Đề tài áp dụng vi kiến trúc OoO (Out-of-Order) vào trong thiết kế  bộ vi xử lý hiệu suất cao. 

Ở Việt Nam chưa có công trình nghiên cứu cũng như sản phẩm nào liên quan đến bộ xử lý thế hệ mới RISC-V hoặc sử dụng vi kiến trúc OoO vào trong thiết kế. Nhìn thấy được lợi ích của việc áp dụng vi kiến trúc OoO vào trong thiết kế bộ xử lý với tốc độ xử lý tốt hơn, nhóm đã lựa chọn Nghiên cứu và Thiết kế một bộ xử lý theo vi kiến trúc OoO.

Mục tiêu:

Thiết kế Bộ xử lý theo vi kiến trúc OoO hỗ trợ thực hiện được 37 lệnh thuộc tập lệnh RV32I và 4 lệnh fadd (cộng), fsub (trừ), fmul (nhân), fdiv (chia) chia liên quan đến Floating point theo vi kiến trúc OoO



Hình 1:  Mô hình Out-of-Order



Hình 2: Thiết kế hệ thống tổng quát



Hình 3: Kết quả của giải pháp về năng lượng



Hình 4: Chạy mô phỏng trên phần mềm (1)



Hình 5: Chạy mô phỏng trên phần mềm (2)

Kết quả:

 Giai đoạn pre-synthesis:

Thực thi đúng chức năng: 37 lệnh thuộc tập lệnh RV32I. 4 lệnh cộng, trừ, nhân, chia với số Floating Point.

Kết quả mô phỏng chức năng tương tự như kết quả mô phỏng trong giai đoạn pre-synthesis.


Test cost reduction for Scan IOs and test time with Scan Compression Techniques in DFT

Scan Compression was introduced in the year 2000 and has seen rapid adoption. Nearly every design’s test methodology today implements this technology, which inserts compression logic in the scan path between the scan I/Os and the Internal chains.

In this project, we will take a critical look at the technology to understand how Scan Compression work.



Picture 1: Scan Compression techniques



Picture 2: Compressor and Decompressor



Picture 3: Compressor model



Picture 4: Decompressor model



Picture 5: Results



Picture 6: Demo Design Compiler and Design Vision Tool



Picture 7: Demo


Achievement:

    • The number of patterns of Internal Scan is smaller than Compression Scan because Compression Scan complexity is higher.

    • Number of cycles to load a pattern = (Number of flip-flops of each chain) – 1.

    • Total cycles = Number of patterns x Number of flip-flops of each chain.

    • Time to shift one cycle is whole design is the same and we assume it is equal 100nm.

    • Total test time = Total cycles x Time to shift one cycle.


Xây Dựng Chương Trình Phân Vùng Ảnh Đường Giao Thông Việt Nam

Mục tiêu đề tài:

    • Nghiên cứu và chọn lọc một kiến trúc mạng deep learning chạy phân vùng nội dung ảnh real time phù hợp trên board NVIDIA Jetson TX2.

    • Tự tạo bộ dữ liệu riêng của nhóm với môi trường trong nước Việt Nam để train cho mô hình.

    • Phân vùng được các đối tượng: người, xe và làn đường tại Việt Nam.

    • Nhúng thành công lên board NVIDIA Jetson TX2 và kiểm thử, cải thiện.

Hiện thực:



Hình 1: Giai đoạn 1



Hình 2: Giai đoạn 2



Hình 3: Thực nghiệm trên đường phố



Hình 4: Bảng đánh giá độ chính xác và tốc độ xử lý



Hình 5: Độ chính xác khi detect đường



Hình 6: Độ chính xác khi detect xe



Hình 7: Độ chính xác khi detect người



Hình 8: Độ chính xác khi ngược sáng (trên) và khi trời tối (dưới)


Kết quả:

    • Hoàn thành bộ dữ liệu riêng biệt với 13,000 mẫu bao gồm các đối tượng đường, lề, người, xe.

    • Phân vùng được mask cho đường riêng.

    • Phân vùng được mask chung cho người với xe.

    • Input: video dạng .mp4

    • Thời gian mô hình khởi động: 1 phút 52 giây.

    • Output: ảnh binary cho 4 filter: đường, background, người và xe, lề.

    • Mô hình phân vùng được làn đường ở Việt Nam và thậm chí là nước ngoài.

    • Chạy Real-time khi nhúng lên board NVIDIA Jetson TX2 đạt 20 FPS.




Xây Dựng Chương Trình Tạo Ảnh Bird-View Cho Xe Hơi Từ Các Camera Xung Quanh

Mục tiêu:

    • Xây dựng hệ thống camera bird-view: chạy trên board jetson nano và tốc độ xử lý 15-20 FPS.

    • Phát hiện vật cản (xe ô tô, xe máy, người, chó, mèo) và cảnh báo va chạm đối với camera trước và sau đến vật cản trong khoảng cách từ 1.5m - 2m, camera hai bên là  1m.

    • Độ chính xác của phát hiện vật cản (xe ô tô, xe máy, người, chó, mèo) khoảng 70-85%.

    • Xây dựng mô hình hiển thị và tương tác đối tượng 3D trên nền ảnh không gian xung quanh xe.

Phương pháp



Hình 1: Sơ đồ hệ thống bird-view đơn giản



Hình 2: Chuyển đổi góc nhìn bằng cách sử dụng các thuật toán “getperspective transform” và “warpPerspective”



Hình 3: Quay ảnh đã được chuyển đổi góc nhìn bằng thuật toán rotate



Hình 4: Sử dụng model SSD-Mobilenet để train và phát hiện vật cản



Hình 5: Sơ đồ hệ thống Bird-view và cảnh báo vật cản



Hình 6: Sơ đồ mô hình 3D và kết hợp với môi trường xung quanh



Hình 7:  Xây dụng mô hình đối tượng 3D



Hình 8:  Bảng kết quả đo tốc độ xử lý của Bird-view



Hình 9: Bảng kết quả đo lường tốc độ và độ chuẩn xác khi phát hiện đối tượng



Hình 10:  Bảng kết quả phát hiện vật cản 



Hình 11: So sánh 



Hình 12: Kết quả


Xây dựng hệ thống quản lý kho ứng dụng công nghệ giao tiếp không dây công suất thấp

 Mục tiêu:

    • Hiện thực một hệ thống quản lý kho với giá thành rẻ, dễ lắp đặt, giúp nâng cao năng suất nhà máy và tiết kiệm năng lượng.

    • Xem được các thông tin qua ứng dụng Web

    • Dùng phần mềm được viết cho Smartphone để thuận lợi cho quá trình lấy hàng, cũng như cập nhật thông tin

    • Hệ thống có thể lưu trữ dữ liệu cho việc thống kê

Phương pháp:


Hình 1: Sơ đồ hệ thống



Hình 2: Sơ đồ khối Gateway


Kết quả:


 


Hình 3: Giao diện ứng dụng Web



Hình 4: Một thẻ Picking Order



Hình 5: Màn hình Eink lúc Picker đang Picking



Hình 6: Thiết bị Gateway và app android lấy sản phẩm



Hình 7: Giao diện nRF Connect App

Xây dựng robot đa hướng tự hành theo quỹ đạo từ bản đồ google và tự né tránh vật cản

Giới thiệu:

Hiện nay, dễ dàng thấy rằng việc sử dụng Robot vận chuyển hàng hóa thay cho sức người đã ngày càng trở nên phổ biến, nhưng kèm theo đó vẫn luôn là những vấn đề về khoảng cách điều khiển, khả năng tự động,…

Vì vậy, nhóm quyết định nghiên cứu Robot có khả năng di chuyển linh hoạt từ nơi này sang nơi khác trên bản đồ thực tế mà không bị giới hạn khoảng cách điều khiển,…

Mục tiêu:

    • Phát triển Robot có thể điều khiển từ xa thông qua điện thoại di động.

    • Robot có thể di chuyển trên bản đồ thực tế một cách chính xác đồng thời có thể tránh né được vật cản.

Phương pháp: 


Hình 1: Sơ đồ tổng quan đề tài



Hình 2: Tổng quan ứng dụng điều khiển



Hình 3: Thuật toán Decode



Hình 4: Kết quả sau khi sử dụng thuật toán Decode



Hình 5: Sản phẩm robot



Hình 6: Sơ đồ hệ thống robot



Hình 7: Vấn đề xác định góc yaw



Hình 8: Nguyên lý bộ điều khiển PID



Hình 9: Giải thuật xử lý chính



Hình 10: Thực nghiệm