Thêm camera là bước nhảy lớn nhất trong một dự án robot tự làm. Nó mở ra rất nhiều khả năng và cũng mang theo một loạt vấn đề mới mà phần cơ khí không có.
Bắt đầu đơn giản
Bài toán đầu tiên — nhận màu. Tìm vật màu đỏ trên nền trắng. Chỉ cần lọc theo màu và tìm vùng lớn nhất. Không cần học máy.
Vì sao bắt đầu ở đây. Chạy được ngay, hiểu được toàn bộ, và dạy các bước cơ bản — chụp ảnh, xử lý, tìm vị trí, chuyển sang toạ độ robot.
Bài toán thứ hai — nhận hình dạng. Phân biệt hình tròn với hình vuông bằng đặc trưng hình học của vùng.
Bài toán thứ ba — mã hình. Nhận và đọc mã dán trên vật. Rất đáng tin và dùng nhiều trong thực tế.
Bài toán thứ tư — nhận vật bằng mô hình học sâu. Khi các cách trên không đủ.
Đừng bắt đầu bằng học sâu. Nó che giấu việc bạn chưa hiểu các bước cơ bản, và khi không chạy thì không biết vì sao.
Nguyên tắc chung. Đơn giản hoá bài toán bằng môi trường trước khi tăng độ phức tạp của thuật toán. Nền tương phản và ánh sáng đều giải quyết được rất nhiều.
Ánh sáng và bố trí
Đây là phần quan trọng nhất và hay bị bỏ qua. Ánh sáng tốt cải thiện kết quả nhiều hơn mọi thay đổi ở thuật toán.
Ánh sáng đều. Đèn từ nhiều hướng, có tán xạ. Tránh bóng đổ mạnh.
Che ánh sáng tự nhiên. Nắng qua cửa sổ đổi suốt ngày. Hộp che quanh vùng làm việc là giải pháp đơn giản và hiệu quả.
Nền tương phản. Vật sáng trên nền tối hoặc ngược lại.
Tránh bề mặt bóng. Gây loá. Dán giấy nhám hoặc sơn mờ.
Cố định camera chắc chắn. Giá đỡ rung làm ảnh nhoè và làm hiệu chỉnh vô hiệu.
Vị trí camera. Hướng xuống từ trên là đơn giản nhất — vật nằm trên mặt phẳng đã biết nên suy ra vị trí ba chiều được từ ảnh hai chiều.
Camera trên tay robot. Linh hoạt hơn nhưng phức tạp hơn nhiều về hiệu chỉnh và về xử lý ảnh nhoè do chuyển động.
Chuyển từ ảnh sang toạ độ robot
Đây là bước quyết định. Nhận ra vật trong ảnh là một chuyện; robot với tới đúng chỗ là chuyện khác.
Cách đơn giản nhất — mặt phẳng đã biết. Nếu vật luôn nằm trên một mặt phẳng ở độ cao cố định thì quan hệ giữa toạ độ ảnh và toạ độ mặt phẳng là một phép biến đổi đơn giản.
Cách xác định phép biến đổi. Đặt bốn điểm ở vị trí đã biết trên mặt phẳng, ghi toạ độ ảnh của chúng, giải ra phép biến đổi. Rất đơn giản và đủ cho phần lớn dự án học tập.
Cách chính xác hơn. Hiệu chỉnh camera đầy đủ để có thông số nội tại và khử méo, rồi hiệu chỉnh tay mắt.
Kiểm chứng. Đặt vật ở vị trí đo được bằng thước, xem hệ thống báo toạ độ nào, so sánh. Lặp ở nhiều vị trí khắp vùng.
Lỗi thường gặp. Quên khử méo ống kính. Sai số nhỏ ở giữa ảnh và lớn ở rìa.
Lỗi thường gặp thứ hai. Nhầm gốc toạ độ ảnh. Nhiều thư viện đặt gốc ở góc trên bên trái với trục dọc hướng xuống.
Lỗi thường gặp thứ ba. Không tính độ cao vật. Vật cao hơn mặt phẳng chuẩn sẽ cho toạ độ lệch.
Phần cứng và hiệu năng
Camera. Loại phổ thông là đủ cho dự án học tập. Ưu tiên loại có màn trập toàn cục nếu có chuyển động.
Máy tính. Xử lý ảnh nặng hơn nhiều so với điều khiển. Máy tính nhỏ chạy được các thuật toán cơ bản; mô hình học sâu cần mạnh hơn hoặc cần mô hình nhẹ.
Giảm độ phân giải. Cách tăng tốc hiệu quả nhất. Thời gian xử lý thường tỷ lệ với số điểm ảnh. Thử xem độ phân giải thấp hơn có đủ không.
Cắt vùng quan tâm. Chỉ xử lý phần ảnh có thể có vật. Giảm tính toán và giảm nhiễu cùng lúc.
Không cần xử lý mọi khung hình. Vài lần mỗi giây thường đủ cho gắp và đặt.
Tách luồng. Xử lý ảnh chạy riêng, không chặn vòng điều khiển.
Đo thời gian thực tế. Từ lúc chụp tới lúc có kết quả. Bao gồm cả tiền xử lý, mà tiền xử lý thường chiếm nhiều hơn dự đoán.
Từ nhận diện tới gắp được
Bước một — tìm vật. Vị trí trong ảnh.
Bước hai — chuyển sang toạ độ robot.
Bước ba — xác định hướng. Vật dài thì phải biết nó nằm theo hướng nào để xoay kẹp cho đúng. Tính từ hình dạng vùng.
Bước bốn — chọn điểm cầm. Với vật đơn giản thì tâm là đủ. Với vật phức tạp thì cần chọn chỗ kẹp được.
Bước năm — kiểm khả thi. Điểm có trong tầm với không, có va chạm gì không.
Bước sáu — tiếp cận và gắp. Tới điểm phía trên trước, hạ xuống thẳng đứng, kẹp, nhấc lên.
Bước bảy — xác nhận. Đã cầm được chưa. Kiểm bằng vị trí ngón kẹp hoặc chụp lại ảnh.
Xử lý thất bại. Thử lại, đổi điểm cầm, hoặc bỏ qua vật đó. Không có xử lý thất bại thì hệ thống dừng mỗi lần trượt.
Và ghi lại ảnh mỗi lần thất bại. Nguồn cải thiện tốt nhất, và nhìn ảnh thường cho câu trả lời ngay.
Câu hỏi thường gặp
Nên bắt đầu bài toán thị giác nào trước?
Nhận vật theo màu trên nền tương phản. Chạy được ngay, hiểu được toàn bộ, và dạy đủ các bước cơ bản từ chụp ảnh tới chuyển sang toạ độ robot.
Phần nào cải thiện kết quả nhiều nhất?
Ánh sáng và bố trí — đèn đều, che ánh sáng tự nhiên, nền tương phản. Cải thiện nhiều hơn mọi thay đổi ở thuật toán và tốn ít hơn nhiều.
Cách đơn giản nhất chuyển toạ độ ảnh sang toạ độ robot?
Nếu vật luôn nằm trên một mặt phẳng ở độ cao cố định, đặt bốn điểm ở vị trí đã biết, ghi toạ độ ảnh của chúng và giải ra phép biến đổi.
Cách tăng tốc xử lý ảnh hiệu quả nhất?
Giảm độ phân giải và cắt vùng quan tâm. Thời gian xử lý thường tỷ lệ với số điểm ảnh, và cắt vùng còn giảm nhiễu cùng lúc.
Đọc thêm trong Thiết kế cơ khí và Điện & đấu nối.
