Sai lầm của phần mềm Rekognition chỉ bị phát hiện khi Liên đoàn tự do dân sự Mỹ ở Bắc California (ACLU) đã sử dụng AI này để thử quét khuôn mặt của 535 nghị sỹ quốc hội Mỹ và đối chiếu với bộ dữ liệu từ 25 ngàn bức ảnh chụp phạm nhân công khai trước đây và kết quả là đã có 28 Nghị sỹ bị nó “nhận dạng nhầm” thành tội phạm.
| 28 Nghị sỹ Quốc hội Mỹ bị AI của Amazon nhận dang nhầm thành tội phạm truy nã. |
Thêm vào đó, trong 28 nghị sỹ Quốc hội Mỹ mà Rekognition đã nhận diện là phạm nhân truy nã, có 11 vị bị xác định sai là người da màu – một sự khác biệt đáng báo động. Các thử nghiệm đã cho thấy, khả năng nhận diện khuôn mặt của AI thường kém chính xác hơn đối với những người da màu. Tính tổng thể Quốc hội Mỹ, tỷ lệ lỗi chỉ là 5% nhưng với các nghị sỹ là người da màu, tỷ lệ lỗi đã lên tới 39%.
Trong số những người bị AI “xác định nhầm là tội phạm”, có 6 người là nghị sỹ của nhóm Congressional Black Caucus, là một tổ chức chính trị do các nghị sỹ là người Mỹ gốc Phi trong Quốc hội Mỹ lập nên, đã gửi thư phản hồi tới CEO Amazon Jeff Bezos vào hôm thứ Sáu (27/7) sau khi ACLU phát hành các tài liệu nội bộ và chỉ ra sai lầm của AI Rekognition.
Liên quan đến vụ việc, Luis Gutiérrez và Mark DeSaulnier là hai trong số các nghị sỹ Quốc hội Mỹ, đã gửi thư cho Jeff Bezos yêu cầu tạm dừng sử dụng Rekognition.
Bức thư có đoạn ghi: “Công nghệ nhận diện khuôn mặt ngày càng chính xác, dễ sử dụng và tiết kiệm chi phí hơn. Chúng tôi hiểu rằng, công nghệ sẽ giúp việc thực thi pháp luật trở nên thuận lợi và dễ dàng hơn. Tuy nhiên công nghệ này luôn đi kèm với rủi ro, bao gồm cả việc xâm phạm quyền riêng tư, thiên vị, phân biệt chủng tộc và giới tính”.
Về phần mình, Amazon cũng thừa nhận rằng, “Công nghệ này vẫn chưa thực sự hoàn hảo và còn nảy sinh một số lỗi khi lập trình. Hơn nữa, việc AI phải nhận diện hàng trăm khuôn mặt không có trong dữ liệu hệ thống có thể làm nảy sinh những sai lầm trong việc nhận diện và đối chiếu”. Tuy nhiên, Amazon cũng cam kết sẽ tiếp tục cải thiện AI sao cho đạt ngưỡng chính xác tối đa lên tới 95%.
Vụ việc đang dấy lên cây hỏi, rằng liệu AI “đã đủ trưởng thành” để tham gia vào các hoạt động điều tra, nhận diện gương mặt tội phạm giúp cảnh sát hay không?
Cũng có liên quan, trong thời gian gần đây, Amazon liên tục khuyến khích các cơ quan thực thi pháp luật Mỹ thí điểm sử dụng AI Rekognition để phục vụ cho điều tra. Tuy nhiên theo công bố của ACLU, nếu AI vẫn còn tình trạng xác định nhầm người da màu như hiện nay thì sẽ tiếp tục gây ra những sai lầm chết người.
AI Rekognition bắt đầu được sử dụng từ hồi tháng 5/2018 tại sở cảnh sát Orlando. Chi phí sử dụng cho mỗi lần phát hiện chỉ khoảng 12 USD (tương đương với 279.000 đồng).
Vụ việc mới xảy ra này đang là bằng chứng rõ ràng nhất cho những hạn chế của AI trong việc tham gia vào các hoạt động đời sống, đặc biệt là phát hiện tội phạm và hỗ trợ cảnh sát.