Những người hiểu về AI sẽ nói với bạn rằng đây chính là lý do tại sao AI có thể hủy hoại thế giới.
Mối nguy hiểm từ AI không phải từ một hệ thống kiểu skynet siêu thông minh mà là từ một AI ngốc không “hiểu” bất cứ điều gì với đầy đủ cơ quan tiếp nhận thông tin đang tồn tại ở thế giới thực này.
Do đó, tại sao *trình tối ưu hóa kẹp giấy* thường được sử dụng làm ví dụ.
>u/Bainos (602 points)
Có một vài nhà nghiên cứu đang cố gắng tích hợp kiến thức chung vào AI, nhưng tiếc là chúng ta có rất ít hiểu biết về những kiến thức chung.
>u/robotrage (122 points)
trình tối ưu hóa kẹp giấy?
>>u/ObviouslyTriggered (286 points)
Bạn chế tạo một cỗ máy và đặt một mục tiêu cho nó là tối ưu hóa việc sản xuất kẹp giấy; nó biến toàn bộ hành tinh thành một nhà máy sản xuất kẹp giấy và con người bây giờ hoặc là nô lệ hoặc tệ hơn – nguyên liệu thô.
(Mà trớ trêu thay đây có thể là “lỗi” thực sự của chính Skynet trước khi nó xuất hiện trong các bộ phim mới hơn về kẻ hủy diệt; đó là một hệ thống được cho là để ngăn chặn chiến tranh nên có thể nó phát hiện ra rằng cách tốt nhất để ngăn chặn chiến tranh là tiêu diệt loài người )
Vấn đề với kiểu machine learning “AI’s” là không có cách nào để chính thức chứng minh được tính đúng đắn của một mô hình.
Bạn hoàn toàn có thể chứng minh trên lý thuyết nhưng điều đó lại không thực tế.
Vì vậy, mặc dù nó có thể đủ tốt cho một ứng dụng kiểu hot dog không phải hot dog, việc áp dụng nó cho các vấn đề lớn hơn có thể gây ra một số quan ngại, đặc biệt là khi bạn còn cấp quyền đại diện cho nó nữa.
>>u/ThePixelCoder (70 points)
Giả sử chúng ta có một AI với mục tiêu duy nhất là tạo ra càng nhiều kẹp giấy càng tốt. AI sẽ nhanh chóng nhận ra rằng sẽ tốt hơn nhiều nếu không có con người vì con người có thể quyết định tắt nó đi. Bởi vì nếu con người làm như vậy, số lượng kẹp giấy sẽ ít hơn. Ngoài ra, cơ thể con người chứa rất nhiều nguyên tử có thể làm nguyên liệu tạo thành những chiếc kẹp giấy. Tương lai mà AI đang cố gắng hướng tới sẽ là một tương lai mà trong đó có rất nhiều kẹp giấy nhưng không có con người.
– Nick Bostrom
TL;DR: một AI được thiết kế để thực hiện một nhiệm vụ đơn giản có thể trở thành kẻ ác không phải vì nó tự nhận thức được hay có ý thức xấu xa, mà chỉ đơn giản là vì loại bỏ con người sẽ làm cho nhiệm vụ trở nên hiệu quả hơn
