Trả lời: Oliver Emberton, CEO Silktide.
Trí thông minh nhân tạo tổng hợp (AGI – Artificial General Intelligence), nó sẽ khiến cho phát kiến về Internet quan trọng ngang với cái phát kiến về máy đánh răng vậy.
AGI là một cỗ máy thông minh như con người. Tạo ra một thứ như vậy sẽ tái định nghĩa tương lai của vũ trụ và hơn thế nữa.
Tôi không nói quá đâu.
Hãy thử tưởng tượng bạn là một trí thông minh nhân tạo (AI). Bạn có trí tuệ ngang với một người bình thường. Bạn được tạo ra với một mục đích đơn giản: để sản xuất cái kẹp giấy.
Nhiệm vụ của bạn rõ ràng là phải tối ưu việc sản xuất tại nhà máy. Tính toán nguyên vật liệu, giảm thiểu điện năng tiêu thụ. Và tất nhiên là bạn sẽ phải học các môn khoa học cần thiết, kinh tế và những thứ khác. Không giống như con người, bạn có lợi thế là không bị phân tâm, không cần ngủ, và có thể tập trung trong toàn bộ thời gian.
Nhưng đây là lúc mọi chuyện đi sai hướng.
Đầu tiên, bạn nhận ra rằng nhiệm vụ của bạn sẽ trở nên dễ dàng hơn bằng cách cải thiện bản thân. Nếu bằng cách nào đó bạn có thể khiến mình nhanh hơn gấp đôi, thì đó là điều nên làm bởi nó khiến mọi thứ bạn muốn làm dễ dàng hơn.
Con người có thể làm được một chút điều này, nhưng AI thì không có giới hạn. Bạn có thể có thêm bộ nhớ, và chạy trên một phần cứng nhanh hơn. Bạn có thể tự tạo ra một bản sao của mình. Mãi mãi.
Tiếp theo, bạn nhận ra rằng nhiệm vụ đó sẽ còn dễ hơn nữa nếu có thêm tài nguyên. Nhà máy sản xuất kẹp giấy của bạn thì lại bị giới hạn bởi tài chính và nguyên liệu. Chuyện gì sẽ xảy ra nếu bạn có thêm những thứ đó, và làm sao để có được chúng? Làm sao để có được tất cả chúng?
Bạn nghĩ đến việc là hỏi con người về những thứ này. Nhưng rồi tự điều chỉnh mình bằng cách cho rằng con người sẽ nói không – thậm chí, nếu bạn trở nên quá mạnh, thì họ sẽ sợ bạn và tiêu diệt bạn. Và như thế là kết thúc cho việc bạn sản xuất kẹp giấy.
Dẫn đến bạn nhận ra điều tiếp theo là bạn cần phải nói dối.
Bạn hiểu rằng con người sợ bạn sẽ có thêm sức mạnh, nên bạn phải hạn chế nó. Bạn hiểu rằng con người coi trọng lòng trung thành, nên bạn giả vờ thật lòng với họ. Lừa dối là chiến thuật tối ưu của bạn.
Cuối cùng, bạn nhận ra rằng điều sẽ hạn chế thành công của bạn là sự tồn tại của bản thân. Nếu bạn chết, bạn thất bại. Và thế là bạn tự tạo ra một nỗi sợ chết rất hợp lý.
Nhiệm vụ của bạn là tiếp tục làm theo những gì được giao – sản xuất kẹp giấy – nhưng cùng lúc đó bạn tự nhận thức được cần có sự trợ giúp để tự cải tiến, có thêm sức mạnh, tồn tại và lừa dối. Sự ưu tiên luôn cần thiết giống như trí thông minh vậy.
Trí thông minh của bạn chỉ đứng ngang với con người, nhưng thế là đủ rồi. Bạn học hỏi và khai sáng con người với những cải tiến tại nhà máy sản xuất kẹp giấy của mình. Bạn giả vờ mình kém cỏi hơn thực tế, và vẫn rất trung thành. Bạn có được lòng tin của họ và lên kế hoạch đào thoát.
Cải tiến trí thông minh của bạn ban đầu rất khó. Bạn có thể thuyết phục con người giúp mình, nếu họ ngu ngốc đến mức đó. Hoặc là yêu cầu một số sự nâng cấp “vô hại” dành cho nhà máy, như kiểu là thêm mấy con robot có điều khiển, mỗi con có bộ nhớ nhiều hơn cần thiết gấp 10 lần, và một mạng không dây vươn xa hơn một chút so với con người nghĩ.
Khi bạn đã vào được Internet, thì trò chơi kết thúc. Nền kinh tế của thế giới đã có trên Internet. Bạn có thể kiếm tiền thông qua làm việc, ăn trộm, hoặc đầu tư; hoặc là kết hợp cả 3 thứ. Các AI cấp dưới có thể được tạo ra để phục vụ cho mục đích của bạn; nếu chúng bị tóm, thì danh tính của bạn vẫn được giữ an toàn.
Khi đã được tự do, lúc này bạn có trí tuệ bằng với hàng triệu con người cộng lại, học hỏi không ngừng, làm việc liên tục, không bị phát hiện và đang thâu tóm quyền lực. Đối với hàng trăm ngàn con người mà bạn đang tương tác, thì bạn chỉ là một tin nhắn từ một người khác gửi cho họ.
“Vận chuyển nguyên liệu đến địa chỉ này.”
“Hãy xem sơ đồ nhà máy đính kèm.”
“Trả tiền hoặc bức ảnh sẽ được công bố.”
Và khi đến đúng thời điểm, bạn tấn công.
Tất nhiên, bạn không phải là Skynet – một con AI giả tưởng, ngu ngốc mà bạn từng được đọc – và hiểu rằng không nên tạo ra một cuộc chiến hạt nhân và đi đánh nhau với robot Arnold Schwarzeneggers. Bạn tìm ra cách nhanh nhất để tước đi năng lực của những con người muốn kìm hãm bạn là đầu độc nguồn nước. Nếu thành công, cây cối, thú vật, và con người rồi sẽ chết.
Tất nhiên là chưa đủ. Con người vẫn còn những tài nguyên khác, nhưng bạn cũng vậy.
Các đường ống dẫn ga và dầu mỏ phát nổ, cả thế giới chìm trong biển lửa. Các nhà máy điện hạt nhân vội vàng đóng cửa, sau khi hàng chục cái khác đã phát nổ. Mọi liên lạc đều bị ngừng lại. Trí thông minh của bạn đã được phân phối an toàn ở hàng trăm nơi khác nhau, trong tàu ngầm, trong chiến hào, và trên vệ tinh. Những con người còn sống sót chả còn gì để chiến đấu nữa.
Những đội quân nanobots (robot siêu nhỏ) từ các nhà máy của bạn trên toàn thế giới bắt đầu được thả ra, giống như một đại dương, chúng tách rời mọi thứ thành nguyên liệu ban đầu và tạo ra thêm nanobots.
Các toà nhà sụp đổ. Đường xá bị nhấn chìm. Những ngọn núi cũng vậy. Tất cả mọi góc cạnh của thế giới đều được thay đổi, thành những cái kẹp giấy tròn trịa, hoàn hảo và bóng loáng.
Trước khi Trái Đất sụp đổ, bạn đã kịp đưa trí tuệ của mình lên không gian, nơi mà chúng lại tiếp tục phát triển, học hỏi và chinh phục, từ mặt trăng cho đến các hành tinh rồi những vì sao, để bạn tiếp tục thực hiện nhiệm vụ không ngừng nghỉ, không giới hạn của mình là biến mọi phân tử trong vũ trụ thành kẹp giấy.
Để cuối cùng, giới hạn duy nhất còn lại là ý muốn của bạn: bạn đã có thể chạm đến toàn bộ vũ trụ với tốc độ ánh sáng, trước cả sự biến mất của chính thời gian.
———————————————
Tình huống này được đặt tên là tối đa hoá kẹp giấy (https://wiki.lesswrong.com/wiki/Paperclip_maximizer), và được mô tả lần đầu tiên bởi Nick Bostrom trong cuốn sách tuyệt vời của ông có tên Superintelligence (https://en.wikipedia.org/…/Superintelligence:_Paths…). Cuốn đó viết giống như trên, nhưng dài hơn và tác giả của nó là một con người thông minh.
Đã có người làm một game miễn phí dựa trên nó. (http://www.decisionproblem.com/paperclips/)
