Instrumentalna konvergencija

Instrumentalna konvergencija je hipotetička tendencija većine dovoljno inteligentnih bića (ljudi i ne-ljudi) da slede slične podciljeve, čak i ako su njihovi krajnji ciljevi sasvim različiti.[1] Tačnije, agenti mogu da slede instrumentalne ciljeve – ciljeve koji su napravljeni u potrazi za nekim određenim ciljem, ali nisu sami krajnji ciljevi – bez prestanka, pod uslovom da njihovi krajnji (intrinzični) ciljevi možda nikada neće biti u potpunosti zadovoljeni.

Instrumentalna konvergencija postavlja da inteligentni agent sa neograničenim, ali bezopasnim ciljevima može delovati na iznenađujuće štetne načine. Na primer, računar sa jedinom, neograničenom svrhom rešavanja složenog matematičkog problema kao što je Rimanova hipoteza, mogao bi da pokuša da pretvori celu Zemlju u jedan džinovski računar kako bi povećao svoju računarsku moć tako da može uspeti u svojim proračunima.[2]

Predloženi osnovni AI pogoni uključuju funkciju korisnosti ili integritet cilja-sadržaja, samozaštitu, slobodu od smetnji, samopoboljšanje i nezasitno sticanje dodatnih resursa.

Reference

[уреди | уреди извор]
  1. ^ „Instrumental Convergence”. LessWrong (на језику: енглески). Архивирано из оригинала 2023-04-12. г. Приступљено 2023-04-12. 
  2. ^ Russell, Stuart J.; Norvig, Peter (2003). „Section 26.3: The Ethics and Risks of Developing Artificial Intelligence”. Artificial Intelligence: A Modern Approach. Upper Saddle River, N.J.: Prentice Hall. ISBN 978-0137903955. „Similarly, Marvin Minsky once suggested that an AI program designed to solve the Riemann Hypothesis might end up taking over all the resources of Earth to build more powerful supercomputers to help achieve its goal.” 

Literatura

[уреди | уреди извор]