유발 하라리_[넥서스] 리뷰. 6장. 새로운 구성원: 컴퓨터는 인쇄술과 어떻게 다른가?

 

오늘부터 제2부를 읽는다. 
본격적인 컴퓨터에 대한 이야기다. 
 
날씨는 많이 따뜻해졌다.
히터를 켜지 않아도 사택이 별로 춥지 않은 4월의 봄이다. 

---

■밑줄 그은 문장들
 

지금 진행되고 있는 혁명의 씨앗은 컴퓨터다. 인터넷부터 AI까지 다른 모든 것은 부산물이다.

 

결정을 내리고 새로운 아이디어를 생성할 수 있는 지능형 기계의 등장은 역사상 처음으로 힘이 인간에게서 다른 데로 이동하고 있음을 의미한다. 

 

우리는 소셜 미디어 알고리즘이 인쇄술이나 라디오 장치와는 근본적으로 다르다는 사실을 이해해야 한다. 2016-2017년에 페이스북 알고리즘은 스스로 능동적이고 운명적인 결정을 내리고 있었다. 알고리즘은 인쇄기보다는 신문 편집자에 더 가까웠다. ...알고리즘은 사용자들의 뉴스 피드 상단에 무엇을 배치할지, 어떤 콘텐츠를 홍보할지, 어느 페이스북 그룹에 가입하라고 추천할지 결정했다. 

 

하지만 첫 번째 영상이 끝나는 즉시 페이스북 알고리즘은 사용자를 화면 앞에 붙들어두기 위해 증오로 가득한 위라투 영상을 자동 재생하기 시작했다. ...다시 말해, 사람들은 무엇을 볼지 스스로 선택하고 있지 않았다. 알고리즘이 대신 선택해주고 있었다. 

 

알고리즘은 왜 자비가 아니라 분노를 추천하기로 결정했을까? ... 페이스북은 더 많은 데이터를 수집하고 더 많은 광고를 판매하고 정보 시장에서 더 높은 점유율을 확보하기 위해 사용자 참여 극대화라는 사업 모델을 채택했다. '사용자 참여'란 사용자가 플랫폼에서 보내는 시간뿐만 아니라, '좋아요' 버튼을 누르거나 게시물을 친구들과 공유하는 등 사용자가 하는 모든 행동을 가리킨다. .. 사람들이 페이스북 플랫폼에서 더 많은 시간을 보낼수록 페이스북은 부자가 되었다. 이 사업 모델에 따라 인간 관리자들은 자사의 알고리즘에 딱 하나의 최우선 목표를 부여했다. 바로 사용자 참여를 늘리라는 것이었다. 알고리즘은 수백만 사용자들을 대상으로 실험하면서 분노가 참여도를 높인다는 사실을 알아냈다. 인간은 자비를 가르치는 법문보다 증오로 가득한 음모론에 더 끌리는 경향이 있다. 따라서 알고리즘은 사용자 참여도를 늘리기 위해 분노를 퍼뜨리는 운명적인 결정을 내렸다.

 
 

많은 독자들은 알고리즘이 독립적인 결정을 내린다는 주장에 동의하지 않을 것이고, 알고리즘이 한 모든 일은 인간 개발자가 작성한 코드와 인간 경영진이 채택한 사업 모델의 결과물이라고주장할지도 모른다. 이 책의 입장은 다르다. .. 알고리즘도 인간 개발자가 프로그래밍하지 않은 것을 스스로 학습할 수 있고 인간 경영진이 예측하지 못한 결정을 내릴 수 있다. 수많은 새로운 주체들이 세상에 등장하여 강력한 영향력을 행사하고 있다는 것, 이것이 AI혁명의 본질이다. 

 

우리는 미래에 대한 통제력을 잃을 위험에 놓여 있다. 이질적인 지능의 결정과 목표를 따르는 완전히 새로운 종류의 정보 네트워크가 등장하고 있다. 아직까지는 우리가 이 네트워크에서 중심적인 역할을 한다. 하지만 우리는 서서히 가장자리로 밀려날 수 있으며, 궁극적으로 네트워크는 우리가 없어도 스스로 작동할 수 있을지도 모른다. 

 

지능과 의식은 다르다. 지능은 목표를 달성하는 능력이다. 의식은 고통, 쾌락, 사랑, 증오 같은 주관적인 감정을 경험할 수 있는 능력이다. 

 

인간을 조종하기 위해 뇌를 컴퓨터에 물리적으로 연결할 필요는 없다. 수천년 동안 예언가, 시인, 정치인 들은 언어를 이용해 사회를 조종하고 바꾸었다. 이제 컴퓨터들이 이 방법을 학습하고 있다. 그리고 컴퓨터는 우리를 죽이기 위해 킬러 로봇을 보낼 필요가 없다. 인간들이 방아쇠를 당기도록 조종하기만 하면 된다.

 
 

전통적으로 AI는 '인공지능Artificial Intelligence'의 약자로 쓰였다. 하지만 앞선 논의에서 명백히 확인된 이유들 때문에 이제는 AI를 '이질적인 지능 Alien Intelligence'의 약자로 간주하는 것이 더 나을지도 모른다. 

 

정보혁명을 주도하는 사람들은 그것을 규제해야 하는 사람들보다 기반 기술에 대해 훨씬 더 많이 알고 있다. 상황이 이런데 고객이 항상 옳고 유권자가 가장 잘 안다고 입으로만 외치는 것이 무슨 의미가 있을까?

 
 

새로운 컴퓨터 기반 네트워크에서 점점 더 무력해지는 소수로 살아간다는 것이 인간에게 무엇을 의미할까?... 수십억 개의 비인간 존재에게 끊임없이 감시당하고, 지시받고, 영감을 얻고, 제재를 받는 것은 어떤 느낌일까?

 

우리의 선택은 불가피한 것이 아니라 정치적, 경제적, 문화적 우선순위를 반영한다. 

 

우리가 주체적인 선택을 할 수 있으려면 먼저 그 새로운 기술이 무엇이고 무엇을 할 수 있는지 이해해야 한다. 이는 모든 시민의 시급한 책임이다. .. 우리의 미래를 계속 우리가 통제하기 위해서는 컴퓨터의 정치적 잠재력만큼은 반드시 이해해야 한다. 

 
 
 
 
 
■ 알게된 것
 
탄광의 카나리아 :  '위험의 전조증상'라는 관용적인 표현.
 
카나리아는 일산화탄소(무색무취의 유독가스)에 민감한 새다. 광산의 갱 안에서 새장에 카나리아를 키우다가 카나리아가 쓰러지면 갱도안에 유독가스가 가득하다는 신호로 알고 광부들이 탈출했다.  
 
■ 느낀점
 
1. 
알고리즘은 인간이 프로그래밍한대로 결과값을 내놓는것이지만,
그 목표는 오직 사람들을 '오래 붙들어두기 위해서'이다.
그래야만 그 플랫폼이 더 성공적이고, 광고가 더 붙고, 플랫폼 소유자에게 부를 가져다 주기 때문이다...
 
사람들이 선한 뉴스보다는, 자극적인 정보를 클릭할 가능성이 높다. 
알고리즘은 사람들이 더 클릭할만한 것을 상위로 노출시킬 수 밖에 없다. 
사람들은 점점 더 자극적인 컨텐츠를 소비하는 시간이 늘어날 것이다. 
 
그러면 알고리즘을 어떻게 조절해야 하나?
적절한 비율을 섞어서 추처하도록 해야할까?
자극을 끌만한 요소 7: 유익한 정보:3 이렇게 조절해주는 것이 플랫폼 개발자들의 역할인가?
그러면 그 유익한 정보라는 것은 어떻게 판별할것인가.
...
 
2.
모든 자연현상에는 자정작용이 일어나기 마련인데
컨텐츠 소비에도 자정현상은 일어날까?
분명히 자극적인 컨텐츠가 훨씬 클릭의 가능성이 높지만, 한편으로는 사람들은 지성에 목마른 것도 분명히 있다. 그래서 다양한 지식 컨텐츠 또한 분명한 수요가 꾸준히 있음을 희망으로 여겨도 좋지 않을까. 독서 컨텐츠나, 인문교양 컨텐츠 같은 것들. 
 
 
3. 
한편으로는 '친밀감'이라는 단어가 많이 읽혔는데,
알고리즘이 사람들의 '친밀감'을 느끼게 해서 영향을 미치게 한다는 것이다. 
 
친밀감은 사람들로 하여금 결정에 큰 영향을 미치는 요소라는 것을
컴퓨터조차도 프로그래밍하여 이용하려는 세상이다. 
 
친밀함은 조심해야 하기도, 또 인간이기에 놓지 않아야 하는 감정이기도 하다. 
 
 
4.
읽을 수록 조지오웰의 소설. [1984]가 떠오른다. 조지오웰은 천재작가인거 같다.  넥서스 읽고 나서 [1984]를 꼭 다시 읽어보아야겠다.