[별난상식] 소리를 보고 색을 듣는다

[별난상식] 소리를 보고 색을 듣는다



  특이한 뇌의 질병의 하나로 신체 지각 기능의 혼돈과 중첩 증상을
보이는 시네스테지아(공감각)라는 현상이 있다.

신경학자에 의하면 이질병을 가진 사람들은 글자 그대로 말을 맛보며
소리를 보고 맛을 만진다고 한다.

오클라호마의 어떤 여인은 고양이가 고르르대는 소리로 허공 중에 긴
쇠사슬을 보았으며 전화기가 울리는 소리로 인해 허공에 떠다니는 다
이아몬드 형태를 보았다고 한다.
또 다른 여인은 말을 맛본다고 한다. 공화당원이라는 말은 복숭아 맛이
 나며, 뉴욕이라는 말은 토스트 맛이 난다고 말한다.

이 질병에 걸린 한 남자는 맛을 만질 수 있는데 신맛은 뾰족한 물체를,
닭고기는 모서리진 물체를 만지는 느낌이 든다고 주장했다.

--------
우리가 보는 세상은 우리 시각적 작용에 불과하다.
어떤 훈련을 한다면 전혀 다른 세상을 볼 수 있다.
존재함은 생각할수록 불가사의한 것이다.

다음은 테드의 한 강연, 소리를 보는 남자 얘기다.




-----[테드동영상]

닐 하비손(31)은 영국 국적의 화가, 음악가, 그리고 사이보그 보급 주창자. 하비손은 태어날 때부터 완전색맹 (achromatopsia)이어서 짙고 옅음의 구분만이 가능한 회색의 세계에서 살아옴. 어렸을 땐 흰색, 검정색, 회색의 세가지 옷만 입음. 그러나 색없는 세상을 사는 것은 불가능. 스포츠 유니폼도 색깔이 있고, 화학, 문학에도 색이 등장하며 색과 전혀 관계 없는 것 조차도 색으로 표현됨: 블루투스, 엘로우페이지, 그린카드, 그린랜드, 제임스 브라운 등. 미술학교에 입학해서는 흰색과 검정색으로만 그림을 그리는 것을 허락받음. 색은 하비손에게 미스테리였으며, 색을 감지하고 싶은 욕구는 커져감.

하비손은 대학에서 작곡을 공부하던 중 2013년 아담 몬탄돈 Adam Montandon 이라는 컴퓨터과학자의 강연을 듣고, 그에게 자신의 색을 감지하지 못하는 문제를 해결해줄 수 있는지 묻는다. 모든 색은 특유의 주파수가 있고, 모든 소리에는 고유의 주파수가 있다. 몬탄돈은 색 주파수를 소리 주파수로 전환시키는 장치를 고안한다. 그후 몇가지 개선과정을 거쳐 하비손은 ‘색을 듣는’ 전자눈을 영구적으로 착용하며 생활하고 있다. 하비손 머리 위에 고정된 안테나 끝에는 색을 감지하는 소형카메라가 달려 있다. 감지된 색은 주파수로 전환되고, 그 주파수는 소리로 전환되어 뼈을 통해 소리로 하비손의 뇌에 전달된다. 빨간색은 코드 F, 노란색은 G, 녹색은 A 노트로 바뀌어 들린다.

하비손은 전자눈을 거의 10년째 착용해오고 있다. 그는 전자눈으로 인해 자신의 인생이 바뀌었다고 생각한다. 피카소 전시회에서 그는 마치 콘서트홀에서처럼 피가소를 듣는다. 그에게 수퍼마켓을 가는 것은 마치 다양한 멜로디로 꽉차있는 나이트클럽에 가는 것과 같다. 특히, 알록달록 밝은 색상의 세제섹션에 가면 엄청 흥분된다고 하비손은 말한다. 그는 옷입는
스타일도 바뀌었다. 전자눈 이전에는 보기 좋은 옷을 입었으나 지금은 소리가 좋은 옷을 입는다고 한다. 하비손은 미에 대한 생각도 바뀌었다고 한다. 잘생긴 사람이라도 소리는 좋지 않을 수 있고, 못생긴 사람이라도 좋은 소리가 날 수 있단다.

하비손에게는 전자눈 착용의 2차 효과가 나타나기 시작했다. 색을 보고 그 색의 소리를 듣던 그는 이제 소리만 들으면 마음속에 그 소리에 해당하는 색이 생각난다고 한다. 예를 들면, 전화기 신호음을 들으면 하비손은 녹색이 떠오른다고 한다. G노트가 들어간 모짜르트를 들으면 노란색이 생각나고, E노트와 D노트가 많이 사용된 저스틴 비버의 노래를 들으면 핑크색이 생각난다고 한다.

하비손은 사람의 눈처럼 360가지 색조를 소리로 구분할 수 있을 뿐 아니라, 사람의 눈으로는 감지할 수 없는 자외선과 적외선까지 소리로 감지할 수 있단다. 인간의 감각능력 확대를 옹호, 주창하는 그는 자신이 기술, 테크놀러지를 사용하는 것이 아니라 안테나는 자신의 몸의 일부이며, 자신 자체가 바로 테크놀러지라고 생각한단다. 하비손의 여권에는 안테나가 부착된 그의 사진이 들어가 있다. (처음에 정부는 그 사진 사용을 불허했으나, 주위 사람들의 청원으로 허가를 받음.) 하비손은 2010년 인간의 인지능력 확대를 확산시키기 위한 비영리재단인 사이버그 재단 Cyborg Foundation을 공동 창립한다. 인간의 지식은 감각기관의 감지능력으로 가능한 것이기 때문에 우리 인류가 감지능력을 확장시키면 이는 곧 인류의 지식을 확장하는 것이라는 것이 그의 믿음.

(Courtesy: TED Radio Hour, “Extrasensory”, 07/03/2014)

하비손의 강연_유툽 동영상

-출처: https://johnhchang.wordpress.com/2014/05/19/%EC%83%89%EC%9D%84-%EB%93%A3%EB%8A%94-%EC%82%AC%EB%9E%8C-%EB%8B%90-%ED%95%98%EB%B9%84%EC%86%90-neil-harbisson/
---------------------------------------







---[테드 강연]


Neil Harbisson: 귀로 색깔을 듣는 남자
Posted Jul 2012
Rated Fascinating, Jaw-dropping


0:12
저는 전색맹이라는 희귀 질환을 가지고 태어났습니다. 전색맹인 사람은 색깔을 전혀
구분할 수 없습니다. 때문에 저는 지금까지 단 한 번도 색깔을 본 적이 없고 색깔이 어
떤 건지도 모릅니다. 저에겐 모든 것이 흑백입니다. 하늘도 항상 흑백이고 꽃들도 항상
흑백이고 TV도 제겐 여전히 흑백입니다.
0:32
하지만 21세 때부터 전 색깔을 눈으로 보는 대신 귀로 듣기 시작했습니다. 2003년에 저
는 컴퓨터 과학자인 Adam Montandon과 함께 한 프로젝트를 시작했는데 슬로베니아의
 Peter Kese와 바르셀로나의 Matias Lizana의 도움을 받아 이 '전자 눈'을 만드는 것을
성공했습니다. 이 전자 눈은 색의 주파수를 감지해 제 앞에 어떤 색이 있는지 알아 맞출
수 있습니다. (주파수 소리) 감지된 주파수가 제 머리 뒤에 장착된 칩으로 전달되면
골전도 방식으로 제가 보고 있는 색의 소리를 들을 수 있는 것입니다. (주파수 소리) 예
를 들어 이건 보라색의 소리입니다. (주파수 소리) 이건 풀색의 소리이고요. (주파수 소리)
 이건 TED처럼 빨간색의 소리입니다. (주파수 소리) 이건 더러운 양말의 소리입니다.

 (웃음) 노란색 양말이군요.
1:35

저는 2004년부터 8년간 계속해서 색의 소리를 들어왔습니다. 때문에 저에게 '색의 소리'는
언제나 존재하는, 지극히 일상적인 것입니다. 처음에는 색의 이름과 소리를 의식적으로
외우고 서로 연결시켜야 했지만 시간이 지나면서 이 모든 정보를 자연스럽게 지각하게 됐
습니다. 더 이상 의식적으로 생각하지 않아도 됐고 좀 더 지난 뒤에는 실제로 색을 느낄 수
 있게 됐습니다. 저는 특정 색을 선호하기 시작했고 꿈에서도 색을 인지하기 시작했습니다.

2:03

제가 꿈에서 색을 인지한다는 것은 전자 눈의 소프트웨어와 저의 뇌가 하나로 통합됐다는
것을 의미합니다. 꿈에선 소프트웨어가 아닌 제 뇌가 색의 소리를 만들어내기 때문입니다.
 이 때부터 전 마치 사이보그와 같은 존재가 됐습니다. 전자 눈를 더 이상 외부 기기로 보
지 않고 제 몸의 일부이자 제 감각의 연장선으로 생각하기 시작한 것입니다. 전 전자 눈이
 저의 일부라는 것을 공식적으로 인정받기도 했습니다.
2:35
이건 2004년에 찍은 제 여권입니다. 영국에서는 여권 사진에 전자 기기가 보이면 안됩니다.
하지만 여권 발급기관에 가서 제 전자 눈은 단순히 전자 기기가 아니라 제 몸의 일부분이자
제 뇌의 연장선에 있는 것이라고 말했더니 결국 이 사진을 사용하는 것을 허가해줬습니다.
2:54
색을 듣기 시작한 이후부터 제 삶엔 큰 변화가 생겼습니다. 색은 거의 모든 곳에 존재하기
때문입니다. 예를 들어 미술관에 가서 피카소의 작품을 구경하면 마치 콘서트에 온 듯한 느
낌이 듭니다. 저는 그림의 소리를 듣기 때문입니다. 이건 슈퍼마켓에서도 마찬가지입니다.
슈퍼마켓 안에서 걸어다니면 마치 나이트클럽에 온 듯한 기분이 듭니다. 엄청나게 다양한
멜로디를 들을 수 있죠. (웃음) 슈퍼마켓 내에서도 특히 청소용품 코너의 소리는 정말 대
단합니다. (웃음)
3:29
색의 소리 덕분에 옷을 입는 방식도 달라졌습니다. 전에는 보기 좋게 옷을 입었는데 이제는
듣기 좋게 옷을 입습니다. (웃음)
3:38
(박수)
3:43
오늘 저는 다장조 옷을 입어서 쾌활한 소리가 납니다. (웃음) 장례식에 참석할 때에는 나단
조 옷을 입는데 색으로 따지면 청록색, 보라색, 그리고 주황색입니다. (웃음)
4:02
옷 뿐만 아니라 음식에 대한 생각도 달라졌습니다. 이젠 음식을 먹을 때 제가 제일 좋아하는
 노래를 차려 먹습니다. (웃음) 어떤 음식을 차리느냐에 따라 저는 다른 음악을 듣고 또 새
로운 음악을 만들어내기도 합니다. 이런 레스토랑을 한 번 상상해보세요. 전채 요리로 레이디
 가가 샐러드가 나오는 겁니다.
(웃음) 그렇다면 아마 아이들한테 채소를 먹이는 것이 더 편해지겠죠. 주요리로는 라흐마니
노프의 피아노 콘서트가 나오고 후식으로는 비요크나 마돈나의 노래가 나옵니다. 노래를 실
제로 먹어 볼 수 있는, 아주 흥미진진한 레스토랑이 될 것입니다.
4:38
색의 소리는 제가 아름다움을 인지하는 방식에도 영향을 미쳤습니다. 저는 누군가를 바라볼
때 상대방의 얼굴에서 나오는 소리도 같이 듣는데 얼굴이 시각적으로는 아름다워도 청각적
으로는 끔찍할 수 있기 때문입니다. (웃음) 정반대의 경우가 나타나기도 하고요. 저는 사람들
의 소리로 초상화를 만드는 것을 매우 좋아하는데 사람의 얼굴을 그리는 대신 저는 전자 눈
으로 얼굴을 바라본 뒤 제 귀에 들리는 소리를 받아 적어 소리 초상화를 만듭니다. 몇몇 예시
들을 들어보겠습니다.

5:09
(소리)
5:24
니콜 키드먼의 소리는 듣기 좋네요. (웃음)
5:27
어떤 사람들은 전혀 관계가 없어 보이는데도 비슷한 소리가 납니다. 예를 들어 찰스 왕세자와
 니콜 키드먼은 눈에서 유사한 소리가 납니다.
5:35
이처럼 색의 소리를 통해 사람들 사이에 새로운 연결고리를 만들 수도 있지만 반대로 사람들
의 얼굴을 통해 새로운 소리를 만들어낼 수도 있습니다. 제 전자 눈으로 사람들의 얼굴을 바
라보면 하나의 콘서트가 탄생하는 것입니다. 사람들의 얼굴로 콘
서트를 만들 때 좋은 점 중 하나는 좋은 소리가 나지 않아도 제 탓이 아니라 제가 보고 있는
사람들의 탓이라는 점입니다. (웃음)
5:53
소리를 통해 색을 인식하면서 저는 어느 순간부터 색과 관련 없는 소리도 색으로 인식하기
시작했습니다. 한 번은 전화 울리는 소리를 들었는데 녹색을 느꼈습니다. 녹색이랑 소리가
똑같았기 때문입니다. BBC에서 나는 삐 소리는 청록색으로 느껴지고 모차르트의 음악은
노란색 느낌이 납니다.
6:16
저는 이런 특성을 살려 음악과 사람들의 목소리를 색으로 표현하기 시작했습니다.
6:24
음악을 색으로 표현하면 어떻게 되는지 보여드리겠습니다. 모차르트의 "밤의 여왕"은 이처럼
표현됩니다. (음악 소리) 노란색이 많고 또 주파수가 다양해서 매우 다채롭습니다. (음악 소리)
이건 전혀 다른 노래입니다. (음악 소리) 저스틴 비버의 "베이비"입니다. (웃음) (음악 소리) 분
홍색이랑 노란색이 많이 보이는군요.
6:54
음악 말고 사람의 목소리나 연설도 색으로 표현할 수 있습니다. 예를 들어 이것은 아주 유명한
 연설 두 개를 색으로 표현한 것입니다. 이 중 하나는 마틴 루터 킹 목사의 "나에게는 꿈이 있습
니다"이고 다른 하나는 히틀러의 연설입니다. 전시회가 열릴 때 저는 이 사실을 숨긴 채 사람
들에게 어느 쪽이 더 마음에 드는지 묻곤 합니다. 왼쪽이 히틀러의 연설이고 오른쪽이 킹 목사
의 연설이라고 하면 대부분의 사람들이 오른쪽이 더 좋다고 말을 바꾸더군요.
7:26
전자 눈을 통해 색을 들으면서 저는 인간의 눈으로 감지할 수 있는 360가지 색을 모두 구별할 수
 있게 됐습니다. 색상환 배열에 나오는 모든 색들을 구별할 수 있게 된 것입니다. 하지만 저는
이에 멈추지 않고 인간의 시각적 한계를 뛰어넘어 보기로 했습니다. 저희 주변에는 인간의 눈
으로는 볼 수 없지만 전자 눈으로는 감지할 수 있는 수많은 색들이 있습니다. 그래서 저는 제
전자 눈에 적외선과 자외선 감지 기능을 더해 적외선과 자외선을 소리로 변환하도록 했습니다.
덕분에 저는 인간의 눈으로 볼 수 없는 색들을 귀로 들을 수 있게 됐습니다.
8:02
예를 들어 적외선을 들음으로써 방 안에 동작 감지기가 설치돼 있는지 쉽게 알 수 있고 또 누군
가가 저를 향해 리모콘을 누를 경우에도 바로 알아차릴 수 있습니다. 자외선의 경우엔 밖의 날
씨가 일광욕을 하기에 좋은 날씨인지 아닌지 쉽게 확인할 수 있습니다. 자외선은 우리 목숨까
지 위협할 수 있는 위험한 색이기 때문에 인지 능력이 있느냐 없느냐의 차이는 그만큼 더 커집
니다.
8:30
이런 이유로 인해 저는 2년 전 사이보그 재단을 설립했습니다. 사이보그 재단은 사람들이 사이
보그가 될 수 있도록 도와주고 있습니다. 사람들로 하여금 자신의 몸에 특정 기술을 통합시켜
감각의 영역을 확장하도록 하는 것입니다.
8:43
우리의 지식은 우리의 감각에 근원을 두고 있으므로 감각의 영역이 확장된다면 우리의 지식도
 저절로 확장될 것입니다. 휴대폰 앱을 개발하는데 시간을 덜 보내고 우리 몸을 개발하는데 시
간을 더 투자하면 우리 삶은 아마 훨씬 더 재미있어질 것입니다. 저는 이런 방식의 변화가 21세
기에 큰 흐름으로 자리잡을 것이라고 생각합니다.
9:05
그러므로 여러분 모두 어떤 감각들을 발전시키고 싶은지 한 번 생각해보시길 바랍니다. 그리고
 사이보그가 되는 것을 두려워하지 마시길 바랍니다. 사이보그가 되더라도 여러분은 혼자가 아
닐 것입니다. 감사합니다. (박수)
9:19
(박수)

-출처:
https://www.ted.com/talks/neil_harbisson_i_listen_to_color/transcript?language=ko