Rainyvale in Sunnyvale...

그냥 대충 보면 그렇지. 인내심을 가지고 공포심을 버리고 차분히 읽어보면 어려운 수식은 사실 거의 없어. 괜히 < , >_{L2(R)} 같은 귀챦은 수식을 써서 그렇지 그런 쓸데없는 기호(?) 빼면 그냥 행렬과 벡터 곱셈 정도의 수식인데...

하지만 나도 수식은 다 건너뛰고 읽는 편이니... ㅋㅋ

음... 이게 좀 맥락이 다른데... 표본조사에서는 표본이 모집단 전체의 통계적 특성을 상당히 따른다는 아이디어인 거고... Compressed sensing에서는 주파수나 성분끼리는 많은 경우 서로 직교(orthogonal)한다든지 해서 서로간에 연관성을 가능한한 없도록 만들어져 있고, 따라서 그 성분들의 통계적 특성은 서로서로 다르고 그들의 집합적 특성이 전체 신호의 통계적 특성을 따를 것이라 보기도 어려울 것 같은데...

그리고 또 하나의 차이점은 표본을 추출해서 연/속/된 함수를 복원해 낸다는 거고...

여기에 통계 전문가도 가끔 오니까 답을 더 명쾌하게 줄지도 몰라. ^^

전문가가 위 질문은 무시하는겨? ^^

ICA에 대해서 교과서나 논문에 나온 것보다 더 잘 설명할 것 같지는 않고... 그냥 말이 나온김에 원래 포스팅의 맥락 설명을 더 하자면...

네 말대로, 대상 x에 따라서 A를 다르게 정의하는게 중요하지. x가 stationary한 경우에는 푸리에로 충분한 경우가 많지만, (천체사진처럼) 그렇지 않으면 wavelet 같은게 좋다고들 하고, 요새는 contourlet처럼 **let이라고 이름붙은 애들 만들어 내는게 유행인 듯 하고... 여기서 짚고 넘어갈 사실은 얘네들은 모두 A가 signal-independent한 방법들이고...

PCA (혹은 KLT), ICA도 유용하긴 한데, 좀 불편한 점은 A가 signal-dependent하게 된다는 점.

compressed sensing(CS)에서 재밌는 점이 여기에서 나오는데... 주어진 상황은, 첫째, A는 이미 주어져 있다는 것 (즉, 예를 들면, 웨이블릿 변환인지, 푸리에 변환인지 미리 정해져 있다는 것). 둘째, 그 신호에 제한된 숫자의 성분만 들어 있다는 것만 알 뿐, 구체적으로 어떤 성분이 들어있는지는 미리 알지 못하고 있는 상태라는 것. 이 두가지 상황에서 나오는 짐작은, A 중에 어떤 성분이 x를 나타내기에 적당한지 signal-dependent하게 정할수 밖에 없을 것일 수 있을 거고. 그런데, compressed sensing에서의 주요결과에서는, 반대로 놀랍게도 A가 signal-independent하고 그 성분들 중 어떤 것을 쓸지 signal-independent하게 미리 랜덤하게 정해 놓더라도 그 b의 일부분에서 나중에 x를 찾아낼 확률이 아주 높다는 것이지.

그래서, ICA와 CS의 차이점을 대충 보면... 첫째, signal-dependent하냐 안 하냐, 둘째, 주타겟이 length(x)와 length(b) 중 어떤게 더 큰 경우를 향하고 있느냐가 아닐까 하는데...

Donoho 참 대단한것 같아. 저 Do교수의 지도교수였던 Unser와 Vetterli도 대단하고... Kovacevic는 그사람이 IEEE-TIP편집장이던 시절에 학회에서 봤는데, 너무 어려 보이고 배낭을 메고 다녀서 대학원생인 줄 알고 같이 농담하고 그랬는데 알고 보니 그 사람이었고... ^^ 이 사람들을 보면 사람들 자체가 똑똑한 것도 있지만, 기존연구에서 중요한 다음연구 주제를 잘 찾아내고 그것을 수학적인 문제틀로 만들어 내는 것이 정말 탁월한 것 같아. 자기네들끼리 서로 의견 주고받고 하는 것도 정말 큰 것 같고... 마치 20세기 초반 양자역학 만들어낸 사람들이 모두 친구였고 같이 모여서 얘기 좀 하다가 새로운 이론의 단초가 만들어지고, 그랬던 것과 비슷하달까...

compression, estimation, approximation, regression, pattern classification 등등이 모두 다 같은 문제들이라는게 참 재밌는 것 같아.

통계 전문가가 그렇게 너무 겸손하게 얘기하면, 비전공자인 나는 여기다 통계 관련 글을 감히 쓸 수가 없지 않겠어? 적당히 겸손하라구. ^^

천체영상에 ICA적용하는 것에 대한 내용은 내가 관련내용을 몰라서 뭐라 해 줄 말이 없네. ^^

어찌어찌하다보면 사람들이 다른 길을 따라가다가 결국 같은 목적지에 도착하는 것 같아. 물리, 기계, 전자 전공인 친구들을 만난 적이 있었는데 , 어쩌다 보니 photon diffusion을 이용한 imaging 얘기가 나왔는데 다들 연관된 분야를 하고 있더라고. 너도 10년전에 이런 얘기를 하게 될 줄 누가 알았겠냐고?

마지막 문장은 내가 한 말이라기보다는 Mallat의 A Wavelet Tour of Signal Processing 책에 Estimations are Approximations 라는 챕터 제목이 있어서 좀 확장시켜 본 말일 뿐…

답 잘 알쟎어. (그렇게 맘에도 없는 아부를 해도 소용없다네. ^^) 논문을 보셔. ㅋㅋ. http://www.dsp.ece.rice.edu/cs/ 에 가면 튜토리얼이랑 논문들이 있는데, Richard Baraniuk, A Lecture on Compressive Sensing. (IEEE Signal Processing Magazine, July 2007) 이 일단 좋은 시작점이 될 것 같은데…

음... 너같은 수치해석 전문가가 이해못하게 쓰여졌으면 잘 못 쓴 포스팅이네. ^^