갤럭시 S20 마이필터 연구 스토리 (My Filters)

기업의 이익과 개인의 이익은 때론 충돌하는 것 같다. 

마이필터 알고리즘을 곳곳에서 알아내려고 하는 것 같다. 이와중에 이 방법을 논문을 통해 공개하는것이 맞는가에 대한 고민을 하고 있다. 어차피 특허 공개 제도때문에 1년반 뒤에는 공개가 될 것이지만 논문은 그보다 빠르다. 특히 아카이브를 통해서라면 바로 공개가 가능하다. 개인의 이익만을 본다면 바로 공개하고 인용되고 내 커리어에 도움이 되는것이 낫다. 하지만 이걸 알아내려는 다른사람들에게 공짜로 정보를 푸는 셈이다. 

이 방식을 알아내기 위해 어떤 업체는 리버스엔지니어링 해서 몇 개 핵심 산출물을 얻었다고 한다. 더더욱 공개하기가 꺼려지는 부분이다. 어차피 eccv결과에 따라 빠르면 여름에 공개되겠지만 arxiv업로드는 조금 미루어두는 중이다. 너무 다 알려주면 회사는 지적재산권 하나 버리는셈아닌가.

어차피 완벽한 솔루션은 아니다. 이론에도 조건이 좀 달려있기도하고. 캔디캠 필터로 찍어서 실험해본다는데, 캔디캠 필터는 좀 잘 안되긴 한다. 그래서 지금 잘되게 고치는 중이긴 하지만. 차라리 후속연구가 나오면 나한테도 도움이 될 수도?

지금부턴 커리어 이야기.

회사 입사하고 처음 한동안은 어플리케이션 개발을 했고 이걸로 만족했지만, 어플리케이션은 일시적이라는 생각이 들었다. 어차피 트렌드는 바뀌고 어플은 세대에따라 일시적이기도 하다.

그래서 원천기술 개발로 넘어왔다. 그래서 석사도 하고 지금은 논문을 수십편씩 읽는다. 마이필터는 내가 원하는 커리어 선상에서 원하는 결과물이다. 기존에 없던, state-of-the-art 기술로도 불가능한 분야, 필터 트랜스퍼 분야를 만들었으니. 후속 연구에도 상당한 영향을 주지 않을까 싶다. 하지만 아직 만족스럽진 않다. 좀더 잘 동작해야 좀 더 임팩트가 강할 것 같다. 최종적으로 내가 상상하는 goal은 어떤 분야를 논할 때, 아 그거 누구가 시초잖아! 또는 누구 방식이 유명하잖아! 라는 정도?

아래는 마이필터에 관한 어떤 리뷰 글

https://lovely0206.tistory.com/99

머신러닝 논문을 쓰면서 논문 글쓰기에 관한 고찰

창작은 상당한 두뇌활동과 그에 따른 고통을 수반한다. 내 논리를 수식에 정확히 담아내야 하며, 머릿속에 있을땐 미처 깨닫지 못한 논리의 공백을 매꿀 논리의 수식을 생각해야 한다. 이 과정은 답을 맞춰가는 과정과는 매우 다르다. 내 이론과 가설을 입증할 방법을 찾아가는것이다. 정답이라는걸 정의할 수 없는 영역에서 써내려가는 글이 논문이다.

​

zero base에서 논문을 쓰기 시작하는건 창작의 고통을 고스란히 느끼기 딱 좋다. 대학교 인문학 수업을 들을 때면 꼭 중간/기말 보고서에 시달렸다. 한두장 분량임에도 불구하고 책상앞에 앉아서 뭔가 써보고자 키보드에 손을 얹으면 몰려오는 그 막막함에 키보드에 올려진 손을 떼서 다시 마우스를 잡고는 했다. 하지만 그 때 당시에 신기했던건 막상 한 문장이라도 쓰면 자연스레 한 문단이 완성되고 줄줄 써지더라는 것이다. 마치 지금 뻘글을 써 내려가는 나 자신처럼 말이다. 하지만 안타깝게도 그건 인문학/교양수업에 한정된 얘기였다. 그 말은 즉 나 자신은 이미 쓸 내용을 알고 있지만 단지 귀찮아서 도피했을 뿐이라는 뜻이다.​

이게 새로운 연구 성과와 연구 이론을 펼쳐야 하는 논문 글쓰기에 들어서면 다른 이야기가 된다. 없던 논리를 만들어야 하므로 논리와 글쓰기와 사상검증이 동시에 이루어지면서 글이 써져야 한다. 이 때 중요한건 내가 제시하는 방법이 얼마나 그럴싸하게 썰이 풀어져나가며 포장되느냐이다. 그냥 핵심만 쓰고싶지만 그러면 아마도 아무리 훌륭한 이론이라도 망하고 말 것이다. Deep Image Prior같은 논문을 방법만 설명하고 썰을 풀지 않았다고 상상해보자. accept근처조차 못 갔을 것이다. 그래서 보통은 자기가 하던 연구를 계속 하면서 곳곳의 문장을 조금씩 바꿔서 재활용하고는 한다. 그것마저 통하지 않는 경우가 zero base에서 써내려가는 논문이다.

​

multi-task learning분야에서 논문을 쓰기 시작했다. 작년에 내가 발명한 방법론이지만 이제서야 쓰기 시작했다. 제목부터 고민이다. 최대한 이목을 끌도록 간결하고 깔쌈하게.

Paper Review: Blind Image Quality Assessment Based on High Order Statistics Aggregation (논문 리뷰)

BIQA — HOSA

It is known that the contrast normalization by blocks of the image is useful for constructing codebooks in the BIQA domain.

This paper represents how to construct codebooks using high order statistics. The basic feature set is obtained by the contrast normalization. Then, using the features from the CSIQ database, by adopting K-means clustering, we can retain codebooks with 100 centers. In the run-time, the method proposes high order features; mean, variance, and skewness. The input features are used to get distances to K clusters, and distances are the mean, variance, and skewness distances. Then the method performs regression over three distances.

In addition to state-of-the-art performance, one of the two biggest advantages of the proposed method is that it generalizes very well. It is quite common that the deep-learning-based method in IQA shows poor generalization performance. Unlike others, the proposed method is trained on one dataset and works very well on the other datasets.

The other one is that it is very fast compared to other methods. It is not common that BIQA performs within 1 second using CPU to process 512by512 input, but the proposed method performs in 0.35second, which is extremely fast.

In conclusion, HOSA is one of the best methods in terms of speed and cross-domain performance in the BIQA domain.

Galaxy S20 "My Filters", "마이필터"

Upon the release of a Galaxy S20, one of the new features, My Filter, was spotlighted. Last year, I was ordered to solve a problem, almost an impossible problem of transferring (filter) style from an image to the new image in real-time. But I gave a solution with a novel approach. That is 'My Filter' in Galaxy S20.

People often ask me "How did you do that?"

Giving a detailed explanation was tricky, like explaining math in oral only.

This time, I am about to reveal a method with a paper.

Last November in 2019, I was struggling with writing a paper for CVPR but had no time to pack and review my idea. Later it was found out that the paper contains tons of typos and miswritten sentences, moreover, it was hard to read.

This time, I am about to release it in ECCV as well as Arxiv. Not sure if it could be accepted, but I hope. I really want to go to Scotland to present it.

갤럭시 s20에 MyFilter 많이써주세요!


(This method is protected by Patent)

연구에 대한 고찰, 그리고 머신러닝 특정분야에서 선구자 역할을 할 내연구

창작은 상당한 두뇌활동과 그에 따른 고통을 수반한다.

내 논리를 수식에 정확히 담아내야 하며, 머릿속에 있을땐 미처 깨닫지 못한 논리의 공백을 매꿀 논리의 수식을 생각해야 한다.

이 과정은 답을 맞춰가는 과정과는 매우 다르다. 내 이론과 가설을 입증할 방법을 찾아가는것이다. 정답이라는걸 정의할 수 없는 영역에서 써내려가는 글이 논문이다.

영어로 프로의 글을 쓰는 과정은 더욱 혼자서는 어려운 경지이다. 난 아직 그 경지에는 멀은듯 하다. 교수의 레벨은 어느정도일지 감히 가늠할 수 없다. 언제쯤 나도 따라가는구나 싶을까? 지금은 그저 열심히 써볼 뿐... 

인생 처음으로 탑티어, 그리고 그걸 넘어서 머신러닝의 특정 분야에서 큰 획을 그을 것을 노리는 논문이다. 혼자서 절대 불가능했겠지만 주변에 카이스트박사 토론토박사 및 교수님까지도 도와주셔서 여기까지 오게 되었다. 내 아이디어이지만 이걸 쓰면서 정말정말 많이 배웠다. 일과 반쯤은 (나머지 반은 본업중에 쓰지만...) 별개로 쓰려니 쉴 틈이 없다는게 너무 힘들었다 이 과정을 이겨내면 발전하는 것이겠지.

논문은 조만간 학회보다는 조금 빠르게, 인터넷에 먼저 공개될 것이다. 반응이 너무 궁금하다. 제발 읽는사람들이 수식의 흐름과 기하학적해석과, 분량상 생략된 수식을 알아채고 이해해주었으면 좋겠다. 

상품으로 포장된 버전은 벌써부터 어떻게 한거냐는 반응이 많다. 지난달 언제인가 우리 상무님이 나를 불러서 하시는말씀이 주변에서 하도 물어봐서 그런데 본인한테 기술 설명좀 해달라고 했다. 뿌듯하다. 

한편으로 머신러닝이다보니 특정 직업군을 뺏을 염려가 있다. 인터넷 댓글에서도 간간히 그점을 우려한다. 해당직업군은 대놓고 싫어하는것 같다. 그걸 보자니 생각이 많아진다. 인류의 발전에 난 어떤존재일까? 앞으로 무슨일이 일어날지는 두고보자.