멋진신세계 멋진신세계

[논문 링크]Distributed Representations of Words and Phrases and their Compositionality [세줄 요약]Negative sampling : 이진법 + noise 추가  => 이를 통해 training speed를 낮춤Word2Vec을 통한 distributed representations이 선형적 구조를 띠는 이유를 objection function에서 확인할 수 있음.Pharse도 표현할 수 있게 됨 [Abstract]Continuous Skip gram model에 Negative sampling을 적용하여 Word2Vec의 quality과 training speed를 향상시킴.Word뿐만 아니라 Pharse 학습에도 vector를 표현할 수 ..

[논문 링크]Efficient Estimation of Word Representations in Vector Space [요약]Word2Vec의 2가지 model architecture인 CBOW와 Skip-gram model를 제시함.이는 단어간의 유사성과 계산 복잡도를 줄임. [목표]1) 단어 간의 유사성을 포함한 Word Vector 생성하기Syntactic and Semantic regularities의 포함해야 된다. 즉 문법적 구조와 의미가 포함되어야 한다.선형의 규칙성을 보존하고 있어야 한다. 이 때문에 비선형 함수를 안 사용한 것으로 추측 가능하다. 비선형 함수를 사용하면 단어의 의미 간의 왜곡이 발생할 수도 있기 때문이다.- Model architecture that preserve t..

[책] 한줄평: 진리보다 안정이 우선시된 세계에 대한 불편함 고도로 발달한 기계, 과학문명을 그리는 소설이다. 태어날 때부터 조작되어 알파, 베타, 델타의 삶이 정해지고, 주어진 삶에 만족하며 사는 사람들과 대비되는 아직 원시적인 세계에 사는 '야만인'을 그리는 이야기이다. 전체주의의 독재자를 가진 '신세계'를 그리는 소설이다. [잡상] 낙원은 존재하는가? 인간은 불안정한 존재이다. 더 행복해지기 위해 살아간다. 항상 더 나아간 무엇인가를 추구하고, 그것이 물질적인든, 쾌락적이든 끝 없이 추구한다. 그 속에서 세계는 발전하여 더 많은 문명의 발전과 인간의 삶의 질을 형상시키지만, 다른 방면으로는 전쟁과 같은 비극을 통해 서로를 헐뜯가도 한다. 이러한 세계에 대해서 책은 '과연 진정한 낙원은 없는가? 낙원..

KIST computational neuroscience 뇌과학 연구소에 짧게 한달동안 인턴 생활을 하고 느낀점을 정리해보았다. 지식보다는 느낀점 위주로 정리해보았다. 1. 항상 메모해라. 새롭게 배우는 것이 있다면, 항상 메모해야 한다. 쉬워 보이는 것일지라도 메모해야 한다.메모할 때에는 기본적인 것뿐만 아니라 디테일한 것을 의식적으로 보려고 노력하면서 메모해야 한다. 메모하면서 스스로 개념을 정리하고, 암기까지 할 수 있다. 기회가 된다면 사진을 찍어서 메모해라. 메모하는 방법은 상관없다. 핸드폰이 안된다면 펜으로도라도 메모해라. 2. 스스로 문제를 정의하기. 자신이 문제를 스스로 정의하고 이를 해결하고 하는 자세가 중요하다. 기존의 주어진 일보다, 스스로 기존의 상황에서 문제의식을 발견하려고 노력하..

흉부외과 수술 장면을 영상으로 처음 보았을 때 충격을 받은 적이 있다. 잔인하다, 신기하다, 어려워 보인다 등등 여러 생각이 들었지만, 영상을 보고 난 후 가장 많이 떠오른 생각은 '이게 되네' 였다. 인간의 존엄성은 가려진 주먹구구식 수술방법이 매우 효과적으로 작용한다는 사실이 나에게 충격과 괴리감을 주었던 것 같다. 항상 의학을 무엇인가 아름답고, 정교할 것이라는 환상이 깨져버린 것이다. 사실 나는 이 때부터 의학에 대해 불편한 진실을 느끼고 회의적인 생각이 들었던게 아닌가 싶다. 이러한 불편함을 해소하지 못한채 지내다가, 우연치 않게 책을 읽다 의학에 대한 인상깊은 구절이 있어 나에게 생각을 잠기게 했다. '정상적인 것과 병리적인 것' 이라는 책을 읽다 다음과 같은 구절을 읽었다. 의학의 기술은 자..

논문 리뷰 A high-performance speech neuroprosthesis Nature 2023.08.23 Willett, F.R., Kunz, E.M., Fan, C. et al. Speech Brain computer interface이 현재 얼마나 연구되어있는지 알 수 있는 논문이다. Speech Brain-computer interface는 실어증과 같이 의사소통이 불편한 사람들의 뇌신호를 읽어 언어 대신 글자 또는 소리로 의사소통할 수 있게 해주는 기기이다. 아직 많은 단어를 구현하는데 어려움을 겪고 있지만, 이번 논문은 이에 대한 엄청난 향상을 보여준다. 50개의 단어장 기준으로 9.1% 단어 오류(전 모델 대비 2.7배 향상) 125,000개의 단어장 기준으로 23.8% 단어 오류..

2023.12.14 FunSearch: Making new discoveries in mathematical sciences using Large Language Models LLM의 Hallucination 문제를 해결하고, 미해결 수학 난제였던 Cap set problem을 해결하고, Bin-packing problem의 더 좋은 해결책을 제시한 모델인 FunSearch를 구글 딥 마인드에서 개발하였다. FunSearch는 단순히 결과만 보여주는 것이 아니라, 이를 어떻게 해결하였는지까지 제시한다. *공지 WSJ을 기준으로 매일 매일 기사를 정리하려고 하였으나, 생각보다 WSJ에서 매일매일 작성할 정도의 흥미로운 기사는 찾기 힘들었다. 또한 이에 집착하다보니 글의 깊이나 완성도 측면에서 더 낮아지는 ..

2023.12.29 How Lowering The Price of a Common Asthma Drug Made It Harder to Get 보험제도로 인한 손해를 피하기 위해, 제약회사들은 가격을 낮췄다. 하지만 가격을 낮추는 것이 오히려 역효과를 불어일으켰다. To avoid Medicaid penalties, Glaxo and other drugmakers lowered prices. For popular asthma drug Flovent HFA, the tactic to replace it with a generic backfired. 2024년부터 가격을 올린 몇 가지 약에 대해서, 제약회사에서 국민 의료보조제도인 Medicaid에 돈을 지불하여 환자들이 사용하도록 하였다. 이러한 특단의 조..