더보기CS231n 강의 홈페이지: https://cs231n.stanford.edu/CS231n Spring 2017 유튜브 강의 영상: https://www.youtube.com/watch?v=vT1JzLTH4G4&list=PLC1qU-LWwrF64f4QKQT-Vg5Wr4qEE1Zxk강의 슬라이드 & 한글 자막: https://github.com/visionNoob/CS231N_17_KOR_SUB RecapActivation FunctionsWeight Initilization가중치가 너무 작으면 activation 0, 너무 크면 saturationData Preprocessing좌측 그림과 같이 zero-mean이 아닌 경우라면 결정 경계(가중치)가 조금만 변하더라도 loss는 이에 민감하게 반응B..

더보기CS231n 강의 홈페이지: https://cs231n.stanford.edu/CS231n Spring 2017 유튜브 강의 영상: https://www.youtube.com/watch?v=vT1JzLTH4G4&list=PLC1qU-LWwrF64f4QKQT-Vg5Wr4qEE1Zxk강의 슬라이드 & 한글 자막: https://github.com/visionNoob/CS231N_17_KOR_SUB Activation FunctionsSigmoid\( \sigma (x)= \frac{1}{1+e^{-x}} \)neuron의 'firing rate'를 잘 반영단점양극단에 가까워질 수록 gradient의 값이 0 (saturated)not zero-centered시그모이드의 출력값은 전부 양수(0~1)로 z..

더보기Paper Link: https://arxiv.org/abs/1409.4842 1. IntroductionCNN 급격한 발전 → 네트워크 구조의 중요성모바일 및 임베디드 컴퓨팅의 지속적인 성장 → 전력 및 메모리 사용의 효율성이 중요해짐인셉션 모듈 적용2. Related WorksLeNet-5를 시작으로 CNN은 일반적으로 여러 개의 컨볼루션 레이어 이후에 FC 레이어로 이어지는 표준 구조를 가지게 됨이러한 구조를 사용한 모델들이 이미지 분류 분야에서 좋은 성과를 내었음Network-in-Network proposed by Lin et al - 1×1 convolutional layerscomputational bottleneck을 제거하기 위한 차원 축소 모듈성능 저하 없이 깊이를 늘릴 수 있을 ..

더보기Paper Link: https://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/He_Deep_Residual_Learning_CVPR_2016_paper.pdf1. IntroductionQuestion네트워크의 층을 깊게 쌓는 것이 매우 중요하다는 것이 당시의 연구를 통해 밝혀짐그러나 네트워크의 깊이가 깊어질 수록 정확도는 포화되고 점점 떨어지는 degradation problem이 발생함. 그리고 이는 오버피팅에 의한 것이 아님저자들은 이러한 문제점을 deep residual learning framework를 적용함으로써 해결 Residual LearningShortcut 연결은 한 개 이상의 레이어를 건너뛰는 연결을 의미함이는 단순히..

더보기Paper Link: https://arxiv.org/abs/1409.1556 1. IntroductionImageNet과 같은 대규모 공개 데이터셋의 등장당시 대규모 이미지 및 비디오 인식에서 큰 성공을 거두고 있던 컨볼루션 신경망(ConvNets)GPU와 같은 고성능 컴퓨팅 시스템의 발전ConvNet 아키텍처 설계의 또 다른 중요한 측면인 '깊이'를 제안모든 레이어에서 매우 작은 (3×3) 컨볼루션 필터를 사용하여 레이어를 더 깊게 쌓음으로써 네트워크의 깊이를 점진적으로 증가시킴2. Related WorksAlexNetILSVRC 2012 winnerDeeper architectureReLU, DropoutData augmentationMultiple GPUsLocal Response Norma..

Vector CalculusChain Rule합성함수의 도함수를 구하는 공식Gradient정의: 다변수 스칼라 함수의 도함수해석: 스칼라장의 최대 증가율의 방향, 편미분들의 집합 ▶ 벡터Jacobian정의: 다변수 벡터 함수의 도함수해석: 그라디언트의 집합 ▶ 행렬 Iterative Optimization (반복 최적화)ML as an Iterative Optimization 기계학습에서 해야 할 일을 식으로 정의하면, 주어진 비용함수 \( J(\underline{θ}) \)에 대해 \( J(\underline{θ}) \)를 최소로 하는 최적해 \( \hat{\underline{θ}} \)​을 찾는 것즉 기계학습은 조건을 충족하는 최적의 파라미터 \( \hat{\underline{θ}} = argmin_..

기계학습이란?컴퓨터가 데이터로부터 학습하여 원하는 결과를 얻을 수 있도록 하는 알고리즘이나 수학적 모델을 개발하는 인공지능의 한 분야예를 들어 손글씨 인식을 학습시키고자 하는 경우Task T: 손글씨 인식Performance measure P: 오차율 혹은 정확도Training experience E: 손글씨 데이터P를 통해 T의 성능을 평가하고, 이를 E를 통해 원하는 수준까지 향상시키는 것이 목적아래와 같은 블랙박스를 설계하는 과정이라고 볼 수 있음 기계학습의 종류지도 학습 (Supervised Learning)입력(input)과 출력(output)이 모두 주어진 문제. output을 target 혹은 label이라고도 함회귀 (Regression)연속된 형태로 분포하는 출력 (continuous o..

더보기CS231n 강의 홈페이지: https://cs231n.stanford.edu/CS231n Spring 2017 유튜브 강의 영상: https://www.youtube.com/watch?v=vT1JzLTH4G4&list=PLC1qU-LWwrF64f4QKQT-Vg5Wr4qEE1Zxk강의 슬라이드 & 한글 자막: https://github.com/visionNoob/CS231N_17_KOR_SUB Recap of Neural Networks신경망의 구조선형 함수(행렬곱)와 비선형 함수(활성 함수)를 쌓아 신경망을 구성이 구조는 신경망이 복잡한 패턴을 학습하고 인식할 수 있게 함문제 해결 능력신경망은 다양한 입력 데이터(자동차 이미지)를 분석하고 분류하는 데 유용중간 단계의 템플릿을 학습함으로써, 신경망..

더보기CS231n 강의 홈페이지: https://cs231n.stanford.edu/CS231n Spring 2017 유튜브 강의 영상: https://www.youtube.com/watch?v=vT1JzLTH4G4&list=PLC1qU-LWwrF64f4QKQT-Vg5Wr4qEE1Zxk강의 슬라이드 & 한글 자막: https://github.com/visionNoob/CS231N_17_KOR_SUBRecapLoss Functions함수 f는 입력 x에 따른 클래스들에 대한 스코어 벡터 Y를 출력이에 대한 예측이 잘 된 혹은 잘 되지 않은 정도를 손실 함수를 통해 계산손실 함수는 data loss term과 regularization term으로 구성정규화 항은 모델의 복잡성을 조절함Optimization..

더보기CS231n 강의 홈페이지: https://cs231n.stanford.edu/CS231n Spring 2017 유튜브 강의 영상: https://www.youtube.com/watch?v=vT1JzLTH4G4&list=PLC1qU-LWwrF64f4QKQT-Vg5Wr4qEE1Zxk강의 슬라이드 & 한글 자막: https://github.com/visionNoob/CS231N_17_KOR_SUBIntroduction to Loss FunctionsRecap of Linear Classifier임의의 W 행렬을 사용하여 각 이미지에 대한 클래스 스코어를 계산일부 스코어는 좋고 일부는 나쁨. 예를 들어, 고양이 이미지가 개구리보다 낮은 스코어를 받음좋은 분류기란 올바른 클래스가 가장 높은 스코어를 받는 ..