😎 지식/머신러닝 딥러닝🦾

[빅데이터처리] Hadoop, Sqoop, 실시간 데이터 처리 (Kafka, Spark Streaming)

HDFS(Hadoop Distributed File System)대규모 데이터를 여러 노드에 분산 저장하는 Hadoop의 분산 파일 시스템 - 파일을 블록 단위로 나누어 저장한다- 대용량 데이터 처리에 최적화되어 있다- 블록 단위로 저장되기 때문에 데이터 복제가 용이하다 NameNode와 DataNode의 역할- HDFS는 마스터 슬레이브 구조를 따른다 1) NameNode(마스터 노드) 메타데이터 관리 : 파일의 이름, 블록의 위치, 파일 시스템 트리 등을 관리함 데이터 블록의 위치와 상태를 추적함 클러스터에 중앙 집중식 역할을 수행함 단일 장애 지점(Single Point of Failure)가 될 수 있어 고가용성을 위해 Secondary NameNode를 사용함 2) DataNode(슬레이브 노드..

😎 지식/머신러닝 딥러닝🦾 2024. 12. 17. 12:54

[주요 용어 정리] 지도학습과 비지도학습, 경사하강법과 손실 함수, 전이 학습, ResNet vs FaceNet, Triplet Loss

지도학습과 비지도학습지도학습은 입력데이터와 해당하는 출력 레이블이 주어진 상태에서 학습하는 방식이다비지도학습은 출력 레이블이 없는 데이터를 사용하여 패턴을 찾고 데이터를 그룹화하거나 구조를 학습하는 방법이다  경사하강법과 손실함수손실함수는 모델이 예측한 값과 실제 값 사이의 차이를 나타낸다 경사하강법은 손실함수(loss function)나 비용함수(cost function)을 최소화하는 방향으로모델의 파라미터를 업데이트하여 최적의 모델을 찾는데 사용된다다시말하면, 기울기가 0인 지점(최솟값)을 찾기 위해 기울기가 감소하는 방향으로 파라미터를 업데이트한다 경사하강법 원리1. 모델의 파라미터(가중치, 편향)을 임의로 초기화한다2. 손실 함수의 파라미터에 대한 기울기를 계산한다3. 계산된 기울기를 사용하여 파..

😎 지식/머신러닝 딥러닝🦾 2024. 12. 15. 13:36

[Coursera5] Sequence Models

1주차 : Recurrent Neural Networks 2주차 : Natural Language Processing & Word Embeddings 3주차 : Sequence Models & Attention Mechanism 4주차 : Transformer Network

😎 지식/머신러닝 딥러닝🦾 2022. 7. 27. 15:42

[Coursera4] Convolutional Neural Networks

1주차_Foundations of Convolutional Neural Networks2주차_Deep Convolutional Models: Case Studies3주차_Object Detection4주차_Special Applications: Face recognition & Neural Style Transfer

😎 지식/머신러닝 딥러닝🦾 2022. 7. 23. 20:18

[Coursera3] Structuring Machine Learning Projects

1주차2주차

😎 지식/머신러닝 딥러닝🦾 2022. 7. 16. 16:12

[Coursera2]Improving Deep Neural Networks: Hyperparameter Tuning, Regularization and Optimization

1주차2주차3주차 그림 넣기 편하고, 구조화하기 편한 notion으로 정리한후복붙해서 tistory에 옮길려했는데.... (이미지 다운로드받아서 하나하나 다 넣어야 함)

😎 지식/머신러닝 딥러닝🦾 2022. 7. 1. 11:56

[Coursera1] Neural-Networks-Deep-Learning : Deep Neural Network

행렬의 차원을 확인해서, 코드가 정확한지 확인하자 input -----> output ex) 얼굴, 음성 n개의 unit 를 계산하기 위해서, 1) 여러 개의 숨겨진 layer가 있는 신경망을 사용했을 때 => O(logN)의 깊이가 필요했다. 2) 하나의 Layer만 사용한다면 => hidden Unit이 엄청 많아야 한다. O(2^N) 파라미터, 하이퍼파라미터 ?? 딥러닝 과정은 반복시도이다. CPU, GPU, Network도 변하고 있으므로, Cross-Validation과 같은 시도를 통해 적합한 값을 찾아야 한다.

😎 지식/머신러닝 딥러닝🦾 2022. 6. 28. 23:52

[Coursera1] Neural-Networks-Deep-Learning : Neural Network - Representation, Vectorization, Activation Function, Gradient Descent, Initialization

[ 헷갈렸던 부분에 대한 동기의 답변 ] 로지스틱에서의 가중치 식은 뉴럴 네트워크의 가중치 식중에 가장 쉬운 식이다. (그래서 NN설명 전에 로지스틱 설명한 거임) 가중치 계산 방법은 비슷한데 1) input 개수 2) activation Function 함수 3) 차수 등에 따라 가중치 그래프 모양이 달라진다. 1 layer NN 을 backward하고, 1 hidden layer(=2 layer NN)NN 도 동일한 방법으로 backward해보자 >> 나중에는 N Layer (Deep Layer)에 대해 Backward할 것이다. Neural Network 의 하나의 노드들은 다음과 같이 구성되어 있다. 동기가 말한 것처럼 이번 예제에서 z는 다음과 같다. 앞으로 예제에서 사용할 표기법은 다음과 같다..

😎 지식/머신러닝 딥러닝🦾 2022. 6. 28. 21:55

페이징

1 2
728x90

티스토리툴바