전체 글
-
딥러닝머신러닝 & 딥러닝/딥러닝 기초 2023. 12. 15. 14:41
딥러닝이란? 딥러닝은 머신러닝의 방법 중 하나였다. 하나의 경계선만으로 데이터를 구분할 수 없기 때문에 경계선을 배치하는 작업을 여러번 수행하는 것이 딥러닝이었다. 인공신경망 우리는 파랑색과 노랑색을 분리해야한다. 인공신경망은 위 그림과 같이 구불구불한 선을 잘 사용해서 데이터를 구분하는 방법이다. Training을 했다면 Test 데이터 셋으로 성능을 측정해야한다. 컴퓨터에게 구불구불한 선은 무엇일까? 컴퓨터는 사칙연산을 통해서 표현한다. 즉 직선, 곡선 함수를 조합하여 표현한다. 1) 퍼셉트론 위 이미지와 같이 직선 위에 있는 점들의 좌표값을 더하면 같은 값을 갖게된다. 예를 들어 (1, 3), (3, 1)에 위치한다고 가정하면 좌표들의 합은 4로 같게된다. k = x1 + x2의 형태가 된다. 즉,..
-
머신러닝머신러닝 & 딥러닝/딥러닝 기초 2023. 12. 14. 14:20
머신러닝이란 사람이 모든 조건을 코딩해서 컴퓨터에게 알려주는 것이 전문가 시스템이었다. 머신러닝은 컴퓨터에게 데이터 분포를 주고 컴퓨터가 스스로 규칙을 찾게 하는것이다. 위 그림과 같은 데이터 분포가 있다고 가정해보자. 이 데이터 분포를 갖고 컴퓨터에게 파랑색과 노랑색을 가르쳐주기 위해 어떻게 해야할까? 첫째로 학습용 데이터셋을 제공해준다. 학습용 데이터셋이란 컴퓨터가 보고 학습하기 위한 데이터셋이다. 컴퓨터에게 문제와 정답지 모두 제공하여 틀렸을 경우 반복해서 학습하게 한다. 두번째로 시험용 데이터셋을 제공해준다. 컴퓨터가 학습용 데이터셋으로 학습을 완료하면 얼마나 잘했는지 테스트하기 위한 데이터셋을 시험용 데이터셋이라고 한다. 학습용 데이터셋과 시험용 데이터셋의 데이터는 겹치면 안된다. 따라서 시험용..
-
컴퓨터의 이미지 인식머신러닝 & 딥러닝/딥러닝 기초 2023. 12. 13. 13:23
컴퓨터와 사람의 이미지 인식 강아지와 고양이 사진을 봤을 때 사람과 컴퓨터가 이 사진을 인식할 때 어떤 차이가 있을까? 사람의 경우 강아지와 고양이 사진을 보고 다른 강아지와 고양이 사진을 보게 되면 융통성 있게 이건 강아지, 이건 고양이라고 인식할 수 있다. 하지만 컴퓨터의 경우 제공하지 않았던 다른 강아지, 고양이 사진을 보여준다면 융통성 있게 이건 강아지, 이건 고양이 이런식으로 구별할 수 없다. 그럼 컴퓨터가 대상들을 인식하는 방식은 어떻게 될까? 컴퓨터와 사람의 이미지 인식 차이 컴퓨터는 사진과 영상을 단지 숫자로 본다. 좌측 이미지를 보고 사람은 저 사진이 사람 얼굴에 대한 사진이라는 것을 알 수 있다. 하지만 컴퓨터는 픽셀 값으로 흰색에서 검정색의 여러 단계를 표현하고 이미지를 인식한다. 위..
-
전문가 시스템머신러닝 & 딥러닝/딥러닝 기초 2023. 12. 11. 14:44
전문가 시스템에서 컴퓨터에게 '강아지'와 '고양이' 가르치기 사람에게 강아지와 고양이를 가르쳐주는 방법을 컴퓨터에게 적용하면 어떻게 될까? 강아지는 눈이 어떻게 생겼고 꼬리가 짧고 고양이는 눈이 어떻게 생겼고 꼬리가 길고 등등 각각의 특징을 설명해준다고 가정한다. 하지만 꼬리가 긴 강아지가 나타나면 어떻게 될까? 사람에게 알려준다면 꼬리가 짧은 강아지도 있고 긴 강아지도 있다고 설명해주면 되지만 컴퓨터는 이런 경우를 이해하지 못한다. 또한 강아지 전체 사진이 아닌 얼굴 사지만 나온경우 컴퓨터는 이게 고양이인지 강아지인지 구별하지 못한다. 강아지와 고양이를 구분하는 모든 규칙을 컴퓨터에게 알려주기에는 그런 규칙들이 수도 없이 많기 때문에 불가능에 가깝다. 전문가 시스템 강아지와 고양이를 구분하기 위한 AI..
-
딥러닝 배경 (전문가 시스템, 머신러닝, 딥러닝)머신러닝 & 딥러닝/딥러닝 기초 2023. 12. 11. 14:06
AI 시대 작년 겨울 쯤으로 기억한다. chatGPT라는 것을 처음 접했는데 정말 신세계였다. AI를 정말 수도 없이 많이 들었지만 늘 추상적으로 다가왔던거 같다. 하지만 chatGPT를 접하고 나서 'AI 시대에 살고 있다'라는 사람들의 말을 이해할 수 있었다. 요새 머신러닝에서는 거의 대부분을 딥러닝이라는 것을 활용한다. AI 범주에 속하는 전문가 시스템, 머신러닝, 딥러닝 등이 무엇인지 간단하게 개념을 정리해보겠다. 전문가 시스템 전문가 시스템은 사람이 직접 규칙을 찾아 코딩해주는 초창기 AI 방식이다. 하지만 만족하는 '모든 조건을 찾아 코딩하기'는 쉽지 않다. 따라서 전문가 시스템은 이런 한계점을 갖고 있다. 머신러닝 머신러닝은 전문가 시스템의 한계를 극복하기 위해 제안된 인공지능 방법이다. 사..
-
Azure Cognitive Search란?스터디노트/Data&AI 2023. 8. 14. 11:20
Azure Cognitive Search 웹, 모바일 및 엔터프라이즈 애플리케이션의 프라이빗 이기종 콘텐츠에 대한 풍부한 검색 환경을 추가할 수 있는 인프라, API 및 도구를 개발자에게 제공하는 클라우드 검색 서비스 데이터 원본에서 데이터 수집/검색을 자동화하는 인덱서의 형태로 다른 Azure 서비스와 통합 가능, 이미지 및 자연어 처리와 같은 Azure AI 서비스의 소모성 AI 또는 Azure Machine Learning에서 만들거나 Azure Functions 내부에 래핑하는 사용자 지정 AI를 통합하는 기술 세트 사용 가능 인덱서 데이터 원본을 크롤링하고 검색 문서를 대상 검색 인덱스에 로드하는 리소스 Azure Storage, Azure SQL Database 및 Azure Cosmos DB..
-
LangChain이란? (feat. Prompt Engineering, Multi Modal AI)스터디노트/Data&AI 2023. 8. 10. 15:01
LangChain이란? LLM(Large Languate Model)에서 구동되는 프레임워크 Prompt Engineering Prompts quality ∝ LLM quality Prompt Engineering 구성요소 Instruction 모델에게 외부 정보에 대해서 어떻게, 무엇을 할지 정함, 쿼리 작업, 결과물에 대한 구성 방법 정함. External information 모델을 위한 추가적인 정보들로 작용 수동으로 prompt에 입력, 백터 데이터베이스 검색, API와 같은 다른 수단을 통해 얻을 수 있음 User input 유저로부터 시스템에 입력되는 쿼리 Output indicator 생성된 텍스트의 시작 일반적으로 위 구성요소 순서대로 prompt에 작성 PromptTemplate imp..
-
Hadoop이란?스터디노트/Data&AI 2023. 8. 8. 10:18
하둡이란? 고가용성 분산형 객체 지향적 플랫폼(High Availability Distributed Object Oriented Platform) 큰 크기의 데이터를 클러스트에서 병렬로 동시에 처리하여 처리 속도를 높이는 것을 목적으로 하는 분산처리를 위한 오픈소스 프레임워크 오픈 소스, Java 기반 소프트웨어 플랫폼으로 빅데이터 애플리케이션용 데이터 처리와 스토리지 관리 컴퓨터 클러스터 내 여러 노드에 걸쳐 하둡 빅데이터와 분석 작업을 분배하며, 작업을 병력식으로 실행 가능한 작은 크기의 워크로드로 분해 코어 하둡 모듈 HDFS(Hadoop Distributed File System) 하둡 애플리케이션에서 사용하는 기본 스토리지 시스템 마스터 서버 역할을 하며 파일 관리와 클라이언트 파일 엑세스 및 ..