스터디노트/Data&AI
-
Azure Cognitive Search란?스터디노트/Data&AI 2023. 8. 14. 11:20
Azure Cognitive Search 웹, 모바일 및 엔터프라이즈 애플리케이션의 프라이빗 이기종 콘텐츠에 대한 풍부한 검색 환경을 추가할 수 있는 인프라, API 및 도구를 개발자에게 제공하는 클라우드 검색 서비스 데이터 원본에서 데이터 수집/검색을 자동화하는 인덱서의 형태로 다른 Azure 서비스와 통합 가능, 이미지 및 자연어 처리와 같은 Azure AI 서비스의 소모성 AI 또는 Azure Machine Learning에서 만들거나 Azure Functions 내부에 래핑하는 사용자 지정 AI를 통합하는 기술 세트 사용 가능 인덱서 데이터 원본을 크롤링하고 검색 문서를 대상 검색 인덱스에 로드하는 리소스 Azure Storage, Azure SQL Database 및 Azure Cosmos DB..
-
LangChain이란? (feat. Prompt Engineering, Multi Modal AI)스터디노트/Data&AI 2023. 8. 10. 15:01
LangChain이란? LLM(Large Languate Model)에서 구동되는 프레임워크 Prompt Engineering Prompts quality ∝ LLM quality Prompt Engineering 구성요소 Instruction 모델에게 외부 정보에 대해서 어떻게, 무엇을 할지 정함, 쿼리 작업, 결과물에 대한 구성 방법 정함. External information 모델을 위한 추가적인 정보들로 작용 수동으로 prompt에 입력, 백터 데이터베이스 검색, API와 같은 다른 수단을 통해 얻을 수 있음 User input 유저로부터 시스템에 입력되는 쿼리 Output indicator 생성된 텍스트의 시작 일반적으로 위 구성요소 순서대로 prompt에 작성 PromptTemplate imp..
-
Hadoop이란?스터디노트/Data&AI 2023. 8. 8. 10:18
하둡이란? 고가용성 분산형 객체 지향적 플랫폼(High Availability Distributed Object Oriented Platform) 큰 크기의 데이터를 클러스트에서 병렬로 동시에 처리하여 처리 속도를 높이는 것을 목적으로 하는 분산처리를 위한 오픈소스 프레임워크 오픈 소스, Java 기반 소프트웨어 플랫폼으로 빅데이터 애플리케이션용 데이터 처리와 스토리지 관리 컴퓨터 클러스터 내 여러 노드에 걸쳐 하둡 빅데이터와 분석 작업을 분배하며, 작업을 병력식으로 실행 가능한 작은 크기의 워크로드로 분해 코어 하둡 모듈 HDFS(Hadoop Distributed File System) 하둡 애플리케이션에서 사용하는 기본 스토리지 시스템 마스터 서버 역할을 하며 파일 관리와 클라이언트 파일 엑세스 및 ..