[키워드]
▶ 데이터 : AI 혁신을 강화하는 연료

▶ AI(인공지능) 기반 애플리케이션
- 모든 애플리케이션은 AI로 재발명.
- 이전에는 불가능했던 새로운 애플리케이션이 구축됨.

▶ 책임성 AI의 프롬프트 엔지니어링
- 개발 정의 메타 프롬프트
- 모범 사례 및 템플릿
- 애저 AI 클라우드에서의 테스트 및 실험
※ 예시 : 단순히 자연어로 모델의 '① 응답성 접지' 및 ② '톤을 제어'하고, '③ 안전을 위해서', 모델 안전 시스템을 '④ 균열내려는 시도'를 

방지하도록 '모델 안전 시스템'을 지시하는 것.

▶ 우리 앞에는 흥미진진한 미래가 보임.

[마이크로소프트 → CO-Pilot]
▶ 마이크로소프트, CO-Pilot 스택
- 애플리케이션 : 플러그인 확장성, CO-Pilot = '마이크로소프트 CO-Pilot + 사용자 CO-Pilot'
- 인공지능 오케스트라 = MS 애저 클라우드
- 투자모델, AI 인프라스트럭쳐 = 애저 클라우드
※ GitHub + 비주얼 스튜디오 = AI 솔루션을 쉽게 개발이 가능함!

▶ 마이크로소프트, CO-Pilot 스택(인공 지능 오케스트라)
① 프롬프트 & 응답 필터링
② 메타프롬프트
③ 그라운딩
④ 플러그인 실행
※ 핵심 기본 사항 : 그라운딩, 신속 설계, 엔지니어링 평가, AI 안전 플랫폼이 포함됨

▶ 마이크로소프트 CO-Pilot 플러그인(하나의 플러그인 확장성 모델)
- ChatGPT
- Bing 채팅
- 마이크로소프트 365 CO-Pilot
- 파워 플랫폼 CO-Pilot
- 다이나믹 365 CO-Pilot
- 윈도우 CO-Pilot
- 애저 AI 클라우드 기반 사용자 CO-Pilot

▶ 마이크로소프트, CO-Pilot 스택(AI 인프라스트럭쳐)
- 애저 클라우드 : 세계의 AI 슈퍼 컴퓨터를 보유함.(수년에 걸쳐서 막대한 투자를 감행함)
- AI 경험 : 오픈AI의 'ChatGPT', 마이크로소프트의 모든 AI 서비스 및 제품을 지원하는 인프라
※ 또한 AI 슈퍼 컴퓨터는 훈련에 사용되기도 했었음.

[마이크로소프트 - GitHub]
▶ GitHub(하나의 통합 End To End 개발자 플랫폼)
- 협업의 재정의
- 전체 워크플로우 자동화
- 안전한 'DevSecOps' = 'Development + Operations(DevOps) + Security'
- 1억명 이상의 개발자들에게 사랑받는 개발자 도구
- 포춘지 선정 100대 이상 기업 중 90% 이상이 사용함.

▶ GitHub, GitHub CO-Pilot
- 신규 코드 : 코드의 46% 부분은 AI가 작성함
- 만족성 : 개발자의 75%가 작업에 집중할 수 있게 됨.
- '빠른 작업' : 개발자의 96%가 빠르게 반복성 작업이 가능함.
※ 전 세계적으로 1백만 명 이상 개발자가 GitHub CO-Pilot 기능을 사용함!

▶ GitHub, GitHub CO-Pilot 신규 서비스!
- 오픈AI에서 개발한 신규 혁신적 대형 AI모델 기반으로 구축한 솔루션
- 인스타그램 공동창업자(마이크 크리거) : "이것은 내가 본 것 중 가장 놀라운 기계 학습 응용 프로그램임"
- 모든 프로그래밍 언어와 작동하며, 생산성을 가속화하는 AI 프로그래머를 제공함

▶ GitHub, GitHub CO-Pilot-X 신규 기능 발표!(GPT-4 모델 기반 사용)
- CO-Pilot 채팅
- CO-Pilot으로 요청 끌어오기
- 자동 테스트 생성

▶ GitHub + MS 애저 클라우드(기본 클라우드 기반 개발)
- GitHub(GitHub 작업이 포함된 CI/CD)
- 애저 클라우드(컨테이너 애플리케이션, 명령어, 쿠버네티스 서비스, 애플리케이션 서비스)
- 애저 데이터베이스(인터넷, SQL, PHP)
※ 클라우드 기반에서 솔루션을 쉽게 설정 및 플러그인 구축(빌드, 테스트, 배포) 자동화 기능을 사용이 가능함

▶ GitHub + MS 애저 클라우드 플러그인 샘플 데모 제작 소스 코드 공개!
- https://aka.ms/PlunginRepo

[마이크로소프트 - 애저 클라우드]
▶ 마이크로소프트, 애저 AI 클라우드에서 실행됨
- 365 CO-Pilot
- 보안 CO-Pilot
- 다이나믹 365 CO-Pilot
- 파워 플랫폼 CO-Pilot
- Bing(검색 엔진)
- GitHub CO-Pilot
- Nuance

▶ 마이크로소프트, 애저 AI 클라우드의 주요 기능(이번년도 1월에 공급함)
- 애저 AI 인프라스트럭쳐
- 애저 머신 러닝
- 인지 서비스
- 애저 오픈AI 서비스

▶ 마이크로소프트, 애저 오픈AI 서비스(데이터로 사용자 지정 조정 가능한 사전 훈련된 대규모 기반 AI 모델)
- GPT-3.5, GPT-4, ChatGPT
- DALL-E II
※ 마이크로소프트 CO-Pilot 환경은 애저 오픈AI 모델을 사용하여 빌드함.

▶ 데이터에 대한 마이크로소프트 애저 오픈AI 서비스
- 데이터 리소스 : 인터넷, 파일, 클라우드 검색, SQL, 스토리지
- 서드 파티의 추가 데이터 소스 : 파일, 데이터베이스, 스토리지 데이터)
☞ 데이터 리소스 + 서드 파티의 추가 데이터 소스 → '애저 오픈AI 서비스'로 데이터 이동 → 애플리케이션 Or 'CO-Pilot' 에이전트로 실행됨.

▶ 마이크로소프트, 애저 AI
- 수천 개 이상의 오픈 소스 AI 모델이 존재함
- 애저 AI 솔루션에서 모든 오픈 소스 모델 카탈로그를 사용이 가능함!

▶ 마이크로소프트, 애저 AI[믿을 수 있는 AI(인공지능)]
- 격리 : 사용자의 Azure 개방형 AI 서비스 인스턴스는 다른 모든 고객으로부터 '분리'됨
- 미사용 : 사용자의 데이터는 '기초 AI 모델 훈련'에 사용하지 않음.
- 보호 : 사용자 데이터는 가장 포괄적인 기업 규정 준수 및 보안 제어로 안전하게 조치됨

▶ 마이크로소프트, 애저 AI 서비스의 특징
- 완화 계층(안전의 심층적 방어 계층적 접근 방식) : 
① 모델 : OpenAI와 협력하여 문제성 쿼리 인식 및 대응하도록 직접 안전성을 구축
② 안전 시스템 : 오픈 소스 LLM을 사용하는 경우, API를 사용하여 애저 안전 컨텐츠 기능을 호출이 가능함

(애저 오픈AI를 사용하는 경우는 처음부터 안전 계층부터 시작함)
③ 메타 프롬프트 : 사용 중인 모델에 관계없이 다음에 집중 및 출력을 제어하기 위한 모델을 제공하는 시스템 수준 프롬프트
④ 사용자 경험
- 원치 않는 컨텐츠 자동 감지
- 온라인 커뮤니티, 애플리케이션 및 AI 시스템을 안전하게 유지
- GitHub, CO-Pilot, Bing 채팅, 365 CO-Pilot 빌드 경험 기반으로 모든 CO-Pilot 빌드의 핵심 부분

▶ 애저 클라우드를 이용한 책임성 AI
- 기초 모델의 돌파구 : 책임감 있는 AI의 가능성을 변화시켜, 신규 최첨단 도구 및 기술의 개발이 가능함.
- 신규 AI 서비스(애저 AI 서비스) : AI 모델을 기반으로 텍스트, 이미지, 다종 모델 컨텐츠에 대한 깊은 이해를 구축하고자 개발함.

▶ 마이크로소프트, 애저 AI 컨텐츠 보안 서비스 발표!(안전을 위하여 AI 배포를 쉽게 테스트하도록 하는 서비스)
- 안전하지 않은 콘텐츠를 탐지하고 심각도 점수 할당
- 인간 및 AI 생성 콘텐츠 작업
- 애저 AI 클라우드 전반에 통합
※ 마이크로소프트의 AI 시스템은 'AI 원칙'을 준수하도록 설계됨

▶ 마이크로소프트, 애저 오픈AI 기업 사용 벤더사
- 첫째 줄 : SAP, 서비스나우, 데이터로봇, Icertis, Providence, snelstart, AI버스터스, Alert-Innovation
- 둘째 줄 : 어도비 시스템, AON, KPMG, 오토데스크, BMW 그룹, WiPro, 카맥스 외 1개 추가
- 셋째 줄 : Clevertar, 코카콜라, Cognizani, 데이터북, DocuSign, Downer, ELSEVIER 헬스
- 넷째 줄 : EY, Farmlands, Gene-AI, JLIFAD, Accenture, Inpris, inworld, Kepro
- 다섯째 줄 : Klaviyo, arvato, ODP, PWC, RTL+, Avanade 외 2개 추가
- 여섯째 줄 : Sogeti, Strabag, Trelent, Typeface, CIPIO, WordLift, Zammo 외 1개 추가

▶ 마이크로소프트, 애저 AI 스튜디오
- 데이터를 사용한 접지 AI 모델
- Azure Cognitive Search를 사용한 내장형 벡터 인덱싱
- 검색 증강 생성(RAG)이 간편하고 쉬워짐.

▶ 마이크로소프트, 애저 AI의 프롬프트 플로우 기능 공식 발표!
- AI 모델, 프롬프트 및 API 조정
- 신속한 튜닝 및 실험 지원
- 블루/그린 배포 및 테스트
- 오픈 소스 도구 및 프레임워크(LangChain), Semantic Kernel, 플러그인 지원
※ 신속한 엔지니어링을 위해서 설계된 강력한 도구 및 서비스 제품군임.

[마이크로소프트 - 애저 클라우드(H/W, 데이터센터)
▶ (H/W)마이크로소프트 신규 VM, ND H100 v5 VM 서버 실물 사진 공개!
1. 서버(데이터센터) CPU : 인텔 4세대 제온 스케일러블 CPU
2. 서버(데이터센터) GPU : 엔비디아 호퍼 마이크로아키텍처 기반 H100 텐서 코어 GPU * 8개
(차세대 NV스위치 및 NV링크 4.0을 통한 상호 연결)
3. 서버(데이터센터) RAM : DDR5 DIMM 4800Mhz의 16채널
4. 네트워크 및 대역폭
① GPU 대역폭(엔비디아 퀀텀-2 CX7 인피니밴드 - 400Gb/s)
② VM 대역폭(VM당 3.2TB/s의 비차단 Fat-Tree 네트워크)
③ NV스위치 및 NV링크 4.0(이전 3.6 포함)의 각 VM 내 8개 로컬 GPU 간의 'TB/s' 이중 대역폭
5. AI 모델 훈련 시스템 : 수만 개의 상호연결된 GPU와 빠른 네트워킹을 갖춘 세계 최고의 서버 시스템
6. 케이블 연결 : '인피니밴드 케이블'로 GPU 클러스터에 중요한 요소 중 하나임.
(클라우드 하이퍼 스케일러 규모 - 높은 네트워크 대역폭 및 낮은 네트워크 대기 시간 제공함)
※ 현재 AWS 및 구글 모두 인피니밴드 케이블을 지원하지 않음.

▶ (데이터센터)마이크로소프트, 신규 지역에 구축 진행 중에 있는 애저 클라우드 데이터센터 시설 공개
- 구축 진행 중의 신규 지역 : 미국 더블린(캘리포니아 주)
- 애저 데이터센터 운영 규모 : 2023년도 기준 120개 이상(3일마다 1개의 신규 데이터센터 구축)
- 애저 데이터센터 지역 : 더블린 이외에 구성하는 여러 많은 데이터센터로 구성됨.
- 애저 데이터센터 크기 : 길이(1마일 반), 너비(반 마일 넘음), 규모(2백만 평방 피트) → 35개의 축구 경기장과 맞먹는 규모
- 애저 데이터센터 운영 국가 : 전 세계에서 60개국 이상(미국 더블린은 전 세계 데이터센터 공간의 3%에 불과함)

[마이크로소프트 - 기타 제품군(서비스)]
▶ 마이크로소프트 Fabric
(AI 시대의 데이터 분석 - 365와 긴밀하게 통합, 레이크 중심개방형 데이터 아키텍쳐)
- 애저 시냅스 분석
- 애저 데이터 공장
- 마이크로소프트 파워 BI
※ 모든 계층에서 모든 분석 도구를 하나의 공통 아키텍처 내 경험을 제공하는 완전 제품 통합 플랫폼

▶ 마이크로소프트 Fabric(하나의 레이크 중심)
- 오픈 데이터 포맷
- 오픈 API
- 멀티 클라우드
※ 하나의 레이크 : 델타 및 Parquet 포함한 개방형 형식 기반 구축(데이터 브릭 및 오픈 소스 도구와 호환됨)
※ 오늘부터 공개 프리뷰 버전 사용 가능!(https://aka.ms/Fabric)

▶ AI 플러그인 구축을 강력한 개발자 도구를 사용하는 방법(Feat. 마이크로소프트 'CO-Pilot' & 오픈AI 'ChatGPT')
- 플러그인 상호 운용성을 제공하는 개방형 플러그인 표준 규격을 수용함.
- GitHub + 비주얼 스튜디오 기반 플러그인 : 매우 간소화된 개발자 환경을 제공함.