본문 바로가기

단축키

Prev이전 문서

Next다음 문서

단축키

Prev이전 문서

Next다음 문서

MS Build 2023 2nd AI CO-Pilot.jpg

2023년 5월 24일 새벽 1시(2023년 5월 25일 새벽 1시 30분)에, '마이크로소프트 빌드 2023' 컨퍼런스가 진행되었는데요.

 

당시 게시자 본인도 댓글 생중계를 진행하였고, 이에 댓글 내용을 전체 취합 및 정리하여 '마이크로소프트 빌드 2023 컨퍼런스 2차 전체 정리본(AI CO-Pilot의 시대)'을 올려드립니다. 많은 도움이 되셨으면 좋겠습니다. 감사합니다

 

※ 본래 5월 24일 새벽 1시, 5월 25일 새벽 1시 30분에 진행했었으나, 이번 2023년에는 '마이크로소프트' 부문이 첫 중계이고 해서 키노트 

 

중심으로 진행할려고 했으나, 어느 쪽을 중계해야 할지 감이 오지 않아서 부득이하게 25일까지 미루었다가 26일에 바로 최종 확정되서 

 

주말에 진행하기로 결정되었습니다. 이 부분은 너그러운 양해를 부탁드리겠습니다.

 

[키워드]
▶ AI(인공지능) : 빠르게 확산되며, 미국 뿐만 아니라 전 세계에서 혁신을 일으키고, 긍정적인 영향을 미침.

 

▶ 오픈 생태계(CO-Pilot)
- 마이크로소프트 : 애저, 윈도우, 오픈 소스 커뮤니티

 

▶ AI 모델의 컴퓨팅(페타플롭스/s-Day, 선형적 그래프)
- 그래프(연도 : 2012년 ~ 2022년, 10년 기간)
- 2012년 : ImageNET
- 2018년 : 알파제로
- 2020년 : 오픈AI(GPT-3)
※ 마이크로소프트의 컴퓨팅의 양과 인프라 규모 : 천문학적으로 엄청남

 

▶ AI로 소프트웨어 개발의 재구상
- 사용자 경험
- 애플리케이션 아키텍처
- 보안성과 안전함

 

▶ 개발자 : '훌륭한 제품'을 만들어야 합니다.
- 사용자 요구 : 충족되지 않은 부분, 더 나은 제품을 만들기 위해서 노력하는 부분, 다른 사람이 가지고 있지 않은 것을 반영하기 위해서는 '고유한 이해'가 있는 곳을 이해해야 함.
- 기술 : 불가능하거나 실현 불가능 혹은 고비용성이 존재하는 많은 것들을 쉽고 저렴하게 제작함.
※ 누구에게도 좋은 제품을 만드는 것이 어떤 것에 대한 사고의 책임을 면제하지 않음.

 

▶ '모델' : 사용자의 제품이 아님
- 모델 자체 : 제품을 가능하게 하는 인프라 회사가 아닌 한 모델은 제품이 아니라는 것.
- 기술 종사자 : 사람들이 '제품에 집착'보다 '인프라에 집착'하는 것이 실수 중 하나임

 

▶ '훌륭한 경험'을 만드는 것은 개발자에게 달려 있음.

 

▶ AI 인프라스트럭쳐
※ 애플리케이션 ↔ 인공지능 오케스트라 ↔ 투자 모델(3가지 항목 : AI 안전성)

 

▶ 오픈소스 언어 모델의 종류
- 로컬 : 위스퍼 모델(증명서)
- 로컬 : Dolly 2.0 모델(게스트 이름 추출)
- 클라우드 : Bing 검색 접지 API(게스트의 약력 검색)
- 클라우드 : GPT-4 기반 '애저 오픈AI'(소셜 미디어 문구 생성)
- 클라우드 : DALL-E 2 기반 '애저 오픈AI'(이미지 생성)
- 클라우드 : CO-Pilot 기반 링크드인 플러그인(포스팅)
※ 전체 코드는 'GitHub repo'를 확인(github.com/microsoft/PodcastCopilot)

 

▶ Do Legendary Shit : 개발자의 도전은 언젠가 전설적인 'XX' 표현이 나올 해내는 것!

 


[마이크로소프트]
▶ 마이크로소프트, 기술 스택 ☞ 플랫폼[초대 창업자 겸 CEO(회장) 빌 게이츠(윌리엄 헨리 게이츠 3세)]
① 플랫폼을 사용하는 모든 사람의 경제적 가치가 만드는 회사의 가치를 초과할 때임
② 플랫폼의 진정한 가치가 구체화되는 때는 그 플랫폼에서 창출된 가치가 플랫폼 빌더 자체가 아니라, 플랫폼 위에 구축하는 사람들에게
순항할 때임
③ 그렇지 않는 플랫폼이 있다면 그것은 실제 플랫폼이 아니며, 플랫폼을 잠재적으로 생산할 수 있는 모든 가치보다 훨씬 더 크게 만드는
것은 사람들이 그렇게 할 필요가 없도록 하는 것
 

 

[마이크로소프트 & 오픈AI]
▶ 마이크로소프트 & 오픈AI
- AI 기초 모델
- 파트너쉽으로 주도하는 빠른 속도의 혁신과 급속한 발전(속도를 조절)
- ChatGPT : 해당 모델 기반으로 구축하는 애플리케이션(많은 시대정신이 포착됨)

 

▶ 마이크로소프트와 오픈AI
- 개발자 : 기술이 점점 더 좋아지고 있으나, 모든 개발자가 할 수 있다고 생각하는 것
- 마이크로소프트 규모 : 특정 영역에 들어가서, 이 기술을 작동시키는 방법을 알아내는 것은 어렵다.

 

▶ 마이크로소프트 & 오픈AI의 파트너쉽 성공의 주요 요인(End To End 플랫폼 구축 기반)
- 슈퍼 컴퓨터 : 세계에서 가장 강력한 슈퍼 컴퓨터
- 오픈 소스 : 호스팅 ~ 오픈 소스에 이르는 유능한 기반 모델(애저 클라우드 기반 실행되고 있는 API 포함)
- 개발 환경 : 세계 최고의 AI 개발 환경 인프라스트럭쳐
- 개발자와의 협력 : 현재 할 수 있는 것보다 먼 미래를 볼 수 있다는 점.

 

▶ 오픈AI 창업자 겸 사장, 그렉 브록만 출연
- GPT-3 : 회사로서 상당한 결과였고, 해당 모델의 성능을 능가하려는 시도가 여러 번 실패함.
(제도판으로 돌아가 전체 인프라를 재구축하는 것을 목표로 변경함)
- GPT 시리즈(GPT-4) : 전통적 GPT-3 기본 모델을 보유하고 있었고, 사전 훈련도 받았음.[ChatGPT의 일부를 지원함]
- 사전 방향 조정 X : GPT-3.5용 API에 있었고, 지시 받은 계약자가 있는 곳에서 지시를 내리는 지점에 도달함
- 완료해야 하는 방법 : GPT-4의 교육
- 작은 실험 : 2번째 지시를 내릴 때의 경우(무언가 생성한 후 모델은 이전의 모든 것들을 통합한 완벽한 응답으로 결과 도출)
- 세부 사항의 파악 : 버그는 있었으나, 모든 엔지니어링 허용 오차가 엄청나게 작기를 원하는 로켓을 만드는 것과 같다는 것.
- 머신 러닝 : 대부분 상관하지 않고 복원함(작은 세부 사항, 체크포인트의 버그 → 잘못된 순간에 작업 종료시 다시 작업을 해야 할 때의 

가중치와 이전 가중치가 혼합됨)

 

▶ 강력한 CO-Pilot를 위해서 ChatGPT를 구축한 경험
- ChatGPT : 몇 년 동안 인프라 및 ML 관점에서 흥미로움
- 아이디어 : 몇 년 동안 '채팅 시스템'을 갖기 위한 관점(초기 버전인 WebGPT 빌드 데모를 선보였음)
- 데모 시연(계약자) : 당시 해당 시스템을 이용 및 비용 지불을 위한 100명 계약자가 있었음.

 

▶ 오픈AI와 인텔
- 인텔의 틱톡 전략 : 혁신을 생각해 낸 다음, 실제로 밀어붙임과 해당 전략 주기가 있다는 것.
- GPT4 : 실제로 추진하는 초기 단계(현재 비용은 비쌈)
※ 2년 전에 70% 가격 인하를 좋아했던 역사를 되돌린 시점 기준(90% 비용 절감, 세금 비용을 인하함)

 

 

 


[마이크로소프트 빌드 2023 컨퍼런스]
▶ 마이크로소프트 빌드 2023 컨퍼런스의 주제('AI CO-Pilot의 시대')
- AI, 지난 한 해 동안 세계에서 일어난 일과 미친 영향
- AI, 개발자 모두에게 의미하는 바 무엇인가?
 

 

 

[마이크로소프트 - 애저 클라우드]
▶ 마이크로소프트 애저 클라우드[(AI(인공지능)을 위한 클라우드]
- 오픈AI : 모든 인프라 위에서 수행한 놀랍고 기술적으로 복잡하고 뛰어난 태스킹을 보유함.
- 마이크로소프트 : CO-Pilot 애플리케이션 및 자체 고급 AI 모델을 보유 및 구축을 수행함.

 

 


[마이크로소프트 - 윈도우 OS]
▶ 마이크로소프트 윈도우 OS[AI 개발을 위한 최고의 클라이언트(Feat. 윈도우 CO-Pilot)]
- 강력한 AI 모델 실행
- 클라우드 플랫폼까지 확장
※ 진정한 하이브리드 OS AI 애플리케이션을 개발할 수 있는 기능 → 윈도우 OS
 

 

 

[마이크로소프트 → CO-Pilot]
▶ 마이크로소프트 CO-Pilot
- 신규 개발 패턴
- 특이한 아키텍처
- 어디에나 있음.

 

▶마이크로소프트 CO-Pilot
- 최신 AI를 사용하여 복잡한 인지 작업을 지원하는 애플리케이션.
- 인지 작업을 지원하는 대화형 인터페이스도 존재함.
- ChatGPT에서도 적합함
- 다른 제품 : Bing 채팅, GitHub CO-Pilot, 보안 CO-Pilot, 365 CO-Pilot, 디자이너
※ 주목 포인트 : 사용자 환경을 훌륭하게 구성하는 방법 및 작업들을 대규모로 안전하고 책임감 있으면서 비용 효율적으로 제공할 수 있는 

기술 스택이 무엇인지 이해하도록 공통적으로 살펴봐야 한다는 부문임.

 

▶ 마이크로소프트, 윈도우 CO-Pilot의 플러그인 접근 방식
- 권한 부여 : 모든 개발자가 사용할 수 있도록 부여할 것(사티아 나델라 회장)
- ChatGPT : 같은 기능을 확장할 수 있는 소프트웨어이자, MS가 구축하는 모든 CO-Pilot과 동일함
- 오픈AI : 모든 개발자가 플러그인을 활용하여, 모든 사람들에게 나은 시스템을 제공할 수 있는 놀라운 기회임.(이것이 바로 개방형 표준을 설계한 이유이며, 한번 빌드시 모든 AI를 사용이 가능함)
- 월드 와이드 웹 : 누구나 웹사이트를 구축 및 액세스를 할 수 있고, API를 구축하여 누구나 활용할 수 있다는 부분.
- 플러그인 : 개념적으로 간단하고, 핵심 개념을 이해하면 매우 강력하게 빠르게 세울 수 있음. 
- 플러그인의 설계 원칙 : 플러그를 꽂아서, 시스템의 성능 향상 및 모든 도메인의 ChatGPT로 가져올 수 있기를 원하는 개발자를 가질 수 있다는 것.

 

▶ 마이크로소프트 "CO-Pilot" ←  플러그인 → '디지털 세상'
- 기초 모델 : 강력한 모델이 있고, 점점 더 강력해지는 모델도 있음
- 기다림 : 모델을 훈련시킬 때까지 기다릴 필요가 없음
- 수용성 : 응용 프로그램을 수용할 수 있는 방법
- 애플리케이션 빌드 : 모델 자체가 불완전하거나 불완벽한 경우에도  해당 기술 기반으로 빌드함.
※ MS 플러그인의 생각 방식 : 세계의 디지털 작동기와 같음.

 

☞ 마이크로소프트 'CO-Pilot' 스택 구조
▶ CO-Pilot 프론트엔드
① 플러그인 확장성
② UX(사용자 경험 - 에이다 러브에이스가 1st 프로그램을 작성한 이래 180년 이상 동일한 방식을 사용함)

▶ 오케스트라 프레임워크(오케스트라) - 문제 해결이 아닌 새로운 아이디어를 보게 될 것임.


① 프롬프트 & 응답 필터링 : 내부에서 조작하는 기본적 수단
- 프롬프트 → 토큰 버킷이며, 응용 프로그램의 사용자 환경 계층에서 생성됨) : 자연어와 오케스트레이션의 시작 단계임!
- 응답 필터링 : 프롬프트를 허용하지 않는 이유(프로그램 요구 사항의 미충족, 비안전성 작업을 수행하는 방식으로 응답하게 될 가능성이 

있을 수 있음.

 

② 메타프롬프트 : 'CO-Pilot'에게 제공하는 상설 지침 세트(대화의 모든 턴에서 모델로 전달 및 구축하려는 파일럿에세 자신을 수용하는 

방법을 전달함)

 

③ 그라운딩(Feat. 벡터 데이터베이스 + 웹-API, 플러그인)
- 검색 증강 생성(Retrieval Augmented Generation, RAG)
- 모델이 아래로 흐르는 프롬프트의 응답에 도움이 될 수 있는 프롬프트에 추가 컨텍스트를 추가

 

④ 플러그인 실행('플러그인 확장성' 연동)
- 플러그인을 사용 및 모델로 내려가기 전에 프롬프트에 몇 가지 추가 컨텍스트를 추가.
- 시스템에서 작업 수행이 가능하도록 모델에서 백업하는 도중에 실행을 수행이 가능함.
※ LangChain : 인기 있는 오픈 소스 오케스트레이션 메카니즘 솔루션

 

▶ 기초 모델 및 미세 조정
- 투자 모델 : 호스팅 기반 모델(미세 조정 기반 모델 포함), BYO 모델
- 투자 모델 및 인프라 : MS 애저 클라우드, 윈도우 OS, CO-Pilot
- 애저 OpenAI API 서비스의 사용 가능 모델 : ChatGPT, GPT 3.5, GPT4(미세 조정중)

 


[마이크로소프트 - 플러그인]
▶ 마이크로소프트 플러그인
- AI 시스템을 강화하여 API에 액세스
- 유용한 정보 검색
- 새로운 계산 수행
- 사용자를 대신하여 안전하게 행동
 

 


[마이크로소프트 - 출시 및 신규 기능 발표]
▶ 미디어 출처도구(출시 예정)
- 생성형 AI 기반 콘텐츠에 출처에 대한 메타데이터를 표시하고 서명하는 데 사용되는 암호화 방법,
- 소비자가 이미지나 비디오가 AI에 의해 생성되었는지 여부를 확인이 가능함.

 

 

https://blogs.microsoft.com/blog/2023/05/23/microsoft-build-brings-ai-tools-to-the-forefront-for-developers/




List of Articles
번호 분류 제목 글쓴이 날짜 조회 수
공지 에디터 업데이트+) GPT AI 기능을 포함하여 강력한 도구들을 사용해보세요 ⬆️ file 🍀플로버404 2024.04.16 400
공지 덕질 공통 이용규칙 및 안내 (업데이트중+ 2024-04-13) 😀컴덕824 2024.04.14 711
공지 1000P를 모으면 다이소 상품권 1000원을 신청할 수 있습니다. file Private 2024.02.14 2604
1153 잡담 한국에 7개의 애플스토어 생겼는데... 😀애플덕525 2024.03.08 610
1152 잡담 kt m 모바일 알뜰폰으로 바꾸려고 하는데 file 😀애플덕158 2024.03.08 636
1151 잡담 이놈의 애플페이 소식은 언제 나오려는지. 😀애플덕805 2024.03.08 713
1150 잡담 ios 17.4 정식 출시. file 😀애플덕878 2024.03.08 684
1149 잡담 국민카드 태그그립 출시하나보네요. file 😀애플덕578 2024.03.08 728
1148 잡담 유튜브 광고제거,PIP,백그라운드 재생 지원 사파리 확장앱 Vinegar file 😀애플덕938 2024.03.08 653
1147 애플 앱 관련 질문있습니다 😀애플덕714 2024.03.08 654
1146 잡담 벨킨 보조배터리 구매하려는데 사용기가 궁금합니다 file 😀애플덕877 2024.03.08 735
1145 잡담 대체 언제쯤 교통카드 가능할까요? 😀애플덕754 2024.03.08 707
1144 잡담 맥세이프 카드지갑이 나의 찾기에 등록이 안되네요. 😀애플덕518 2024.03.08 691
1143 잡담 Siri에 사용자가 받은 메시지를 지원되는 언어로 알리는 새로운 옵션이 추가됨 😀애플덕623 2024.03.08 658
1142 잡담 watchOS 10.4 나왔네요 file 😀애플덕365 2024.03.08 674
1141 잡담 17.4 올렸더니 네트워크 감도가 줄었네요 ㅠㅠ 😀애플덕754 2024.03.08 690
1140 잡담 아이패드 케어플러스에 키보드, 펜슬 등록 제한이 생겼나 보네요. 😀애플덕993 2024.03.08 701
1139 잡담 카메라 셔터음 작년 11월에 제도 개선한다고 하더니 아무말도 없네요 😀애플덕682 2024.03.08 653
1138 잡담 애플워치 에르메스 '가죽' 밴드 2024 봄 업데이트 file 😀애플덕127 2024.03.08 690
1137 잡담 에어팟 구입 질문 file 😀애플덕699 2024.03.08 714
1136 잡담 카카오 로그인과 관련한 신기한 버그가 있네요... 😀애플덕217 2024.03.08 630
1135 잡담 정품 맥세이프 카드지갑 교통카드 인식 질문 😀애플덕906 2024.03.08 708
1134 esim 사용량 확인 원래 이랬었나요? file 😀애플덕280 2024.03.08 620
Board Pagination Prev 1 2 3 4 5 6 7 8 9 10 ... 58 Next
/ 58