[MicroSoft] Ai, New Digital Experience 대학강연

MicroSoft에서 해주신 대학 강연요약입니다

듣느라 정신팔려서

이해한 내용+ 기억에 남는대로 적었습니다.

/* */ 는 개인적인 생각을 담았습니다.

 

MicroSoft AI 

OpenAI = Gpt 4 Turbo(GPT 4 Turbo = 300page를 입력가능)

 

AI회사를 바라보는 관점

회사에서 어떠한 방법과 알고리즘으로 서비스를 제공하는지 알아야한다.

특히, 선도주자(GPT)의 구현방식에 대해서 관심을 가져야한다.

 

Cloud

지금은 Cloud 기술이 많이 보편화 되고 있다.

Cloud ↔ On-primise 차이를 알고 있어야한다.

 

/* 기본적으로 Cloud로인해서 다양한 서비스들이 우리한테 접근이 쉬워진 것이다 

AI도 그로인해서 접근이 쉬워진 것 같다 */

 

 

DeepLearning Model

• LLM(Large Laguage Model 대규모 언어 모델)
  • 대표적 모델: GPT, Llama
• SLM(Small Laguage Model)
  • 대표적 모델: phi(pri는 언어맥락, 감정이해를 하는 모델)
  • Dohi 추가 : 상대적으로 작은 크기의 언어 모델로, 특정 작업이나 도메인에 최적화되어 있는 경우가 많음
  • 일반적으로 대규모 모델보다 훈련 및 추론 속도가 빠르고, 더 적은 자원을 사용함
•  LMM (Large Multi Model)
  • 통계 -> 추론
  • Dohi 추가 : 여러 모델을 동시에 사용하는 접근 방식으로, 다양한 데이터 유형과 복잡한 패턴을 다룰 수 있고 이를 통해 얻은 통계적 결과는 다음과 같은 추론적 의미를 가질 수 있음

---

최근 AI 업데이트

예시1 Tesla - Optimus

 

인식센서의 대표적 종류

- 라이다 센서, 비전(카메라)센서

 

비전(카메라)센서

• 장점 : 가격이 저렴
• 단점 : (카메라 배치를 잘해야 3D로 공간 구조만듬), 정확성(팬텀브레이크), 빛번짐

라이다

• 장점 :직관적인 인식
• 단점 : 빛을 쏘고 돌아오는 과정이 복잡, 카툭튀

/* 센서의 차이도 고려를 해야하는 것은 알고 있엇으나 확실하게 장단점을 듣고 보는 것은 처음이였다. */

---

예시 2

Mobile ALOHA Robot: AI 기반 로봇 동작 학습

Mobile ALOHA Robot https://mobile-aloha.github.io/

---

예시3 

Figure + Open Ai

https://www.figure.ai/

 

두 업데이트에 대해서 공통점은 동작을 따라하여 AI가 로봇에 대한 움직임을 학습하였다.

 

이제는 언어 -> 언어 출력이 아닌

입력값과 출력값이 다른 것으로 변환하는 것이 중요

즉, 현재 로봇의 행동은 출력값이 동작으로 나온 예시

 

즉 LLM기반에서 파생된기술이 많이 나올 것이고 해당 방향에서 준비해야한다.

e.g. Sora - OpenAi ( Prompt -> 동영상)

Prompt  (시스템,질의)

prompt를 잘할 수 있는 사람은 해당 파생 기술(영상,작곡)전문가일 것이다.

즉,IT전공과 다른 분야를 잘 표현할 수 있는 기술이 중요하다.

 

/* 느낀점 

AI를 경험하고 쓴다는 것은 결국에 생산성을 늘려주고 다양하게 배움을 경험하게 해주는 도구이다.

개발자로써 그냥사용하기 보다 왜? 그것이? 이렇게? 이런 궁금증이 있었기는 하지만

알고리즘에 대해서 생각을 딥하게 해본적은 많이없다.

그냥 알고있는 부분에서 아 이건 이렇다 라는 생각을 했었고 어느부분에서 준비를 해야겠다라는 생각을 해본 적이 없으나

이번 강연으로 느끼게되었다.

 

우리는 지금 명실상부 AI라는 도구를 사용하고 있다 

Cloud의 발전과 컴퓨터의 발전 그리고 연산 장치의 발전 GPU,NPU

이제는 어떻게 응용을 해야할 까 가 맞는 것같다.

 

LLM 기반 기술의 발전

Large Language Model(LLM) 기반의 기술들이 다양하게 파생될 것으로 기대가 되었다

이 방향에서 준비해야 할 점이 무엇일까를 고려하게 되었다.
- 다양한 입력값 처리: LLM은 단순한 텍스트 입력을 넘어, 다양한 형태의 데이터(예: 영상, 음악 등)를 처리할 수 있는 능력이 필요
- 출력값의 다양성: 입력값에 따라 다양한 형태의 출력을 생성할 수 있어야 하며, 이는 로봇의 동작이나 다양한 작업 수행에 유용

 

결국 응용하기 위해서는 "Prompt 기술"의 중요하다.

Prompt 기술은 아래로 나눠지는데 
- 시스템 프롬프트: AI의 설정과 동작 방식을 정의하는 요소
- 질의 프롬프트: 사용자가 AI에 질문하는 형식

 

질의를 하거나 동작을 정의를 하는 Prompt를 잘 활용할 수 있는 능력은

AI 기반의 다양한 기술(예: 영상 생성, 음악 작곡 등)에서 전문가가 되는 데 필수적이라고 생각하게 되었다.

예를들어

개발자가 Prompt를 이용해서 음악을 만드는 것 보다
음악가, 작곡가가 Prompt를 활용하는 것이 더욱 아름다운 음악을 만들어 낼 수 있지 않을 까 생각이 들었다.

 

이러한 프롬프트를 잘 활용하는 사람은 IT 전공자가 아니더라도, 다른 분야(예: 예술, 디자인 등)의 전문가로서도 큰 가치를 가질 수 있습니다. 따라서, IT와 비IT 분야의 융합이 더욱 중요해질 시간이 올수 도 있다고 생각이들었다.

 

IT지식만 아니라 다양한 도메인을 가지고 세상을 준비를 해야겠다.

늘 배우는 것을 하고 도메인이 내분야가 아니더라도 다양한 지식을 가지고 배우기가 편해진 시대니까 기본적인 지식을 가지고 있어야겠다는 생각이 들었다*/