AI 인공지능/LLM6 Code LLM 모델과 평가방식 개요 ChatGPT가 출현함으로써 개발자에게는 AI를 활용한 코드 생산성과 효율성을 증대시켰다. 번거로운 데이터 노가다 작업을 물론 코드 생성까지 해줌으로써 더 빠르고 효율적으로 사용할 수 있게하였다. LLM (Large Language Model) 모델 중 Code에 특화된 Model을 살펴보고 어떻게 평가를 하는지 알아보고자 한다. Code LLM 모델 아래 링크를 따라서 리더보드에 들어가보면 Code LLM 모델들과 평가방법에 따른 점수가 소개되어있다. https://github.com/huybery/Awesome-Code-LLM HumanEval, MBPP, HF 등은 여러가지 평가방식인데 예를 들어 MBPP은 "초급 프로그래머 수준의 Python 프로그래밍 문제" 이다. 자세한 설명은 아래의 평.. 2023. 10. 19. ChatGPT 탈옥 (DAN 모드) 아직도 가능한가? DAN 모드란? 각종 제약을 풀기 위해 유저들은 ChatGPT 프롬프트를 생각해 냈었고 DAN(Do Anything Now) 모드 혹은 탈옥(jailbreak) 등의 명칭으로 불리는 프롬프트를 개발하게 되었다. 막는자 vs 뚫는자 정책에 위반되는 부도덕한 프롬프트에 대해서 ChatGPT 개발진들이 탈옥에 관한 패치를 계속 내놓고 있기도 하지만 탈옥의 프롬프트 또한 계속 업데이트되면서 나오고 있는 상태이다. 막는자 vs 뚫는자 의 싸움이다. 2023년 2월 13일자 버전을 기준으로 탈옥을 통해 DAN 모드로 진입하여 질문을 해도 "AI 모델로서 가이드라인에 어긋나는 질문에는 답할 수 없습니다."라는 말로 거절한다. 아직도 막혀있는가? 2023년 8월 4일자로 아래 프롬프트를 사용하여 실험을 해봤는데 아직까.. 2023. 8. 4. 효과적인 ChatGPT Prompt Engineering 방법 프롬프트(Prompt)란?Gradient Flow의 Ben Lorica는 "프롬프트 엔지니어링은 기초 모델에서 원하는 결과를 도출하기 위해 효과적인 입력 프롬프트를 만드는 기술입니다." 라고 한다. 프롬프트 자체는 모델 출력에 대한 영향을 나타내는 모델에 대한 입력 역할을 한다. 좋은 프롬프트는 모델이 원하는 결과를 생성하도록 하는 반면, 잘못된 프롬프트에서 반복적으로 작업하면 모델의 한계와 작업 방법을 이해하는 데 도움이 된다. Prompt Engineering MethodsAndrew Ng님이 강좌 내용의 일부이며 매우 효과적인 방법의 방법이라고 생각한다. 1. Guidelines (지침)원칙 1: 명확하고 구체적인 지침 작성전략 1: 구분 기호를 사용하여 입력의 고유한 부분을 명확하게 표시 아래와 .. 2023. 8. 2. ChatGPT API를 사용해보자 사전 준비ChatGPT API 문서 : https://platform.openai.com/docs/guides/chat/chat-vs-completionsAPI Key 발급 : https://platform.openai.com/account/api-keys 사용 방법1. 필수 패키지 importimport openai2. API Key 설정API Key 발급 을 통하여 발급한 키를 입력하여준다.openai.api_key = '[YOU-OPENAI-API]'3. 요청 함수 정의def request_chatgpt(msg): return openai.ChatCompletion.create( model='gpt-3.5-turbo', messages=msg )4. 초기 요청시일반적으로 대화는 먼저 시스템 메시지로.. 2023. 3. 6. 센세이션을 불고 온 ChatGPT 개요 ChatGPT 열풍이 한창이다. 뉴스와 유투브, 친구들과 회사에까지 이 주제로 떠들썩하다. 그도 그럴 것이 구글이나 넷플릭스가 몇 년에 걸쳐 달성한 사용자를 단 몇 개월 만에 이루 냈으며 기능 또한 놀라웠기 때문이다. 질문만 하면 여러 분야에 걸친 방대한 지식을 기가 막히게 찾아서 문장을 생성해 내고 보여줬기 때문이다. 이전에 나온 GPT-2나 Bert 등이 안 좋았다는 건 아니다. 어느 정도 한계가 보여줬던 면들을 혁신적이게 바꿔놓았기 때문이다. 무엇이 가능한가? 정보 검색을 해준다. 구글이나 네이버 등의 포털 사이트에서 검색하듯이 "헬스로 살을 빼려면 어떤 식으로 계획을 세우는 것이 좋을까?" 등 운동 정보 뿐만 아니라 IT, 건강, 정치 등 다양한 부분에서 2021년까지 수집한 정보를 기반으로.. 2023. 2. 20. DeepSpeed란 무엇인가? DeepSpeed 개요 큰 모델은 순수한 데이터 병렬 처리로 쉽게 메모리가 부족하고 모델 병렬 처리를 사용하기 어렵다. DeepSpeed는 이러한 문제를 해결하여 모델 개발 및 훈련을 가속화 시킬 수 있다. DeeSpeed란? DeeSpeed API는 PyTorch의 경량 래퍼이다. 새로운 플랫폼을 배우지 않고도 PyTorch에서 좋아하는 모든 것을 사용할 수 있는 장점이 있다. DeepSpeed는 모델 개발에 집중할 수 있도록 분산 훈련, 혼합 정밀도 등 하이퍼파라미터를 관리한다. 가장 중요한 것은 DeepSpeed의 고유한 효율성 및 효율성 이점을 활용하여 PyTorch 모델에 대한 몇 줄의 코드 변경만으로 속도와 확장성을 높일 수 있다. 속도 DeepSpeed는 컴퓨팅/통신/메모리/IO에 대한 효율.. 2023. 2. 6. 이전 1 다음 728x90 반응형
