Code LLM 모델과 평가방식

개요 ChatGPT가 출현함으로써 개발자에게는 AI를 활용한 코드 생산성과 효율성을 증대시켰다. 번거로운 데이터 노가다 작업을 물론 코드 생성까지 해줌으로써 더 빠르고 효율적으로 사용할 수 있게하였다. LLM (Large Language Model) 모델 중 Code에 특화된 Model을 살펴보고 어떻게 평가를 하는지 알아보고자 한다. Code LLM 모델 아래 링크를 따라서 리더보드에 들어가보면 Code LLM 모델들과 평가방법에 따른 점수가 소개되어있다. https://github.com/huybery/Awesome-Code-LLM HumanEval, MBPP, HF 등은 여러가지 평가방식인데 예를 들어 MBPP은 "초급 프로그래머 수준의 Python 프로그래밍 문제" 이다. 자세한 설명은 아래의 평..
AI 인공지능/LLM 2023. 10. 19. 14:59

GitLab 업데이트 방법

GitLib 업데이트 GitLab 업데이트시 다른 패키지들처럼 14.xxx → 16.xxx 이런식으로 2단계를 건너 띄우고 업데이트를 하지못하고 순차적으로 진행해야한다. GitLib 업데이트 예시 여기 공식 사이트 CHANGELOG.md를 보고 최초, 최종 버전을 검색할 수 있다. https://gitlab.com/gitlab-org/gitlab/blob/master/CHANGELOG.md CHANGELOG.md · master · GitLab.org / GitLab · GitLab GitLab is an open source end-to-end software development platform with built-in version control, issue tracking, code review,..
DevOps/GitLab 2023. 8. 10. 17:05

Certbot으로 Ubuntu의 Nginx 인증서 발급

Certbot란?Certbot은 수동으로 관리되는 웹사이트에서 Let's Encrypt 인증서를 자동으로 사용하여 HTTPS를 활성화하는 무료 오픈 소스 소프트웨어 도구이다. Certbot은 전자 프론티어 재단(Electronic Frontier Foundation, EFF) 에 의해 만들어졌다. 간단히 말해서 HTTPS 인증서를 커멘드 명령어만으로 Nginx등에 설정할 수 있는 도구라고 보면된다. Let's Encrypt 인증서는 신뢰할 수 있는 인증기관인가?Let's Encrypt는 무료로 SSL/TLS 인증서를 발급하는 오픈 소스 인증 기관 중 하나로 신뢰할 수 있는 인증기관이다. 설치방법Ubuntu 22.04 공식문서를 참조하면 좋을 것이다. 설치방법은 Snap 패키지 관리자를 통한 설치를 권장하..
DevOps/네트워크 2023. 8. 10. 08:47

MySQL Boolean 컬럼의 진실과 주의점

개요 MySQL에서 Boolean 컬럼 타입을 사용해서 테이블을 생성하게되면 내부적으로는 TINYINT(1) 값으로 생성되는 것을 볼 수 있다. 이렇게 생성된 테이블을 조회하기 위해서는 TRUE/FALSE 또는 1/0의 값을 사용할 수 있다. 사용방법 1. 테이블 생성 아래와 같이 테이블을 생성해보자 CREATE TABLE employee ( id INT(10) AUTO_INCREMENT PRIMARY KEY, NAME VARCHAR(50), enabled BOOL ); 위와 같이 테이블을 생성해도 실제로 DDL을 보면 TINYINT(1)으로 생성된 것을 볼 수 있다. 내부적으로는 Boolean 타입 자체가 없기때문이다. mysql> SHOW CREATE TABLE employee CREATE TABLE..
데이터 베이스/MySQL 2023. 8. 7. 11:50

python __str__ vs __repr__ 차이점

개요 파이썬 클래스를 사용할때 __str__ 또는 __repr__ 정의하고 사용할 때가 많다. 시간이 없고 바빠서 빼놓고 코딩할 때도 있긴하지만 정의를 해두고 사용하면 디버깅을 하거나 출력할때 유용하게 사용할 수 있다. 이 둘은 비슷해 보이지만 목적과 사용 시점에 따라 약간의 차이점을 가질 수 있다. __str__ vs __repr__ __str__ "사람이 읽을 수 있는" 친화적인 형태의 문자열 표현식이다. 사용자가 객체를 문자열로 변환하거나 print() 함수로 출력할 때 호출된다. __str__ 메서드가 정의되지 않은 경우, 파이썬은 대신 __repr__ 메서드를 호출한다. __repr__ "개발자용"의 디버깅 용도로 작성된 문자열 표현식이다. 개발자가 객체를 재생성하거나 디버깅할 때 유용한 정보를..
python 2023. 8. 5. 23:52

ChatGPT 탈옥 (DAN 모드) 아직도 가능한가?

DAN 모드란? 각종 제약을 풀기 위해 유저들은 ChatGPT 프롬프트를 생각해 냈었고 DAN(Do Anything Now) 모드 혹은 탈옥(jailbreak) 등의 명칭으로 불리는 프롬프트를 개발하게 되었다. 막는자 vs 뚫는자 정책에 위반되는 부도덕한 프롬프트에 대해서 ChatGPT 개발진들이 탈옥에 관한 패치를 계속 내놓고 있기도 하지만 탈옥의 프롬프트 또한 계속 업데이트되면서 나오고 있는 상태이다. 막는자 vs 뚫는자 의 싸움이다. 2023년 2월 13일자 버전을 기준으로 탈옥을 통해 DAN 모드로 진입하여 질문을 해도 "AI 모델로서 가이드라인에 어긋나는 질문에는 답할 수 없습니다."라는 말로 거절한다. 아직도 막혀있는가? 2023년 8월 4일자로 아래 프롬프트를 사용하여 실험을 해봤는데 아직까..
AI 인공지능/LLM 2023. 8. 4. 00:48

효과적인 ChatGPT Prompt Engineering 방법

프롬프트(Prompt)란?Gradient Flow의 Ben Lorica는 "프롬프트 엔지니어링은 기초 모델에서 원하는 결과를 도출하기 위해 효과적인 입력 프롬프트를 만드는 기술입니다." 라고 한다. 프롬프트 자체는 모델 출력에 대한 영향을 나타내는 모델에 대한 입력 역할을 한다. 좋은 프롬프트는 모델이 원하는 결과를 생성하도록 하는 반면, 잘못된 프롬프트에서 반복적으로 작업하면 모델의 한계와 작업 방법을 이해하는 데 도움이 된다. Prompt Engineering MethodsAndrew Ng님이 강좌 내용의 일부이며 매우 효과적인 방법의 방법이라고 생각한다. 1. Guidelines (지침)원칙 1: 명확하고 구체적인 지침 작성전략 1: 구분 기호를 사용하여 입력의 고유한 부분을 명확하게 표시 아래와 ..
AI 인공지능/LLM 2023. 8. 2. 22:39

Web 3.0에 대해 알아보자

Web 3.0은 무엇인가? Web 3.0은 탈중앙화, 검증 가능성, 보안성을 추구하는 개방적이고 공정한 웹을 지향하는 혁신적인 인터넷 세대이다. 사용자의 데이터를 소유하고, 사용자 간의 상호 운용성이 높은 P2P 네트워킹 모델을 채택하여 중개자를 제거하며, 검증 가능한 사용자 경험과 다양한 분산형 애플리케이션(DApp)을 지원한다. 이를 통해 안전하고 신뢰성 있는 온라인 환경을 제공하며, 스마트 계약과 프로토콜을 활용하여 효율적인 거래를 이루어낸다. 시멘틱 웹 시멘틱 웹(Semantic Web)이라고도 불린다.기존의 웹은 단순한 텍스트와 하이퍼링크로 구성되어 있었기 때문에 기계는 해당 정보의 의미를 이해할 수 없었습니다. 하지만 시멘틱 웹은 정보를 의미론적으로 표현함으로써 기계가 그 의미를 해석하고 자동..
백엔드 2023. 8. 2. 00:40

Docker Container 리소스 할당

개요 Container는 Host의 리소스 사용 제한을 받지 않는다. 그러므로 사용 제한이 없으면 호스트 리소스를 마음대로 갖다 쓸 수 있다는 이야기이다. 제한 방법 RAM 옵션 설명 --memory, -m 컨테이너 사용할 최대 메모리 양을 지정한다. 512m 이런식으로 할당이 가능하다. --memory-swap 컨테이너가 swap할 사용 메모리 영역에 대한 설정이다. memory + swap으로 반드시 메모리가 포함된 값으로 설정해야한다. (예) memory가 200m, swap이 100m이라면 300m으로 설정해야한다.) 생략시는 memory의 2배로 설정된다. --memory-reservation --memory 작은 값으로 구성해야되며 이 값까지는 soft 제한을 하겠다는 뜻 --oom-kill-..
DevOps/Docker 2023. 7. 27. 00:03

메모리 할당 기법 ptmalloc2 vs tcmalloc vs hoard vs jemalloc 비교

개요 우리가 서드파티 데이터베이스를 다루거나 운영체제 등을 설정할때 메모리를 할당하는 여러가지 기법이 있다. 대표적으로 ptmalloc2, tcmalloc, hoard, jemalloc등 있는데 이 기법에 대해 고찰해보자. 현대 메모리 할당 기법은 크게 차이가 나지 않지만 특정 상황에서는 우수한 성능을 발휘할 수 있다는 점을 인지하자 우선 개념부터 알아보자 PTMalloc2 PTMalloc2는 Doug Lea에 의해 개발된 메모리 할당기의 두 번째 버전이다. PTMalloc2는 기존의 PTMalloc보다 더 효율적인 메모리 할당과 관리를 제공하기 위해 개선되었다. 주로 glibc의 메모리 할당기로 사용되며, C/C++ 언어에서 사용되는 대규모의 동적 메모리 할당과 해제를 효율적으로 처리하는 것이 목표이다..
백엔드/성능 최적화 2023. 7. 26. 14:58