기본 콘텐츠로 건너뛰기

[Claude AI 로 블로깅하고 책쓰기 -14 ] 40만 사용자 블라인드 테스트한 LLM 모델 순위 1위는? (feat. LMSYS Chatbot Arena)

참고: 이 데이터는 Hugging Face에서 운영하는 LMSYS Chatbot Arena 에서 최근에 각동 LLM 모델들을 평가한 자료를 Claude 3로 분석하여 설명한 내용입니다. 아래 그래프나 도표는 모두 이 LMSYS Chatbot Arena 사이트에서 발췌한 것입니다.      https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard LMSYS Chatbot Arena는 다양한 LLM(Large Language Model)의 성능을 종합적으로 평가하고 비교하기 위한 오픈 플랫폼입니다. 이 플랫폼에서는 크라우드소싱을 통해 수집한 사용자들의 선호도 평가 데이터를 바탕으로 모델 간 상대적 우열을 가리고 있습니다. 40만명이 넘는 사람들의 선호도 투표를 모아 Elo 랭킹 시스템으로 LLM을 순위화했습니다. 부연 설명: LMSYS Chatbot  Arena Leaderboard 는 대규모 언어모델(LLM)의 성능을 평가하기 위한 플랫폼입니다. 이 플랫폼은 크라우드소싱 방식으로 운영되며, 누구나 참여할 수 있는 오픈 플랫폼입니다. 40만명 이상의 사람들이 직접 LLM들에 대한 선호도를 투표했습니다. 이 투표 결과를 바탕으로 Elo 랭킹 시스템을 적용하여 LLM들의 순위를 매겼습니다. Elo 랭킹 시스템은 전통적으로 체스 등 두 플레이어 간 경기에서 실력 차이를 수치화하는 데 사용되는 방식입니다. 이 경우에는 사람들의 선호도 투표를 통해 LLM 간 상대적 성능 차이를 Elo 점수로 계산했습니다. 결론적으로 종합하면 현재로서는 Claude 3 opus와 GPT-4 계열 모델이 여러 평가 지표에서 최고 성적을 거두며 LLM 시장을 선도하고 있다고 평가할 수 있겠습니다. Bard, Claude 3 sonnet 등이 그 뒤를 바짝 추격하고 있으며, 구형 모델들과는 분명한 격차를 보이고 있습니다. 주요 평가 항목과 그 의도를 살펴보면 다음과 같습니다: 1. 일대일 대결 승률 (Figure 1):   각 모델 쌍 간의
최근 글

[Claude AI 로 블로깅하고 책쓰기 -13 ] 10M 크기 이상의 PDF 문서나 PPT파일 업로드 후 분석하기 (팀)

Claude AI로 대용량 PDF 파일과 PPT 파일 분석하기 (팁) 이번엔 Claude AI를 활용하여 PDF와 PPT 파일을 분석하는 방법에 대해 알아보겠습니다. Claude AI의 장점과 제약사항 Claude AI는 PDF, DOCX, TXT, CSV 등의 파일을 업로드하여 분석할 수 있다는 큰 장점이 있습니다. 하지만 PPT 파일이나 10MB 이상의 파일은 업로드할 수 없다는 제약사항이 있죠. 그렇다면 PPT 파일이나 10MB가 넘는 PDF 파일(대부분의 논문 파일)은 어떻게 분석할 수 있을까요? 지금부터 알려드리는 팁을 활용해보세요! 대용량 (10M 이상) PDF 파일 분석하기 1. 무료 구글 드라이브 또는 유료 Google Workspace 계정의 구글 드라이브에 10MB 이상의 PDF 파일을 업로드합니다. 2. 해당 PDF 파일을 선택한 후 마우스 오른쪽 버튼을 클릭합니다. 3. '연결 앱' -> 'Google 문서'를 선택하면 PDF 내용이 모두 텍스트로 추출되어 Google 문서로 자동 변환됩니다. 4. 변환된 Google 문서에서 '파일' -> '다운로드' -> '일반 텍스트(txt)'를 선택하여 텍스트 파일로 저장합니다. 5. 생성된 텍스트 파일을 Claude AI에 업로드하면 분석이 가능해집니다. PPT 파일 분석하기 PPT 파일도 파워포인트나 Google 드라이브에서 열어 TXT 파일로 저장한 후 Claude AI에 업로드하면 분석할 수 있습니다. 이렇게 간단한 과정을 통해 Claude AI의 제약사항을 극복하고, 다양한 파일 형식을 분석할 수 있게 되었습니다. 여러분도 이 팁을 활용해 보시고, Claude AI의 강력한 분석 기능을 경험해 보세요! (*** Google 드라이브에서는 PDF 문서나 이미지 파일을 'Google 문서' 로 열기 하면 자동으로 PDF 내용이 모두 텍스트로 추출되어 Google 문서로 자동 변환됩니다. 이미지

[Claude AI 로 블로깅하고 책쓰기 -12 ] AI 윤리 교육, 단 하나의 원칙으로도 가능할까? - Constitutional AI (헌법적 AI) 의 가능성

  참고: 이 내용은 Anthropic 사에서 게시된 논문 ' Specific versus General Principles for Constitutional AI ( 헌법상 AI에 대한 구체적 원칙과 일반 원칙 비교 ' 을 Claude 3를 이용하여 분석하여 해석한 내용입니다.  간단히 말해, 이 내용은  AI의 문제적 행동을 예방하는 두 가지 방법 을 비교하고 있습니다. 첫 번째 방법은 인간의 피드백을 활용 하는 것입니다. 이는 대화형 AI가 노골적으로 유해한 발언을 하지 않도록 방지할 수 있지만, 자기보존이나 권력에 대한 욕구와 같은 미묘한 문제 행동은 자동으로 완화하지 못할 수 있습니다. 두 번째 방법은 Constitutional AI(CAI) 라고 불리는 것으로, 인간의 피드백 대신 AI 모델이 작성한 원칙 목록에 따라 AI를 학습시키는 것입니다. 이 방법은 효과적으로 문제 행동을 예방할 수 있습니다. 흥미롭게도, "인류에게 최선인 것을 행동하라"는 단 하나의 원칙만으로도 AI가 일반적인 윤리 행동을 학습할 수 있다는 것이 실험을 통해 확인되었습니다. 이 간단한 원칙을 통해 학습한 AI 어시스턴트는 권력과 같은 특정 동기에 대한 관심을 보이지 않으면서도 해롭지 않은 행동을 보였습니다. 이는 잠재적으로 유해한 행동을 막기 위해 긴 원칙 목록이 필요하다는 점을 부분적으로 피할 수 있음을 시사합니다. 하지만 구체적인 유형의 위험을 제어하기 위해서는 보다 상세한 원칙이 여전히 도움이 될 수 있습니다. 결론적으로, AI를 안전하게 유도하기 위해서는 일반적인 원칙과 구체적인 원칙 모두가 가치가 있다는 것을 이 내용은 제안하고 있는 것입니다. 이 논문은 크게 세 가지 내용을 담고 있습니다. Constitutional AI(CAI) 는 인간의 감독 없이 AI 스스로 윤리 원칙을 학습하여 스스로를 제어하는 방법입니다. 마치 국가가 헌법을 기반으로 통치되는 것처럼, AI도 일련의 원칙을 바탕으로 행동하도록 하는 것이죠. 예를 들어 어떤

[Claude AI 로 블로깅하고 책쓰기 -11 ] 달리3에게 그림을 잘 그릴 수 있도록 Claude 활용하기 (팁)

달리에게 그림을 그려 달라는 명령어를 Claude 에게 요청하여 원하는 그림을 그릴 수 있습니다.  결과적으로는 여러분들이 달리 또는 미드저니에게 그림을 요청할떄 Claude 에게 명령어 생성을 요청하는데 활용할 수 있을 것 같습니다.  클로드에게 그림 생생성 AI들에게 그림을 잘 그릴 수 있게 명령을 하려면 어떻게 하면 좋은 지 질문을 해보았습니다.  Claude 답변: AI 이미지 생성 모델을 위한 효과적인 프롬프트를 작성하는 팁을 추가로 알려드리겠습니다. 1. 구체적인 물체, 인물, 동물, 배경 등을 명시하세요. 예를 들어 "바닷가에 서있는 로봇"처럼 주요 객체와 배경을 함께 언급하면 좋습니다. 2. 원하는 분위기나 감정을 표현하는 형용사를 사용하세요. "신비로운", "활기찬", "우아한" 같은 수식어가 이미지의 톤을 설정하는데 도움됩니다. 3. 구도와 관점을 지정해주는 것도 좋습니다. "클로즈업", "전경", "원거리 샷" 등의 용어를 활용하면 보다 의도에 맞는 구도를 얻을 수 있습니다. 4. 빛과 그림자, 텍스처 등 시각적 느낌을 말로 표현해보세요. "부드러운 조명", "거친 질감", "선명한 그림자" 같은 표현이 이미지의 디테일을 결정짓습니다. 5. 유명한 예술 사조나 장르를 언급하면 해당 스타일로 이미지를 생성할 수 있습니다. "바로크 양식으로", "사이버펑크 느낌으로" 등이 그 예시입니다. 6. 이미지의 용도나 콘텐츠 유형을 명시하는 것도 중요합니다. "영화 포스터 스타일로", "그래픽 노블 표지처럼", "잡지 삽화 느낌으로" 등으로 용도를 특정할 수 있습니다. 7. 색상 팔레트를 지정하면 보다 통일감 있는 이미지를 얻을 수 있습니다. "파스텔톤으로", &quo

[Claude AI 로 블로깅하고 책쓰기 -10 ] Claude의 추론, 과연 믿을 만할까? AI 모델의 사고 과정 들여다보기

이 내용은 Antrophic 사 홈페이지 올린 'Measuring Faithfulness in Chain-of-Thought Reasoning'   (연쇄 추론에서 충실도 측정하기) 논문을 Claude 3를 이용 분석하여 이해하기 쉽게 설명한 것입니다. 이 논문은 AI가 문제를 푸는 과정을 설명할 때 그 설명을 얼마나 믿을 수 있을지 확인하는 방법을 다루고 있습니다. AI 성능이 좋아질수록 오히려 설명의 신뢰도는 떨어질 수 있다는 흥미로운 결과도 있었죠. 이 논문의 주요 결론은 다음과 같습니다. 언어 모델이 생성한 단계별 추론(Chain-of-Thought, CoT)의 충실도는 작업과 모델의 특성에 따라 크게 달라질 수 있음. 모델의 크기가 커질수록, 그리고 작업의 난이도가 낮아질수록 CoT의 충실도는 대체로 떨어 지는 경향이 있음. CoT의 성능 향상 효과는 단순히 추가적인 컴퓨팅 비용이나 표현 방식의 차이에서 오는 것이 아님. 설명 가능성이 중요한 분야에서 언어 모델을 활용할 때는 CoT의 충실도를 주의 깊게 평가 하고 적절한 모델을 선택해야 함. CoT의 충실도를 개선하기 위한 후속 연구가 필요하며, 이는 언어 모델을 실제 문제 해결에 적용하는데 중요한 과제가 될 것임. 즉, 이 연구는 CoT의 충실도 문제를 제기하고 그 양상이 작업 및 모델 특성에 따라 복잡하게 나타날 수 있음을 실증적으로 보여주었습니다. 이를 통해 CoT 활용 시 유의 사항을 제시하고, 충실도 개선을 위한 후속 연구의 필요성을 강조했다고 할 수 있겠습니다. 이 연구는 대형 언어 모델(Large Language Models, LLMs)이 생성한 단계별 추론(Chain-of-Thought, CoT)의 충실도(faithfulness)를 측정하는 방법에 대해 다루고 있습니다. 최근 LLM은 질문에 답하기 전에 단계별로 추론을 수행하면 성능이 향상된다는 사실이 밝혀졌습니다. 하지만 모델이 제시한 추론이 실제로 답을 도출하는데 사용된 진정한 추론 과정을 반영하는지, 즉 추론의 충

[Claude AI 로 블로깅하고 책쓰기 -9] 수능 예상 문제 풀고 첨삭 지도 받기 (프롬프트 팁)

Claude 3를 활용한 수능 예상 문제 풀고 첨삭 지도 받기 예시 Claude AI를 활용한 프롬프트 질문은 학습자의 이해력과 적용력을 높이는 데 도움이 됩니다. 효과적인 프롬프트 질문을 만들기 위해서는 학습자의 수준과 목표에 맞추고, 배경지식과 경험을 고려하며, 호기심과 참여도를 유발하는 것이 중요합니다. 또한, 질문과 함께 단계별 분석을 제공 하여 학습자의 인지 과정과 학습 과정을 지원해야 합니다. 단계별 분석 (Think step by step) 은 프롬프트 질문이 기억, 이해, 적용, 분석, 평가, 창조 등의 능력을 어떻게 발달시키는지 확인할 수 있게 해줍니다. 다음은 Claude AI를 활용하여 수능 영어 문제 스타일로 5문제를 출제하고, 단계별 분석을 제공하는 프롬프트 템플릿입니다: 프롬프트: "2023년 수능 영어 문제 스타일로 5문제를 출제해주세요. 각 문제는 하나씩 제시하고, 정답을 맞힌 후에 다음 문제로 넘어갈 수 있게 해주세요. 오답일 경우 [단계별 분석]을 통해 피드백을 제공해주세요. 총 10점 만점에 문제 난이도에 따라 점수를 부여하고, 마지막에는 최종 점수 합계를 알려주세요." 오답을 입력할  경우 단계별 분석이 제공되고, 정답일 경우 다음 문제로 넘어갑니다. 이런 식으로 5문제를 풀고 나면, 최종 점수 합계가 제공됩니다. 이 프롬프트 템플릿은 '수능 영어' 부분을 '중학교 국어', '초등학교 6학년 과학', '토플' 등으로 바꾸어 다양한 과목과 수준에 맞게 활용할 수 있습니다. 프롬프트에서 가장 중요한 부분은 [단계별 분석] 키워드 입니다. 이를 통해 학습자는 문제를 해결하는 과정에서 필요한 피드백과 지원을 받을 수 있습니다. Claude AI를 활용한 프롬프트 질문과 단계별 분석은 학습자의 능동적인 참여를 유도하고, 효과적인 학습을 지원하는 강력한 도구가 될 수 있습니다. ---------------------------------------------

[Claude AI 로 블로깅하고 책쓰기 -8] Claude로 법률 문서 (M&A 계약서)를 분석 및 생성 과정

Prompt chaining은 복잡한 작업을 여러 단계로 나누어 순차적으로 프롬프트를 제공하는 기법입니다. 각단계의 프롬프트에는 이전 단계의 프롬프트와 응답이 포함되어, 맥락을 축적해가며 태스크를 수행하게 됩니다. 이를 통해 AI 모델을 단계별로 유도하고, 각 단계의 결과물을 활용하여 최종 결과를 도출하게 됩니다. 이 Prompt Chaining 기법을 이용하여 M&A 계약서를 완성해 나가는 과정을 예시로 들어 보겠습니다. 이번 사례에서는 다음과 같은 Prompt Chaining 과정을 거쳐서 M&A 계약서를 완성해 보도록 하겠습니다. M&A 계약서 초안 분석 및 쟁점 파악 '을' 입장에서 추가 질문 및 협의 사항 도출 M&A 계약서 완성을 위한 단계별 절차 제시 법률 자문 관점에서 계약서 보완 포인트 정리 앞선 논의를 반영한 최종 계약서 완성 각 단계에서의 프롬프트 응답 결과가 다음 단계의 프롬프트 입력에 반영되면서,  초안 분석 → 쟁점 도출 → 절차 정립 → 조항 보완 → 최종안  도출이라는 일련의 체이닝 과정을 통해 '을' 입장에서 원하는 계약서를 완성할 수 있습니다. 우선 M&A 계약서 템플릿이 필요하여 Claude 에게 다음과 같이 표준 M&A 계약서 초안을 생성해 달라고 요청을 했습니다. Prompt : 다음 샘플 M&A 계약서 내용을 구체적인 내용을 생성 해주세요. A 회사는 미국에 본사를 둔 글로벌 회사이고, B 회사는 한국에서 설립된 스타트업 기업입니다. B 회사는 생성형 AI기반 기업용 인공지능 솔루션을 개발하여 한국 및 일본에 솔루션을 판매하고 있는 회사입니다. 총 인원은 10명입니다. A회사가 B회사를 인수하려고 합니다. 이에 합당한 M&A 계약서를 A회사가 유리하도록 생성 해주세요 Claude 답변 주식양수도계약서 갑 회사: Global AI Solutions Inc. (이하 '갑') 주소: 123 Silicon Valley Road,