IT상식

하루가 다르게 발전하는 AI를 보고 있으면 대체 어디까지 똑똑해질 작정인가 싶다. 수많은 분야의 지식을 막힘없이 설명하고, 처음 보는 문제까지 풀어내는 걸 보면 문득 그 답이 어디서 어떻게 나오는지 궁금해진다. 대규모 언어 모델(LLM)의 작동 방식을 설명하는 논문과 책은 많지만 비전문가 입장에서는 좀처럼 이해하기 쉽지 않다. 하지만 AI가 답변을 만들어내는 큰 흐름을 이해하는 데는 파라미터, 추론, 웹 검색 세 가지 개념 정도만 알아둬도 충분하다. 1. 파라미터: 학습한 지식을 담는 방식 대규모 언어 모델은 방대한 학습 데이터를 바탕으로 언어와 지식의 패턴을 학습한 수학적 모델이라고 할 수 있다. 이렇게 학습한 패턴은 파라미터(parameter, 매개변수)라는 수치에 반영되며, 파라미터는 대부분 가중..