Dream (당신의 꿈을 드립니다.), Hackathon, kakao x goorm

kakao x goorm, Hackathon (2024.09.04 ~ 09.07)

KakaoTech-Hackathon-Dream

KakaoTech-Hackathon-Dream has 5 repositories available. Follow their code on GitHub.

GitHub

프로젝트 개요

• 생성형 AI(LLM, RAG, Diffusion model)를 활용하여 노년층이 이루지 못한 꿈을 바탕으로 ‘꿈을 이룬 나’에 대한 이야기와 이미지를 생성하고, 이를 통해 관련된 교육 프로그램 및 직업을 추천하는 서비스

추진배경

현재 우리 사회가 직면한 주요 문제는 저출산으로 인한 급격한 고령화이다. 노년층 인구 비율은 꾸준히 증가하며 인구 구조가 노년층에 집중되는 반면, 이들의 사회적 고립은 더욱 심화되고 있다. 이러한 사회적인 고립의 확산은 노년층의 삶의 만족도 저하로 이어진다.‘국민 삶의 질 보고서’에 따르면 노년층 중 삶에 만족한다고 답한 비율은 29.9%로, 이는 아동/청소년(56.6%), 청년(41.8%), 중장년(38.0%)에 비해 상대적으로 낮은 수치를 보인다. (통계청 - 2022년)

 이를 완화할 수단으로 ‘시니어 교육’이 주목받고 있으며, 노년층의 사회 참여와 교육을 촉진함으로써 낮은 삶의 만족도를 개선할 수 있는 적합한 방안으로 평가되고 있다. 하지만, 방대한 정보와 복잡한 경로 때문에 시니어 교육이 제공되더라도 접근이 어렵고, 이로 인해 자존감이 낮아져 새로운 시도를 주저하게 되어 고령층의 사회적 소외가 심화되는 악순환이 이어지고 있다.

(통계청 -2018)

 이러한 문제를 해결하기 위해, 우리는 생성형 AI 기술을 활용하여 노년층이 꿈꾸던 이야기와 사진을 만들어가는 놀이 방식으로 디지털 장벽을 낮추려 한다. 또한, 이러한 접근 방식을 통해 시니어 교육 프로그램과 구직 관련 정보를 제공하며, 추천 시스템을 기반으로 교육 및 채용 회사들로부터 커미션을 받는 B2B 모델로 운영할 계획이다. 더 나아가, 차후 정부와 협력하여 노인 복지기관을 통해 서비스를 보급하고, 이를 B2G 디지털 문화/교육 플랫폼으로 확장하고자 한다.

주요 기능

1. 핵심 내용:

• 사용자 맞춤형 이야기 생성: 사용자가 입력한 정보를 바탕으로 LLM generation model이 RAG 기법과 Diffusion model 활용하여 독창적인 이야기와 이미지를 생성. 이 과정에서 최신 텍스트 및 이미지 생성 기술을 활용.
• 교육 프로그램 및 취업 정보 매칭: 생성된 이야기에서 주요 키워드를 자동 추출하고, 이를 바탕으로 유사도가 높은 교육 프로그램이나 취업 정보를 추천하여 사용자에게 실질적인 학습과 진로 선택을 돕는 서비스 제공.

2. 기술적 활용:

1. AI 기반 텍스트 생성 (LLM - GPT, RAG, langchain 등):
   • 자연어 처리 기술을 활용하여 사용자가 제공한 입력을 기반으로 사용자가 꿈꾸던 스토리를 생성.여기서 LLM(대규모 언어 모델)을 사용하여 문맥을 이해하고 자연스러운 텍스트를 생성 RAG(Relevance-Augmented Generation) 기법과 Langchain을 활용하여 외부 데이터 소스를 참조, 관련성 높은 정보를 텍스트 생성에 반영.
     - RAG 활용방안: 자서전 데이터들을 카테고리별로 디비에 저장한 뒤 스토리생성 부분에 맞게 가져올 것
     - Langchain 활용방안: 책을 작성하는 방법과 유사하게, 기승전결과 같은 맥락으로 스토리를 뽑을수 있도록 프롬프트를 작성할것.
   • 선택 이유:GPT 같은 대규모 언어 모델은 문맥 이해와 자연스러운 언어 생성에 뛰어나며, 특히 사용자 맞춤형 이야기를 생성하는 데 강력한 성능을 보임. RAG 기법을 통해 실시간 외부 데이터 검색과 참조가 가능해 더욱 풍부하고 최신 정보를 바탕으로 한 텍스트 생성을 지원. Langchain은 이러한 데이터 소스와 LLM을 효과적으로 연결하여 사용자 맞춤형 스토리를 효율적으로 생성하는 데 기여.
2. 텍스트 기반 이미지 생성 (DALL-E, Stable Diffusion 등):
   • 생성된 이야기를 시각적으로 구현하기 위해 AI 기반 이미지 생성 기술을 사용. 이는 스토리와 일치하는 맞춤형 이미지를 제공하여 사용자 경험을 극대화.
   • 선택 이유: 최신 텍스트-이미지 모델은 간단한 텍스트 설명을 기반으로 창의적인 이미지를 생성할 수 있어, 시각적 콘텐츠를 제공함으로써 사용자 만족도를 높일 수 있음.
3. 추천 시스템 (유사도 기반 매칭):
   • 생성된 이야기에서 BERT와 같은 NLP모델로 키워드를 추출하고 교육 및 취업 데이터베이스의 내용을 비교하여 유사도가 높은 프로그램을 사용자에게 맞춤 추천.
   • 선택 이유: 개인화 추천 시스템은 사용자의 관심사와 연계된 교육 및 취업 정보를 제시하여 사용자 만족도를 높이고, 교육 및 취업 연결성을 강화

3. 독창성, 우수성: 

기존 교육 및 취업 정보 추천 서비스는 노인층이나 고령층이 접근하기 어렵고, 사용자의 과거 목표와 감정을 연결하지 못한다는 한계가 있다.

• 과거 꿈 기반 몰입형 경험: 사용자가 어린 시절 꿈을 입력하면, AI가 스토리와 이미지를 생성해 감정적 몰입을 제공하여 교육에 대한 동기를 부여
• 고령층 맞춤형 서비스: 과거의 꿈을 되살려 감정적 연결을 강화하는 몰입형 서비스를 제공하며, 고령층이 쉽게 접근할 수 있도록 설계
• 교육 및 직업 추천 연계: 스토리에서 추출된 키워드로 관련 교육 프로그램과 직업 정보를 추천하여, 사용자가 자신의 꿈을 실현할 수 있는 실질적인 경로를 제시

이 서비스는 노년층의 꿈을 기반으로 한 몰입형 경험과 맞춤형 교육 및 직업 추천을 제공하여 실질적인 동기 부여와 학습 기회 확대를 지원하는 점에서 독창적인 차별점을 가진다.

생성형 AI 기술

서비스 흐름

아키텍쳐 구조

이번 프로젝트는 Kakao x Groom 해커톤과 KDT 해커톤에 연이어 참여하면서 진행됐었다. 팀원들은 부트캠프에서 마음맞는 동료들로 구성됐고, 우리는 의미 있는 결과물을 만들어내기 위해 제한된 시간 속에서 각자의 열정을 쏟아부었었다. 특히 두 해커톤에 동시에 참여해야 했던 상황이라, KDT 해커톤에 제출할 아이디어를 먼저 선정하고 나서 Kakao 해커톤을 통해 이를 미리 테스트하며 서비스의 가능성을 검증해보기로 했었다.

초기에 아이디어를 정하는 단계에서는 팀원들이 다양한 창의적인 서비스 아이디어를 제안했었다. 노인과 아이들을 위한 그림 치료 애플리케이션이나, 노인 베이비시터 매칭 플랫폼, 시니어를 위한 맞춤형 커뮤니케이션 서비스(할카오톡) 등 여러 가지 방향으로 논의가 오갔었다. 하지만 이미 존재하는 서비스들과 차별성도 부족했고, 기술적으로 구현 가능한지, 그리고 짧은 기간 안에 실현할 수 있을지를 고민하면서 최종적으로 구현할 서비스 아이디어를 확정하는 데 시간이 꽤 걸렸었다. 팀원 모두가 비판적인 시각으로 토론에 참여하며, 각자의 관점에서 아이디어를 검토하고 다듬어가는 과정을 거치면서 더 나은 방향성을 정리할 수 있었었다.

특히 KDT 해커톤에 제출할 기획서를 작성하는 데 정말 많은 시간을 쏟아부었었다. 이 기획서 작성은 단순히 아이디어를 정리하는 것을 넘어서, 실질적인 사업성과 사용자의 요구를 충족시키는 서비스로 발전시키기 위한 중요한 과정이었다. 우리는 시장 조사를 통해 서비스 수요를 분석했고, 관련 통계 자료를 조사하면서 기획서를 더 탄탄하게 만들었었다. 이 과정에서 모든 팀원이 단순히 개발자의 역할을 넘어 PM 역할까지 경험할 수 있었고, 서비스 기획과 문서 작성 역량도 크게 성장할 수 있었었다.

그런데 기획에 너무 많은 시간을 쓰다 보니 실제 구현할 시간이 많이 부족해졌었다. 해커톤 중 기간 4일 중에 3일을 KDT서비스 기획서를 작성하느라 모든 시간을 보냈다. 그래서 우리는 부가적인 기능들을 생략하고, 핵심 기능에만 집중하기로 결정했었다. 먼저 서비스의 전반적인 흐름과 기술적인 이해를 팀원들 간에 맞추고, 각자 역할을 명확히 분담했었다. 기술적인 부분을 서로 이해시키는 과정에서 여러 차례 논의를 거쳤고, 서비스 아키텍처를 다시 정리하면서 각 파트에서 발생하는 문제들을 빠르게 해결하기 위해 계속 소통했었다.

개발 과정에서 자잘한 이슈들이 계속 발생했었지만, 팀원들의 협력 덕분에 그런 문제들을 빠르게 해결해 나갔었다. 우리는 끊임없이 서로를 지원하고 피드백을 주고받으면서 밤을 새우며 기능 구현에 집중했었다. 특히 기술적 어려움들이 발생할 때마다 서로의 경험과 지식을 공유하면서 문제들을 해결했고, 끝까지 포기하지 않고 목표를 달성하는 데 주력했었다.

결국 우리는 핵심 기능을 성공적으로 구현할 수 있었다. 이 과정을 통해 팀워크의 중요성을 다시 한 번 깨달았고, 제한된 시간 안에서도 효율적으로 협업하면서 기능을 완성해 나가는 방법을 배웠었다. 더불어 개발자로서의 기술적인 역량뿐만 아니라, 기획과 협업, 문제 해결 능력 등 다방면에서 성장할 수 있었던 값진 경험이었다.

우리는 원했던 서비스를 정확하게 만들게 되었고, 대상을 받지않을까라는 기대에 부풀었지만 아쉽게도 수상은 하지못했다. 하지만 짧은기간동안 몰입해서 목표했던 서비스를 만들어내는 과정에서 협업하고 맡은바를 다하면서 많이 성장했다고 생각한다. 좋은 팀원들을 만났고 여기서 그치지않고 다른 대회들을 함께 나가면서 발전하기로 약속했다.

다들 고생많았어 :) ㅎㅎ

서비스에 관한 회고

• 비즈니스모델에 대한 고민 ( 그냥 스토리,이미지 생성하여 교육프로그램을 추천하는것이 아닌 고령층들을 위한 교육플랫폼만들기로 바꿔야하나?, 개발하려는 서비스가 디지털장벽을 허물기위한 수단중 하나라고 어필하지만 설득력이 없어보임…등등)
• 기술적인 부분( 모델을 gpt4가 아닌 기존 llm모델 사용해서 스토리생성하는 모델 만들어보기(서버의 한계), TTS를 추가한다던지, RAG를 사용할때 한국의 시대적 배경을 넣어서 텍스트 생성하기, 이미지에 사용자 얼굴 삽입하기)