Fireflies와 Otter로 구축하는 무인 회의 자동화 비책

 

 

Fireflies.ai와 Otter.ai를 활용해 회의 기록을 100% 자동화하는 AI Tool 활용 방법입니다. STT를 넘어 API 연동과 커스텀 프롬프트로 협업 효율을 극대화하는 방법을 공개합니다.

 

매일같이 반복되는 화상 회의와 대면 미팅 속에서 가장 힘든 것은 '기록' 그 자체가 아니었습니다. 기록을 하느라 정작 중요한 상대방의 표정이나 뉘앙스를 놓치게 되고, 회의가 끝난 뒤 산더미처럼 쌓인 녹음본을 다시 들으며 '액션 아이템'을 정리해야 하는 그 지루한 작업이 소모적이었죠. 특히 다국적 팀과 협업할 때는 서로 다른 억양과 전문 용어 때문에 회의록 작성에만 회의 시간의 두 배가 넘는 시간을 쏟기 일쑤였습니다. 사내의 회의 요약 시스템이 있지만 그 기능이 충분하지 못했고요.

 

그래서 단순히 말을 글로 옮겨주는 도구가 아니라, 회의의 맥락을 이해하고 다음 단계를 제시해 줄 수 있는 'AI Tool'이 필요했습니다. 수많은 시행착오 끝에 저는 Fireflies.ai와 Otter.ai라는 도구를 선택했습니다. 이 과정에서 겪었던 수많은 설정 오류와 API 연동의 난관, 그리고 마침내 '내가 없어도 회의가 정리되는' 시스템을 구축했을 때의 그 쾌감은 이루 말할 수 없었습니다. 본 포스팅에서는 제가 직접 체득한, 검색으로는 알 수 없는 실전 자동화 전략을 가감 없이 공유하고자 합니다.

Fireflies 활용한 자동 기록의 효율성

Fireflies.ai를 도입했을 때 가장 좋았던 점은 '참여하지 않은 회의에서도 의사결정에 참여할 수 있다'는 점이었습니다. 이전까지는 회의에 빠지면 동료가 대충 적어준 메모에 의존해야 했지만, 이제는 Fred(Fireflies의 봇)가 캘린더를 읽고 알아서 줌(Zoom)이나 Google Meet 회의에 입장해 모든 대화를 캡처합니다. 제가 이 도구를 높게 평가하는 이유는 단순히 텍스트 변환 속도가 빨라서가 아닙니다. 바로 회의 내에서 발생하는 '감정'과 '핵심 키워드'를 분석하는 Sentiment Analysis 기능 때문입니다. 예를 들어, 클라이언트와의 협상 도중 어느 시점에 분위기가 경색되었는지, 어떤 제안에서 긍정적인 반응이 나왔는지를 타임라인별로 시각화해 줍니다. 이는 복기를 할 때 매우 도움이 됩니다.

 

실제로 저는 20여 명이 참여하는 대규모 프로젝트 관리 과정에서 Fireflies의 Topic Tracker 기능을 적극 활용했습니다. '예산', '마감일', '기술적 결함' 같은 특정 키워드를 설정해두면, 긴 회의 내용 중 해당 언급이 나온 구간만 즉시 필터링하여 확인할 수 있습니다. 1시간짜리 녹화본을 처음부터 끝까지 돌려볼 필요 없이, 단 5분 만에 핵심 리스크를 파악할 수 있게 된 것이죠. 또한, Fireflies의 강점은 'Soundbites' 기능에 있습니다. 회의 중 아주 중요한 의사결정 발언이 나왔을 때, 해당 부분만 짧은 오디오 클립으로 추출해 즉시 슬랙 채널에 공유할 수 있습니다. 이는 텍스트로 전달할 때 발생할 수 있는 '뉘앙스의 왜곡'을 완벽하게 방지해 줍니다.

"단순히 받아쓰기를 잘하는 AI는 많습니다. 하지만 회의의 맥락을 파악하고 비즈니스 언어로 요약해 주는 도구는 드뭅니다. Fireflies는 단순한 기록자가 아닌, 데이터 분석가에 가깝습니다."

 

가장 만족스러웠던 지점은 'Search across meetings' 기능이었습니다. 지난 6개월간 진행된 수백 건의 회의 데이터 중 "지난번 A 이사가 언급했던 서버 교체 비용이 얼마였지?"라고 검색하면, 모든 회의록을 뒤져 정확한 발언 시점과 금액을 찾아내 줍니다. 이는 조직의 흩어진 지식을 하나의 검색 가능한 데이터베이스로 만드는 과정입니다. 제가 구축한 워크플로우에서는 회의가 끝나자마자 Fireflies가 생성한 요약본이 자동으로 노션의 '회의 아카이브' 페이지에 데이터베이스 항목으로 생성되도록 설정되어 있습니다. 이 시스템 덕분에 저희 팀은 더 이상 "그때 누가 뭐라고 했더라?"라는 소모적인 질문을 하지 않게 되었습니다.

낮은 한국어 인식률과 여러명의 화자 식별 오류는 해결 필요

다른 툴도 마찬가지지만 Fireflies와 Otter를 실무에 깊숙이 적용하면서 오류가 있던 것은 '한국어 인식률의 불완전성'과 '다중 화자 식별 오류'였습니다. Otter의 경우 영어 인식은 가히 독보적이지만, 한국어 서비스는 상대적으로 취약합니다. Fireflies는 한국어를 지원하지만, 전문적인 IT 용어나 고유 명사가 섞일 경우 오타가 빈번하게 발생합니다. 특히 여러 명이 동시에 말을 끊고 들어오는 치열한 토론 상황에서는 누가 어떤 발언을 했는지 화자가 뒤섞이는 현상이 발생하곤 합니다. 처음에는 이 오타들을 일일이 수정하려다 오히려 시간이 더 걸리는 배보다 배꼽이 더 큰 상황을 겪기도 했습니다.

 

이를 극복하기 위해 제가 고안한 우회 전략은 AI가 생성한 원본 텍스트를 그대로 믿지 않고, 이를 다시 GPT-4나 Claude 3.5 Sonnet 같은 고성능 LLM으로 전달하여 문맥을 재정의하는 과정을 거칩니다. 예를 들어, Fireflies에서 추출된 텍스트를 복사하여 "너는 IT 전문 에디터야. 아래의 어색한 회의록 텍스트에서 기술 용어를 교정하고, 발언 맥락에 따라 화자를 다시 추론해서 정리해 줘"라고 명령하는 식입니다. 또한, 화자 식별 오류를 줄이기 위해 회의 시작 전 모든 참여자가 자기소개를 한 번씩 하게 유도합니다. AI가 각자의 Voiceprint을 학습할 수 있는 짧은 시간을 벌어주는 것이죠.

비교 항목	Fireflies.ai	Otter.ai
주요 강점	워크플로우 연동(Slack, CRM), 감정 분석	실시간 전사 속도, 모바일 사용성 최상
한국어 지원	공식 지원 (상당히 양호)	제한적 (베타 수준)
API 확장성	매우 높음 (Zapier 등 연동 편리)	보통 (엔터프라이즈 위주)
나의 선택 이유	비즈니스 자동화 파이프라인 구축용	영어권 인터뷰 및 현장 녹음 최적화

또 다른 팁은 '마이크 환경의 통제'입니다. 아무리 성능 좋은 AI라도 울림이 심한 회의실이나 저가형 마이크의 소리는 제대로 처리하지 못합니다. 저는 팀원들에게 반드시 개별 이어셋 사용을 권장하며, 불가피한 대면 회의 시에는 고성능 지향성 마이크를 중앙에 배치합니다. 하드웨어의 개선이 소프트웨어의 오류를 80% 이상 줄여준다는 사실을 뒤늦게 알았습니다. 마지막으로, 회의 중 '중요!' 혹은 'Action Item'이라는 키워드를 의식적으로 또박또박 발언하는 습관을 들였습니다. 이는 나중에 AI가 요약문을 작성할 때 가중치를 부여하도록 만드는 일종의 '음성 태깅' 기법입니다.

Make를 활용한 분석 연동 시나리오

회의록을 이메일로 받는 수준에서 멈춘다면 AI Tool의 잠재력을 10%도 쓰지 못하고 있는 것입니다. 제가 구축한 '고난도 자동화 시나리오'는 회의 종료와 동시에 사람이 전혀 개입하지 않고 후속 조치가 이루어지는 체계입니다. 핵심은 Fireflies와 Make.com 또는 Zapier를 연동하는 것입니다. 회의가 종료되면 Fireflies는 자동으로 Webhook을 발생시키고, 저는 이 데이터를 받아 LLM으로 넘깁니다. 여기서 저는 단순히 요약만 시키는 게 아니라, '작업 분배 알고리즘'을 적용했습니다.

 

예를 들어, 회의 중 "철수 님, 다음 주까지 디자인 시안 부탁드려요"라는 대화가 있었다면, AI는 이를 감지하여 Asana나 먼데이닷컴 같은 협업 툴에 자동으로 '철수' 담당자의 태스크를 생성합니다. 마감 기한은 회의 날짜로부터 7일 뒤로 자동 계산됩니다. 또한, 요약된 내용은 슬랙의 특정 채널로 즉시 전송되며, 이때 텍스트만 가는 것이 아니라 중요한 의사결정 사항은 [Decision Needed] 태그를 달아 관리자가 바로 확인할 수 있게 만듭니다. 이 시나리오를 구축한 후, 저는 회의가 끝나고 팀원들에게 "그래서 할 일이 뭐였죠?"라는 질문을 단 한 번도 받지 않았습니다.

"진정한 자동화란 도구를 사용하는 것이 아니라, 도구들이 서로 대화하게 만드는 것입니다. 회의록이 협업 툴의 티켓으로 변환되는 순간, 회의는 소비가 아닌 생산이 됩니다."

 

여기에 한 단계 더 나아가 저는 'AI Knowledge Base' 연동을 추천합니다. Fireflies에서 생성된 텍스트 데이터를 벡터 DB(예: Pinecone)에 저장하거나 노션 위키와 동기화하면, 나중에 조직원들이 사내 챗봇에게 질문할 수 있습니다. "우리 회사가 작년 하반기 프로젝트에서 보안 이슈를 어떻게 해결했지?"라고 물으면, 챗봇은 수많은 과거 회의록 중 관련 내용을 찾아 답변해 줍니다. 이는 시니어 사원의 머릿속에만 있던 노하우를 조직의 공용 자산으로 변환하는 과정입니다. 이러한 시스템을 구축하려면 초기 프롬프트 체이닝 설계에 공을 들여야 하지만, 한 번 구축해두면 수백 시간의 커뮤니케이션 비용을 아낄 수 있습니다.

 

마지막 응용 비책은 '세일즈 분석 연동'입니다. 만약 당신이 영업 팀장이라면, 영업 사원의 미팅 기록을 분석하여 어떤 멘트에서 고객의 거절 빈도가 높았는지, 가격 제안 시 고객의 반응은 어떠했는지를 Fireflies의 Smart Search와 연동해 분석할 수 있습니다. 저는 이를 통해 성공적인 클로징이 일어난 미팅의 공통 키워드를 추출하여 팀원들에게 교육 자료로 배포하기도 했습니다. 

기억하기 위한 Tool에서 창의적인 일을 위한 Tool로

우리는 지금껏 '기억'하기 위해 회의를 했고, '기록'하기 위해 에너지를 쏟았습니다. 하지만 이제 그 역할은 AI에게 온전히 맡겨야 합니다. Fireflies와 Otter를 활용한 자동화 시스템은 편의를 제공하는 것을 넘어, 당신과 당신의 팀이 '가장 인간다운 일'인 의사결정과 창의적 발상에만 몰입할 수 있는 환경을 만들어줄 것입니다. 지금 당장 시작할 수 있는 첫 번째 단계는 Fireflies.ai 계정을 생성하고, 다음 주에 예정된 가장 가벼운 내부 회의 캘린더에 봇을 초대하는 것입니다. AI가 당신의 말을 텍스트로 바꾸고, 핵심 내용을 뽑아내는 그 첫 번째 요약본을 확인해 보면, 이전으로 절대 돌아갈 수 없을 것입니다.

---

자주 묻는 질문 (FAQ)

Q1. 한국어 회의에서 Fireflies와 Otter 중 무엇을 더 추천하시나요?
현재 시점에서는 Fireflies.ai를 더 추천합니다. 한국어 인식률이 꾸준히 업데이트되고 있으며, 무엇보다 대시보드의 사용성과 국내에서 자주 쓰이는 협업 툴과의 연동성이 뛰어납니다. Otter는 영어 중심의 인터뷰나 강의를 정리할 때 독보적인 정확도를 보여주므로 사용 목적에 따라 구분하시는 것이 좋습니다.

 

Q2. 보안이 중요한 기밀 회의에서 AI 봇을 사용해도 안전할까요?
많은 기업이 우려하는 부분입니다. Fireflies는 SOC2 Type II 인증 등을 통해 높은 수준의 보안을 제공하며, 설정에서 특정 회의는 녹음되지 않도록 필터링하거나 데이터 삭제 요청이 가능합니다. 다만 극도로 민감한 정부 과제나 기밀 협상의 경우, 로컬에서 구동되는 AI 전사 도구(예: CLOVA Note의 오프라인 모드 등)를 대안으로 고려하거나 기업 전용 엔터프라이즈 플랜을 통해 데이터 학습 제외 옵션을 활성화해야 합니다.

 

Q3. AI가 생성한 요약이 너무 짧거나 핵심을 놓치면 어떻게 하나요?
이것이 바로 제가 '프롬프트 우회 전략'을 강조한 이유입니다. 도구가 기본 제공하는 요약 기능만 쓰지 마시고, 전체 스크립트를 추출해 GPT-4와 같은 외부 LLM에 전달하십시오. 이때 "회의의 배경, 결정된 사항, 미결 과제, 담당자별 액션 아이템 순으로 아주 상세히 정리해 줘"라는 구체적인 프롬프트를 사용하면 만족도가 수직 상승합니다.