AI 트렌드 자동 수집 시스템 구축기 - YouTube RSS + Gemini 요약

import Parser from "rss-parser";
 
const parser = new Parser();
const feed = await parser.parseURL(
  `https://www.youtube.com/feeds/videos.xml?channel_id=${channelId}`
);
 
feed.items.forEach(item => {
  const videoId = item.id?.replace("yt:video:", "");
  videos.push({
    title: item.title,
    link: `https://www.youtube.com/watch?v=${videoId}`,
    pubDate: item.pubDate,
    source: channelName,
    thumbnail: `https://img.youtube.com/vi/${videoId}/mqdefault.jpg`
  });
});

async function summarizeVideo(video: VideoToSummarize) {
  const videoId = extractVideoId(video.link);
 
  // 1차: 자막 → Gemini 요약
  const transcript = await getTranscript(videoId);
  if (transcript) {
    return await summarizeText(transcript, { title: video.title });
  }
 
  // 2차: 오디오 다운로드 → Gemini 분석
  const audioSummary = await summarizeFromAudio(videoId, video.title);
  if (audioSummary) {
    return audioSummary;
  }
 
  // 3차: 영상 정보만으로 fallback
  const videoInfo = await getVideoInfo(videoId);
  return await summarizeFromVideoInfo(videoInfo);
}

import { GoogleAIFileManager } from "@google/generative-ai/server";
 
// 1. 오디오 다운로드 (youtubei.js 또는 ytdl-core)
const audioPath = await downloadAudio(videoId);
 
// 2. Gemini File API로 업로드
const fileManager = new GoogleAIFileManager(GEMINI_API_KEY);
const uploadResult = await fileManager.uploadFile(audioPath, {
  mimeType: "audio/mpeg"
});
 
// 3. 오디오 분석
const result = await model.generateContent([
  { fileData: { mimeType: "audio/mpeg", fileUri: uploadResult.file.uri } },
  { text: `이 오디오의 내용을 500자 이내로 요약해주세요. 영상 제목: ${title}` }
]);
 
// 4. 임시 파일 정리
fs.unlinkSync(audioPath);

const prompt = `다음 유튜브 영상 자막을 500자 이내로 요약해주세요.
 
영상 제목: ${title}
 
[출력 형식]
(핵심 주제 1줄)
(주요 내용 3-5개 bullet point)
(결론/시사점 1줄)
 
자막:
${transcript.slice(0, 15000)}`;

import { Client } from "@notionhq/client";
 
const notion = new Client({ auth: NOTION_TRENDS_API_KEY });
 
// 페이지 생성
const page = await notion.pages.create({
  parent: { database_id: NOTION_TRENDS_DB_ID },
  properties: {
    Title: { title: [{ text: { content: video.title } }] },
    Source: { select: { name: video.source } },
    Link: { url: video.link },
    PubDate: { date: { start: video.pubDate.toISOString().split("T")[0] } }
  }
});
 
// 본문에 요약 내용 추가
await notion.blocks.children.append({
  block_id: page.id,
  children: [
    { type: "bookmark", bookmark: { url: video.link } },
    { type: "divider", divider: {} },
    ...summaryToBlocks(video.summary)  // bullet point 변환
  ]
});

import nodemailer from "nodemailer";
 
const transporter = nodemailer.createTransport({
  service: "gmail",
  auth: {
    user: process.env.GMAIL_USER,
    pass: process.env.GMAIL_APP_PASSWORD
  }
});
 
await transporter.sendMail({
  from: GMAIL_USER,
  to: GMAIL_USER,
  subject: `🤖 AI Trends Daily - ${today} (${videos.length}개 영상)`,
  html: generateEmailTemplate(videos)
});

// 4.5초 간격으로 호출 (분당 약 13회)
for (const video of videos) {
  await summarizeAndSave(video);
  await new Promise(r => setTimeout(r, 4500));
}

function normalizeYouTubeLink(link: string): string {
  const shortsMatch = link.match(/youtube\.com\/shorts\/([a-zA-Z0-9_-]+)/);
  if (shortsMatch) {
    return `https://www.youtube.com/watch?v=${shortsMatch[1]}`;
  }
  return link;
}

model TrendVideo {
  id        Int      @id @default(autoincrement())
  title     String   @db.VarChar(500)
  link      String   @unique @db.VarChar(1000)
  pubDate   DateTime @map("pub_date")
  source    String   @db.VarChar(100)      // 채널명
  thumbnail String?  @db.VarChar(1000)
  summary   String?  @db.Text              // Gemini 요약
  emailSent Boolean  @default(false)
  createdAt DateTime @default(now())
 
  @@index([pubDate(sort: Desc)])
  @@index([emailSent])
  @@map("trend_videos")
}
 
model YouTubeChannel {
  id        Int      @id @default(autoincrement())
  channelId String   @unique @db.VarChar(30)
  name      String   @db.VarChar(100)
  category  String   @default("korean")    // korean | global
  active    Boolean  @default(true)
 
  @@map("youtube_channels")
}

import cron from "node-cron";
 
// 매일 00:00 - 트렌드 수집
cron.schedule("0 0 * * *", updateAiTrends);
 
// 매일 01:00 - 영상 요약 (20개)
cron.schedule("0 1 * * *", () => summarizeVideosBatch(20));
 
// 매일 02:00 - Notion + 이메일
cron.schedule("0 2 * * *", async () => {
  await syncTodaySummariesToNotion();
  await sendTrendsSummaryEmail();
});