lurx/smb-ai-skills-hub/podcast-to-reel

מתי להשתמש

• הופכים קטע מפודקאסט מוקלט לרילס לאינסטגרם/טיקטוק
• המקור הוא מסך מפוצל (זום/ריברסייד) עם שני דוברים או יותר
• צריך כתוביות עבריות מסונכרנות לדיבור

לא מתאים ל: כתוביות פשוטות על סרטון קיים. לזה יש video-editing.

הכלל המרכזי

בכל שלב — למדוד את הדבר עצמו, לא פרוקסי שלו.

הפרויקט שממנו נולד הסקיל הזה נכשל חמש פעמים, וכל פעם מאותה סיבה:

התהליך

שלב 0 — התקנה

pip3 install --user imageio-ffmpeg numpy mlx-whisper
npm install   # בתיקיית הפרויקט

ffmpeg מגיע דרך imageio_ffmpeg — אין צורך ב-brew.

שלב 1 — לזהות את גאומטריית המסך המפוצל

python3 scripts/detect-layout.py <master.mp4>

מחזיר את גבולות רצועת התוכן ואת עמודת התפר בין האריחים. אל תנחש — פסים שחורים ותפרים משתנים בין הקלטות.

שלב 2 — לזהות מי מדבר

python3 scripts/identify-speaker.py <clip.mp4>

מודד F0 (תדר יסוד) לכל שנייה. גבר 85–155Hz, אישה 165–255Hz.

קריטי: לסכם לכל שנייה, לא לחלונות גדולים. חלון של 5 שניות בולע התפרצויות קצרות של המראיין — ובקליפ אחד זה הסתיר שהוא נפתח בשאלה שלו.

לעולם לא לזהות דובר לפי תנועה בווידאו. ראה rules/01-verify-first.md.

שלב 3 — לחתוך את המקור מהמאסטר

./scripts/prepare-source.sh <master> <out.mp4> <start> <duration> <crop> <size>

מהמאסטר, לא מקליפ שנחתך מראש. קליפ קיים עלול להיגמר באמצע מילה — בפרויקט המקורי הקליפ נגמר בזמן שהמילה האחרונה בשיא עוצמתה.

תמיד לחתוך עם שוליים של שנייה בכל צד.

שלב 4 — תמלול

import mlx_whisper
r = mlx_whisper.transcribe(audio, path_or_hf_repo='mlx-community/whisper-large-v3-turbo',
                           language='he', word_timestamps=True)

הטקסט של Whisper בעברית לא אמין. משתמשים בו לתזמון בלבד.

הטקסט הנכון מגיע מהלקוח. ראה rules/03-captions.md.

שלב 5 — לבנות את הקונפיג

src/data/reel-XX.ts — כל מה שמשתנה בין רילסים. ראה rules/02-cutting.md לשיטת החיתוך ו-rules/03-captions.md לכתוביות.

שלב 6 — לאמת

python3 scripts/check-cuts.py    # אף חיתוך לא בתוך מילה
npm test                          # מבנה הכתוביות

שלב 7 — לרנדר ולצפות

npx remotion render Reel05 out/reel-05.mp4
python3 scripts/serve.py 8777

להשתמש ב-`serve.py`, לא ב-`python3 -m http.server`. האחרון מחזיר 200 לבקשת Range במקום 206, וספארי מתייחס לזה כמקור מדיה שבור — הווידאו נראה אבל האודיו לא מתנגן.

⚠️ מה שאף בדיקה לא תופסת

הבדיקות תופסות חיתוך בתוך תנועה. הן לא תופסות חיתוך בתוך עיצור פוצץ (ק ת ב פ) — הסגירה השקטה שלהם נראית כמו רווח בין מילים בזמן שפיצוץ השחרור, שמשלים את המילה, עוד לפניו.

התנועה              שיא 0.42
סגירת ה-ק׳          rms 0.03    ← נראה כמו שקט. זה לא.
פיצוץ השחרור        שיא 0.135
דעיכה

כך המילה ״השיווק״ שודרה כ״השיוו״ ועברה את כל הבדיקות.

חובה להאזין למילה האחרונה לפני כל חיתוך.

אין תחליף. גם אחרי שכל הבדיקות ירוקות.

קבצים