如何取得當前影片畫面，交給 AI 分析以輔助學習？
線上教育、知識付費等場景中，學員觀看課程時，可能希望對當前畫面中的公式、圖表、教材或操作步驟進一步提問。例如：「這道題應該怎麼理解？」「請總結這一頁的知識點。」
可透過點播播放器的截圖能力取得當前影片畫面，由業務系統將圖片提交給支援圖片理解的大型語言模型，再把分析結果展示給學員，實現圍繞課程畫面的輔助講解。
一、適用於哪些學習場景？
- 教材解讀：截取當前教材，輔助提取重點、解釋概念或整理知識點。
- 題目講解：截取影片中的題目、公式或解題過程，結合學員的問題進行分析。
- 圖表分析：截取課程中的圖表或示意圖，輔助理解其中的資訊和關係。
- 軟體操作學習：截取當前示範畫面，圍繞選單、參數或操作步驟提出問題。
以下為業務應用場景示意：學員可在觀看課程時截取當前畫面，發起提問或取得輔助講解。圖中的智慧講解、截圖提問、智慧筆記等 AI 功能由業務方結合播放器截圖能力與大型語言模型服務自行接入，具體介面及效果以業務實作為準。
二、如何實作？
以 uni-app 教育 App 為例，可在課程播放頁增加「提問 AI」或「分析當前畫面」入口，由開發人員接入以下流程。接入前，請確認所用播放器或外掛版本支援直接取得截圖圖片資料，具體呼叫方式以對應版本的介面說明為準；如現有文件僅說明儲存到相簿，請聯絡技術支援確認適用版本與接入方式。
- 取得當前畫面：學員點擊入口後，業務端呼叫播放器截圖介面，取得當前影片幀的圖片內容。
- 上傳圖片：將取得的圖片上傳到業務伺服器或圖片儲存服務，獲得可供大型語言模型存取的圖片連結。
- 提交分析請求：業務伺服器將圖片和學員的問題一起提交給支援圖片理解的大型語言模型。例如：「請根據這張教材，解釋圖中公式的含義。」
- 展示分析結果：將大型語言模型回傳的解釋或總結展示在學習頁面中，供學員參考和繼續提問。
建議同時記錄影片 ID 和截圖對應的播放時間，方便學員回到原課程位置複習。
三、為什麼需要直接取得圖片內容？
該場景需要將截圖交給後續業務流程處理，因此應使用能夠回傳圖片資料的截圖能力。
如果截圖功能僅將圖片儲存到手機相簿，業務系統仍需另外讀取或選擇圖片，才能繼續上傳和分析。直接取得圖片內容，可將截圖、上傳和 AI 分析串聯在同一次操作中。
四、截圖會包含播放器按鈕和進度條嗎？
該場景應取得影片當前幀畫面，不包含播放器的播放、暫停按鈕或進度條等操作控制項，便於大型語言模型聚焦課程內容。接入時應確認所用截圖介面的輸出符合此要求。
它與手機系統截圖不同：系統截圖通常會同時截取頁面上的聊天區、導覽列和其他介面元素。
五、播放器會自動完成 AI 分析嗎？
不會。播放器截圖能力負責取得影片畫面；圖片上傳、大型語言模型呼叫、提問入口及結果展示，需要由業務系統自行接入。
大型語言模型應支援圖片輸入，並能夠存取提交的圖片。若圖片連結有存取限制或有效期，需要確保模型在分析時可以讀取。
六、使用時需要注意什麼？
- 單張圖片只包含當前畫面。 如果問題依賴講師前後的語音講解或操作過程，建議補充相關文字背景，避免僅憑一張圖得出不完整的結論。
- 截圖能力受播放環境及內容保護規則限制。 對於 DRM 等受保護內容，應以對應 SDK 的實際支援範圍為準；截圖失敗時，業務端需提示學員並處理錯誤。
- AI 分析用於輔助學習。 對公式、題目和專業知識的解釋，應結合原課程內容核對。
- 確認課程內容的使用範圍。 將課程截圖提交給第三方大型語言模型前，應確認具備相應授權。
