用于語音記錄和回放的方法和設備的制造方法
【技術(shù)領域】
[0001] 本發(fā)明總體涉及電子裝置，更具體地，涉及一種用于在電子裝置中記錄語音的方 法和設備。
【背景技術(shù)】
[0002] 各種服務被提供給電子裝置的用戶。例如，電子裝置支持電話功能以及包括例如 以下功能的各種功能：網(wǎng)頁瀏覽、內(nèi)容回放、社交網(wǎng)絡服務（SNS)活動、聲音記錄（語音記 錄）和回放、音頻記錄和回放。電子裝置可以在執(zhí)行電話、語音記錄或視頻記錄的功能時使 用麥克風接收聲音（或語音）。為了支持上述功能，電子裝置的麥克風接收聲音并將其轉(zhuǎn)換 為電信號。
[0003] 當執(zhí)行聲音記錄時，用戶可以根據(jù)聲音記錄環(huán)境（例如采訪、會議、演講、以及日 ?；顒樱┪挥诘诫娮友b置的各個距離和方向。然而，確定參與聲音記錄的用戶之間的距離 或方向的聲音記錄環(huán)境未被考慮，并且聲音（或語音）僅被簡單地記錄。因此，由于用戶 (例如發(fā)言者）與電子裝置（例如麥克風）之間的距離差，可能破壞聲音或語音記錄的質(zhì) 量。具體是，難于對全部用戶記錄高質(zhì)量語音。另外，當播放聲音記錄文件時，難于區(qū)分各 個發(fā)言者，并且沒有直觀地提供與各個聲音記錄環(huán)境對應的信息（例如發(fā)言者的位置和方 向）。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明旨在解決至少上述問題和/或缺陷，并至少提供下述優(yōu)點。因此，本發(fā)明的 一方面提供一種電子裝置和該電子裝置的操作方法，其可通過建立適于支持電子裝置中的 聲音記錄功能的環(huán)境來改善用戶的便利和電子裝置的易用性。
[0005] 根據(jù)本發(fā)明的一方面，提供了一種操作電子裝置的方法。從聲信號識別發(fā)言者。確 定從電子裝置到發(fā)言者的方向?；趶碾娮友b置到發(fā)言者的方向來提供用于聲學信號的用 戶界面。更新用戶界面。
[0006] 根據(jù)本發(fā)明另一方面，提供了一種操作電子裝置的方法。執(zhí)行回放操作。提供用 戶界面以包括與回放操作對應的至少一個發(fā)言者的發(fā)言者區(qū)域。當執(zhí)行回放操作時，根據(jù) 回放段輸出至少一個發(fā)言者的語音。當輸出至少一個發(fā)言者的語音時，更新與至少一個發(fā) 言者對應的用戶界面中的發(fā)言者區(qū)域。
[0007] 根據(jù)本發(fā)明另一方面，提供了一種電子裝置，包括：被配置為接收語音輸入的多個 麥克風、被配置為存儲聲音記錄文件的存儲單元以及被配置為當記錄聲音或播放聲音記錄 文件時視覺顯示各個發(fā)言者的發(fā)言者區(qū)域的顯示單元。電子裝置還包括控制單元，被配置 為當記錄聲音或執(zhí)行對聲音記錄文件的回放時通過識別發(fā)言者方向來提供與到發(fā)言者的 發(fā)言者方向相關的用戶界面，并通過用戶界面更新發(fā)言者信息、發(fā)言者的方向信息以及發(fā) 言者的距離信息中的至少一個。
[0008] 根據(jù)本發(fā)明另一方面，提供了一種具有程序的非暫時性計算機可讀記錄介質(zhì)。所 述程序在被執(zhí)行時實施以下步驟：從聲信號識別發(fā)言者；識別從電子裝置到發(fā)言者的方 向；基于從電子裝置到發(fā)言者的方向來提供用于聲學信號的用戶界面；當執(zhí)行回放操作 時，根據(jù)回放段輸出至少一個發(fā)言者的語音。
【附圖說明】
[0009] 通過下面結(jié)合附圖的詳細描述，本發(fā)明的上述和其它方面、特征及優(yōu)點將變得更 加明顯，其中：
[0010] 圖1為示出根據(jù)本發(fā)明實施例的網(wǎng)絡環(huán)境中的電子裝置的示圖；
[0011] 圖2為示出根據(jù)本發(fā)明實施例的電子裝置的示圖；
[0012] 圖3為示出根據(jù)本發(fā)明實施例的編程模塊的配置的示圖；
[0013] 圖4為示出根據(jù)本發(fā)明實施例的電子裝置中設置的麥克風的示圖；
[0014] 圖5為示出根據(jù)本發(fā)明實施例的處理電子裝置中的語音記錄的流程圖；
[0015] 圖6為示出根據(jù)本發(fā)明實施例的處理電子裝置中的語音記錄的過程的示圖；
[0016] 圖7為示出根據(jù)本發(fā)明實施例的當在電子裝置中執(zhí)行語音記錄時區(qū)分發(fā)言者的 操作的示圖；
[0017] 圖8和9為示出根據(jù)本發(fā)明實施例的識別電子裝置中的發(fā)言者區(qū)域的操作的示 圖；
[0018] 圖10為示出根據(jù)本發(fā)明實施例的在電子裝置中實時區(qū)分發(fā)言者的操作的示圖；
[0019] 圖11為示出根據(jù)本發(fā)明實施例的在電子裝置中實時區(qū)分發(fā)言者的操作的圖表；
[0020] 圖12為示出根據(jù)本發(fā)明實施例的在電子裝置中實時區(qū)分發(fā)言者的操作的示圖；
[0021] 圖13為示出根據(jù)本發(fā)明實施例的在電子裝置中區(qū)分發(fā)言者的操作的示圖；
[0022] 圖14為示出根據(jù)本發(fā)明實施例的在電子裝置中區(qū)分發(fā)言者的操作的示圖；
[0023] 圖15-圖18為示出根據(jù)本發(fā)明實施例的電子裝置中的用于顯示聲音記錄功能的 界面的示圖；
[0024] 圖19為示出根據(jù)本發(fā)明實施例的顯示電子裝置中的聲音記錄功能的示圖；
[0025] 圖20為示出根據(jù)本發(fā)明實施例的電子裝置中的用于顯示聲音記錄文件的列表的 界面的示圖；
[0026] 圖21為示出根據(jù)本發(fā)明實施例的播放電子裝置中的聲音記錄文件的過程的流程 圖；
[0027] 圖22-圖24為示出根據(jù)本發(fā)明實施例的電子裝置中的用于聲音記錄文件的回放 界面的示圖；
[0028] 圖25-圖30為示出根據(jù)本發(fā)明實施例的電子裝置中的用于控制對聲音記錄文件 的回放的操作的示圖；
[0029] 圖31為示出根據(jù)本發(fā)明實施例的當播放電子裝置中的聲音記錄文件時顯示的界 面的示圖；
[0030] 圖32為示出根據(jù)本發(fā)明實施例的在電子裝置中的顯示發(fā)言者信息的示例的示 圖；
[0031] 圖33為示出根據(jù)本發(fā)明實施例的通過同步電子裝置來記錄語音的操作的示圖；
[0032] 圖34為示出根據(jù)本發(fā)明實施例的用于顯示通過同步電子裝置的聲音記錄功能的 界面的示圖；
[0033] 圖35至圖37為示出根據(jù)本發(fā)明實施例的放置參與聲音記錄的電子裝置的位置的 操作的示圖；
[0034] 圖38和圖39為示出根據(jù)本發(fā)明實施例的管理電子裝置中的聲音記錄文件的操作 的示圖；
[0035] 圖40為示出根據(jù)本發(fā)明實施例的在電子裝置中處理語音到文本（STT)功能的操 作的示圖；以及
[0036] 圖41至圖43為示出根據(jù)本發(fā)明實施例的共享聲音記錄文件的操作的示圖。
【具體實施方式】
[0037] 將參照附圖詳細描述本發(fā)明的實施例。相同或相似的部件可以通過相同或相似的 附圖標記表示，盡管其在不同附圖中示出。對本領域中已知的結(jié)構(gòu)或處理的詳細描述可以 省略，以避免使得本發(fā)明的主題變得模糊。
[0038] 附圖中的一些部件被突出、省略或示意示出，并且每個部件的尺寸不完全反映實 際尺寸。因此，本發(fā)明不限于附圖中示出的相對尺寸和距離。
[0039] 這里使用的表述"包含"和"包括"表示存在相應公開的功能、操作或部件，而不排 除存在至少一個其它功能、操作或部件。另外，這里使用的術(shù)語"包括"和"具有"表示在本 公開中存在特征、數(shù)目、步驟、操作、元件、部件或其組合，因此，應理解，并不排除至少一個 其它特征、數(shù)目、步驟、操作、元件、部件或其組合。
[0040] 表述"A或B"、"A和B中的至少一個"、以及"A和B中的一個或多個"可以包括所 列文字之一和其組合。例如，表述"A或B"、"A和B中的至少一個"、以及"A和B中的一個 或多個"可以表示以下所有情況：（1)包括至少A，（2)包括至少B，以及（3)包括至少A和 B〇
[0041] 諸如"第一"和"第二"的表述可以修改本發(fā)明的各個部件，但是不限制對應的部 件。例如，上述表述不限制對應部件的順序和/或重要性。上述表述可用于區(qū)分一個部件 與另一個部件。例如，第一用戶裝置和第二用戶裝置都是用戶裝置但是表示不同的用戶裝 置。例如，在本發(fā)明的精神和范圍內(nèi)，第一部件可以稱為第二部件，類似地，第二部件可以稱 為第一部件。
[0042] 當描述部件（例如，第一部件）與另一個部件（例如，第二部件）操作地或通信地 "耦合"或"連接"時，所述部件可以與所述另一個部件直接耦合或連接，或者在兩個部件之 間可存在另外的部件（例如，第三部件）。如果描述部件（例如，第一部件）與另一個部件 (例如，第二部件）"直接耦合"或"直接連接"，應理解，在兩個部件之間不存在其它部件。
[0043] 這里所用的表述"被配置為"根據(jù)給定情況可替換為"適于"、"具有·…的能力"、 "被設計為"、"適合于"、"被使得"或"能夠"。表述"被配置為"在硬件中可能不僅表示"被 具體設計為"?？蛇x地，在一些情況中，表述"裝置被配置為"可表示裝置與另一個裝置或其 它部件一起"能夠~"。例如，"被配置為（或被設置為）執(zhí)行A、B和C的處理器"可表示這 樣的通用處理器（例如，中央處理單元（CPU)或應用處理器），其可以通過使用專用處理器 (例如，嵌入處理器）或通過執(zhí)行存儲在存儲器中的至少一個軟件程序而執(zhí)行對應的操作。
[0044] 這里使用的輸入用于描述本發(fā)明的實施例，而不限制本發(fā)明的范圍和精神。將理 解：除非上下文另有指示，否則單數(shù)形式也包括復數(shù)的指示物。
[0045] 除非上下文清晰地另有指示，否則包括技術(shù)或科技術(shù)語的全部術(shù)語具有與本領域 技術(shù)人員通常理解的相同含義。應理解，在通常使用的字典中定義的術(shù)語具有與相關技術(shù) 領域中的語境含義相同的含義而不被解釋為具有異常或過于正式的含義，除非本文清晰地 指示。
[0046] 根據(jù)本發(fā)明的各個實施例，電子裝置可以實施為智能電話、平板個人計算機（PC)、 移動電話、視頻電話、電子書閱讀器、臺式PC、膝上PC、上網(wǎng)計算機、個人數(shù)字助理（PDA)、便 攜式多媒體播放器（PMP)、MP3播放器、便攜式醫(yī)療裝置、數(shù)字相機或可穿戴式裝置（例如， 諸如電子眼鏡的頭戴式裝置（HMD)、電子服裝、電子手環(huán)、電子項鏈、電子應用配件或智能手 表）。
[0047] 根據(jù)本發(fā)明實施例，電子裝置可以為智能家用電器。例如，電子裝置可以實施為 TV、數(shù)字通用盤（DVD)播放器、音頻設備、冰箱、空調(diào)、真空吸塵器、烤箱、微波爐、洗衣機、空 氣凈化器、機頂盒、TV盒子、游戲機、電子辭典、電子鑰匙、攝像機或電子相框。
[0048] 根據(jù)本發(fā)明實施例，電子裝置可以實施為各種醫(yī)療裝置（例如，磁共振血管造影 (MRA)、磁共振成像（MRI)、計算機斷層掃描（CT)、掃描機、超聲波裝置等）、導航裝置、全球 定位系統(tǒng)（GPS)接收器、事件數(shù)據(jù)記錄器（EDR)、飛行數(shù)據(jù)記錄器（FDR)、車輛信息娛樂裝 置、用于輪船的電子設備（例如，海上導航系統(tǒng)、回轉(zhuǎn)羅盤等）、航空電子設備、安全設備、 車輛機頭單元、工業(yè)或家用機器人、用于銀行設施的自動柜員機（ATM)、用于商店的銷售點 (P0S)或者物品（例如，電燈泡、各種傳感器、電表或氣表、彈簧冷卻器裝置、火警器、溫控 器、路燈、拷面包機、體育用品、熱水壺、加熱器、以及熱水器）的互聯(lián)網(wǎng)。
[0049] 根據(jù)本發(fā)明實施例，電子裝置可實施為具有通信功能的家具或者建筑的部分或構(gòu) 造、電子板、電子簽名接收裝置、投影儀或各種測量儀器（例如，水表、電表、氣表、測波儀 等）。電子裝置可實施為上述裝置的一種或其組合。根據(jù)本發(fā)明實施例的電子裝置可以為 柔性電子裝置。另外，根據(jù)本發(fā)明實施例的電子裝置不限于上述裝置，而可以包括根據(jù)技術(shù) 發(fā)展的新電子裝置。
[0050] 這里，術(shù)語"用戶"可表示使用電子裝置的人或使用電子裝置的裝置（例如，人工 智能電子裝置）。
[0051] 首先參照圖1，圖1為示出根據(jù)本發(fā)明實施例的網(wǎng)絡環(huán)境中的電子裝置的示圖。網(wǎng) 絡環(huán)境100包括電子裝置101，其包括總線110、處理器120、存儲器130、輸入/輸出模塊 150、顯示模塊160以及通信模塊170。在一些本發(fā)明的實施例中，電子裝置101可省略至少 一個部件或可包括其它部件。
[0052] 總線110可以為與上述元件互連的電路，并傳送上述元件之間的通信（例如，控制 消息）。
[0053] 處理器120可通過總線110從上述其它元件（例如，存儲器130、用戶輸入模塊 150、顯示模塊160、通信模塊170等）接收命令，可解釋接收的命令，并可根據(jù)解釋的命令執(zhí) 行計算或數(shù)據(jù)處理。
[0054] 存儲器130可包括易失性和/或非易失性存儲器。存儲器130可存儲與電子裝 置101的至少一個部件相關的命令或數(shù)據(jù)。根據(jù)本發(fā)明實施例，存儲器130可存儲軟件和 /或程序。程序包括內(nèi)核141、中間件143、應用編程接口（API) 145以及應用程序（或"應 用"）147。內(nèi)核141、中間件143、和API145的中的至少一個可以指操作系統(tǒng)（OS)。
[0055] 內(nèi)核141可控制或管理用于執(zhí)行其它編程模塊（例如，中間件143、API145或應用 147)的操作或功能的系統(tǒng)資源（例如，總線110、處理器120、或存儲器130等）。另外，內(nèi) 核141可以提供這樣的接口，其允許中間件143、API145或應用147訪問、控制或管理電子 裝置101的各個元件。
[0056] 另外，中間件143可以根據(jù)優(yōu)先級處理從應用147接收的至少一個操作請求。例 如，中間件143可以對應用147中的至少一個分配優(yōu)先級，使得應用可以使用電子裝置101 的系統(tǒng)資源（例如，總線110、處理器120或存儲器130)。通過根據(jù)分配給應用147的優(yōu)先 級來處理操作請求，中間件143可以對至少一個操作請求執(zhí)行調(diào)度或負荷平衡。
[0057]API145可包括文件控制、窗口控制、視頻處理或用于文本控制的至少一個接口或 功能（例如，命令），使得應用147可控制由內(nèi)核141或中間件143提供的功能。
[0058]用戶輸入模塊150可起到接口的作用，其將從用戶或外部裝置接收的命令或數(shù)據(jù) 發(fā)送到電子裝置101的其它部件。另外，用戶輸入模塊150可以將從電子裝置101的其它 部件接收的命令和數(shù)據(jù)發(fā)送到用戶裝置或外部裝置。
[0059] 顯示模塊160可包括液晶顯示器（IXD)、發(fā)光二極管（LED)顯示器、有機發(fā)光二極 管（0LED)顯示器、微機電系統(tǒng)（MEMS)顯示器或電子紙顯示器。顯示模塊160可以對用戶 輸出各種內(nèi)容，諸如，例如，文本、圖像、視頻、圖標以及符號。顯示模塊160可包括觸摸屏， 并可以接收通過利用電子筆或用戶身體的部分的觸摸、手勢、靠近或懸停的輸入。
[0060] 通信模塊170可以設置電子裝置101與外部裝置（例如，第一外部電子裝置102、 第二外部電子裝置104或服務器106)之間的通信。例如，通信模塊170可以通過無線通信 或有線通信與網(wǎng)絡162連接而與外部裝置（例如，第二外部電子裝置104或服務器106)通 {目。
[0061] 無線通信可以使用至少一個蜂窩通信協(xié)議，諸如，例如，長期演進（LTE)、高級 LTE(LET-A)、碼分多址（CDMA)、寬帶CDMA(WCDMA)、通用移動電信系統(tǒng)（UMTS)、無線寬帶 (WiBro)或全球移動通信系統(tǒng)（GSM)。另外，e無線通信可包括局域網(wǎng)164。局域網(wǎng)164可 包括無線保真（WiFi)、藍牙、近場通信（NFC)或全球定位系統(tǒng)（GPS)中的至少一個。有線通 信可包括通用串行總線（USB)、高清多媒體接口（HDMI)、推薦標準232(RS-232)或普通老式 電話業(yè)務（POTS)中的至少一個。網(wǎng)絡162可包括諸如計算機網(wǎng)絡（例如LAN或WAN)的通 信網(wǎng)絡（電信網(wǎng)絡）、互聯(lián)網(wǎng)或電話網(wǎng)絡中的至少一個。
[0062] 第一和第二外部電子裝置102和104可以是與電子裝置101相同的類型，或者可 以是不同類型的裝置。根據(jù)本發(fā)明實施例，服務器106可包括成組的一個或多個服務器。根 據(jù)本發(fā)明的各個實施例，在電子裝置101中執(zhí)行的全部或部分操作也可以在一個或多個不 同電子裝置（例如，電子裝置102和104或服務器106)中被執(zhí)行。根據(jù)本發(fā)明實施例，當 電子裝置101自動或根據(jù)請求執(zhí)行功能或服務時，電子裝置101可以不通過其自身執(zhí)行全 部功能或服務，而是可以請求另一個裝置（例如，電子裝置102和104或服務器106)執(zhí)行 至少部分功能或其它功能，并將結(jié)果傳送到電子裝置101。電子裝置101可以提供如接收的 或通過另外處理的請求的功能或服務。為此，可以使用云計算、分布計算或客戶端-服務器 計算技術(shù)。
[0063] 圖2為示出根據(jù)本發(fā)明實施例的電子裝置的示圖。
[0064] 電子裝置201可形成例如圖1的電子裝置101的全部或部分。電子裝置201包括： 至少一個應用處理器（AP) 210、通信模塊220、用戶識別模塊（S頂)224、存儲器230、傳感器 模塊240、輸入系統(tǒng)250、顯示模塊260、接口 270、音頻模塊280、相機模塊291、電力管理模 塊295、電池296、指示器297、以及馬達298。
[0065] AP210例如可以驅(qū)動操作系統(tǒng)或應用，控制與其連接的多個硬件或軟件部件，還 可以對包括多媒體數(shù)據(jù)的各個數(shù)據(jù)執(zhí)行處理和操作。AP210可以由例如片上系統(tǒng)（SoC)形 成。根據(jù)本發(fā)明實施例，AP210還可以包括圖形處理單元（GPU)和/或圖像信號處理器。
[0066] AP210可包括圖2所示的部件的至少部分（例如，蜂窩模塊221)。AP210可通過 加載到易失性存儲器中來處理從至少一個其它部件（例如，非易失性存儲器）接收的命令 或數(shù)據(jù)，并將各個數(shù)據(jù)存儲在非易失性存儲器中。
[0067] 通信模塊220可具有與圖1的通信接口 170相同或相似的配置。例如，通信模塊 220包括蜂窩模塊221、WiFi模塊223、藍牙模塊225、GPS模塊227、NFC模塊228以及射頻 (RF)模塊 229。
[0068] 蜂窩模塊221可通過通信網(wǎng)絡提供語音通信、視頻通信、特征服務或互聯(lián)網(wǎng)服務。 根據(jù)本發(fā)明實施例，蜂窩模塊221可通過使用通信網(wǎng)絡中的Sni224(例如，S頂卡）執(zhí)行對 電子裝置201的識別和認證。根據(jù)本發(fā)明實施例，蜂窩模塊221可執(zhí)行由處理器210提供 的功能的至少一部分。根據(jù)本發(fā)明實施例，蜂窩模塊221可包括通信處理器（CP)。
[0069]WiFi模塊223、藍牙模塊225、GPS模塊227或NFC模塊228可各自包括用于處理 通過對應模塊發(fā)送和接收的數(shù)據(jù)的處理器。根據(jù)本發(fā)明實施例，可以在集成電路（1C)或1C 封裝中安裝蜂窩模塊221、WiFi模塊223、藍牙模塊225、GPS模塊227和NFC模塊228中的 至少一個。RF模塊229可發(fā)送和接收數(shù)據(jù)，例如，RF信號或任何其它電信號。RF模塊229 可包括收發(fā)器、功率放大模塊（PAM)、頻率濾波器、低噪聲放大器（LNA)、天線等。WiFi模塊 223、BT模塊225、GPS模塊227和NFC模塊228示出為共享RF模塊229,然而，在本發(fā)明的 另一個實施例中，它們中