交流園地

>> 返回列表

無線電監測數據質量與清洗技術研究

今日上证指数是多少 -点 百度 www.327119.live 2019-06-20

要:本文主要從場強測量、天線因子測量、電磁兼容等角度對無線電監測數據質量進行深入研究,對采集的數據進行質量分析,并且提出了數據清洗技術,制定相應的清洗規則,從而實現問題數據的識別和剔除處理,使得最終的數據質量可靠。

關鍵詞:數據質量清洗技術  清洗規則


0引言

無線電監測和管理的關注和處理的目標對象為空中的電磁信號,電磁環境的復雜性和多樣性,使得電磁信號的有效接收、分析和處理成為一項極具挑戰性的工作。無線電監測設備的信號和信息數據處理的準確性直接影響到各項無線電監測和管理業務的有效性和可信度,錯誤的數據進入到數據處理端,會帶來錯誤的分析結果,進而影響到對管理的決策,因此監測信號和信息數據的有效處理和質量保證也因此成為一項具有重要意義的基礎性工作和關鍵處理流程。

本文第一節對數據的測量要求做了規定,第二節提出并分析數據主要存在的數據重復、天線因子不統一等問題。第三節針對問題數據提出數據清洗規則,將問題數據進行刪除處理,并展示數據清洗后的效果,第四節對數據清洗進行小結。

1 質量分析依據

1.1 移動場強測量

ITU-R SM.1708-1建議書《具有地理坐標登記的路徑的場強測量》中對移動場強的計算、測量天線高度、接收機設置、車速、數據處理等項做了規定。

(1)場強的計算

場強值可通過以下公式計算:

1


其中,e 為電場強度分量(dBuV/m);v0 為天線輸出電壓(dBuV);k 為天線系數(dB(m-1));ac 為天線信號路徑的衰減(dB);

對于特定的測試接收機,可將關于天線系數與信號路徑衰減的綜合信息(天線因子)事先寫入接收機內存,直接讀得以dBuV/m為單位的場強結果。

(2)測量天線高度

測量天線的選定高度為1.5~3米。

接收機設置:動態范圍:測量接收機的動態工作范圍應≥60dB;檢波方式:根據測試信號的特點和調制模式設定。公眾移動通信信號可采用均方根檢波。

測試車的速度:測試車的速度需適合同時測量但頻率不同的測試信號個數的波長以及測試接收機的可用最短測量時間。

             

2


其中,tr為接收機規范中規定的重返單頻的最短時間。

(3)數據處理

由于不同的衰落與反射效應,一次測試結果不可重復,故無法直接代表一個測試點的場強值。原始數據可視需要做進一步處理。

平均值:每一間隔至少需包含100個值。

根據超概率場強對結果進行分類:在測量期內根據1-99%的超概率對結果進行分類。

1.2 天線因子的測量

常用的測量天線校準方法:標準場法、間接校準法、標準天線法、標準距離或者標準地點法[1]。業內通常采用校準天線法(又稱為置換法)獲得天線因子,即采用一副精確已知天線因子的天線來測量未知場強的平面波,然后用要校準的天線替換該天線。標準增益天線本身的天線因子是由其尺寸和測得的適配單元特性計算得到的,或者采用精確的校準程序確定的。

1.3 噪聲測量

對于頻率掃描方式的噪聲測量,應進行天線因子修正、設備噪聲修正與濾波器形狀/帶寬修正。

(1)天線因子修正

每個頻率的測量都應經過合適的天線因子的修正。

(2)設備噪聲修正

修正步驟如下:首先不接源(無源天線)測量一小段時間,此時要接低噪聲放大器,并且設備參數設置保持與測量一致。然后使用和測量時相同測量方法以及百分比測量最小值,最后用測量平均值線性減去該最小值。

(3)濾波器形狀/帶寬修正

噪聲表示為單位帶寬內的功率值,這種表述需要綜合考慮濾波器帶寬,一般濾波器形狀都被看做矩形。

1.4 移動設備電磁兼容要求

為減小不必要的無線電發射,需遵循下列建議:

(1)在給插頭送電之前的供電輸出端應安裝高性能的EMI電源濾波器。

(2)網絡布線(RS232、以太網、IEEE488)需屏蔽(或使用光纖)。

(3)必須確保所有的金屬元件接地。

(4)必須?;ど璞?/span>(發電機組、逆變器、電池充電器、警報車輛……)免受電磁干擾。

1.5 移動監測的干擾

在實施移動監測中,必須要考慮無線電頻率環境[1],強信號能在監測或測量系統中產生互調失真,使得難以獲得準確信號。使用低噪聲放大器或有源(放大)天線的監測系統,對由于強信號而在自身內部產生的互調更為敏感。

2 數據的質量問題及原因分析

2.1監測數據失真

在實施移動監測中,未充分考慮無線電頻率環境,強信號能在監測或測量系統中產生互調失真,造成頻譜使用評估數據中存在失真的監測數據。針對此問題,我們在實驗室環境下進行了驗證,當輸入信號功率超過接收機能接受的功率范圍時,出現失真,表現為頻域上的底噪抬升或大量虛假信號。

監測數據失真是固定站和移動車的共性問題。固定站出現此問題可能的原因:一是站址選擇問題,臨近發射源或者建站后有新的發射源在附近出現,二是參數設置問題,全頻段掃描時衰減相關參數設置不合理。而移動站在移動監測過程中不可避免會經過發射源,基本無法通過衰減相關參數設置來避免問題,須在后端進行數據處理。

2.2電磁兼容問題

采集頻譜使用評估數據的監測車未嚴格滿足設備的電磁兼容性要求,電磁兼容(屏蔽)設計不合理易造成低端電磁干擾,表現為底噪不平穩,產生周期性干擾信號、倍頻信號泄露等,通常在300M以下較為嚴重,對調頻廣播、航空導航等重要頻段的監測造成惡劣影響,監測數據可用性不高。

該問題主要存在于移動車,主要分為兩個方面:一是監測設備和配套設備產生的電磁干擾信號經過天饋進入到了系統中,移動車和部分掛桿站天線和設備距離非常近,電磁干擾較強;二是電源等的傳導干擾,線纜本身沒有做屏蔽處理,干擾信號通過線纜直接進入系統。

2.3天線因子問題

(1)未進行天線因子校正

部分監測數據可能是電平數據,未疊加天線因子。

(2)天線因子校正標準不同

監測設備一般采用標準天線法獲得天線因子,但是不同的監測設備,天線因子的參照標準不同(標準天線增益不同),造成天線因子校正標準不同,不同廠家的監測數據不建議同時分析。

天線因子問題是所有站的共性問題,在測試場地進行待測天線的因子測量除了其參照標準不同以外,測試場地的不相同,使得測試環境帶來了不同的誤差。

2.4電平大范圍波動

數據電平上下跳動,無法確定真實的電平值,它是個別站點問題,是系統本身的問題,此問題出現于一臺監測車,初步判斷該問題為接口松動,在運行過程中接口接觸不良導致的。同時,也暴露出驗證軟件的不足。

2.5衰減設置對分析的影響

雖然本次分析的固定站未出現這類現象,但是為了保證監測設備工作在線性區域通?;岣菝扛銎刀蔚男藕徘榭黿興ゼ跎柚?,這樣就會出現不同的頻段采用的是不同的衰減,頻譜上看起來就會出現“臺階”。由于現在的數據結構不能夠把帶來“臺階”的衰減參數存儲下來,后續分析時就會出現問題。


圖片1

圖1  衰減帶來的“臺階”


3數據清洗技術

數據清洗是通過相關技術如數理統計、數據挖掘或預定義的清理規則將問題數據轉化為滿足數據質量要求的數據,是保證數據質量的重要技術手段[2][3]。頻譜使用評估數據清洗主要是實現問題數據的識別,然后進行剔除。根據頻譜使用評估數據存在的質量問題及其特征,定義其清洗規則,主要規則如下:

(1)存儲錯誤

鄰近時間的數據進行統計,根據統計值的離散度進行判別;以及對于單頻長時間的時域分析,利用波動率進行判別。

(2)監測數據失真

利用階躍檢測與邊緣處理算法以及數值統計與置信度分析算法進行統計和識別。

(3)電磁兼容問題

針對300M以下頻段進行識別,利用底噪中心·散度判別法和分段交叉判別法識別是否存在電磁干擾。

(4)電平大范圍波動

針對全頻段數據進行識別,采用基于統計的數值離群判定法實現問題數據識別。

4 驗證效果示例

4.1信號飽和數據清洗效果

按照清洗策略對某車201774日的一個數據文件進行清洗,并且對該數據文件進行信道占用度分析,在清洗前,無信號的頻段如1790 MHz1805MHz、1875 MHz1885MHz的占用度均不為0,清洗后這種現象得到明顯改善,如圖2和圖3所示。

圖片2

圖2 1790MHz1930MHz數據清洗前的信道占用度


圖片3

圖3 1790MHz1930MHz數據清洗后的信道占用度


4.2經緯度錯誤清洗效果

分析中發現部分數據幀的經緯度只有整數部分,無小數,真實環境下不太容易出現此類現象,且經緯度與文件中的其他數據相差較大,導致軌跡圖繪制時出現偏離。圖4為某車的數據文件,文件前5幀的經緯度錯誤,與真實位置相差甚遠,圖5為清洗后的軌跡圖。


圖片4

圖4 錯誤的經緯度導致軌跡圖偏離


圖片5

圖5錯誤經緯度清洗后的軌跡圖


5 小結

本文針對無線電監測數據質量問題、產生原因進行了分析研究,通過邊緣檢測、數理統計等技術對問題數據標記與清洗,同時驗證了清洗效果。結果表明,數據清洗技術能夠識別與剔除問題數據,保證了監測數據的正確性和可用性。數據清洗技術是保證數據挖掘與分析有效可靠的屏障,可為頻譜管理任務、頻譜評估、數據中心建設等提供數據質量保障和有效支撐。

參考文獻:

[1] 頻譜監測手冊(2011)

[2] 譚暉,廖振松,周小翠,賀凡. 大數據的數據清洗方法研究[J]. 信息通信. 2017(01)

[3] 郭志懋,周傲英. 數據質量和數據清洗研究綜述[J]. 軟件學報. 2002(11)


{ganrao}