ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012...

42
ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 1/42 Advanced coexistence technologies for radio optimisation in licensed and unlicensed spectrum (ACROPOLIS) Document Number D12.3 First Complete Set of Solution Categorization and Approaches Contractual date of delivery to the CEC: 30/09/2012 Actual date of delivery to the CEC: 30/09/2012 Project Number and Acronym: 257626 ACROPOLIS Editor: UPRC Authors: Vera Stavroulaki (UPRC), Yiouli Kritikou (UPRC), Aimilia Bantouna (UPRC), Kostas Tsagkaris (UPRC), Panagiotis Demestichas (UPRC), Evangelia Tzifa (UPRC), Nikolaos Koutsouris (UPRC), Asimina Sarli (UPRC), LouisaMagdalene Papadopoulou (UPRC), Jad Nasreddine (RWTH), Nikos Dimitriou (IASA), Andreas Zalonis (IASA), Jing Lv (TUD), Eduard Jorswieck (TUD), Ragnar Thobaben (KTH), Ricardo BlascoSerrano (KTH), Liljana Gavrilovska (UKIM), Adrian Kliks (PUT), Dionysia Triantafyllopoulou (UoS), Youngwook Ko (UoS) Participants: UPRC, RWTH, IASA, TUD, KTH, UKIM, PUT, UoS Workpackage: WP12 Security: Public (PU) Nature: Report Version: 1.0 Total Number of Pages: 42 Abstract:

Transcript of ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012...

Page 1: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 1/42

   

  

 

                                

 

Advanced coexistence technologies for radio optimisation in licensed and unlicensed spectrum  

(ACROPOLIS) 

Document Number D12.3 

First Complete Set of Solution Categorization and Approaches 

Contractual date of delivery to the CEC:  30/09/2012 

Actual date of delivery to the CEC:  30/09/2012 

Project Number and Acronym:  257626 ‐ ACROPOLIS 

Editor:  UPRC 

Authors:  Vera Stavroulaki (UPRC), Yiouli Kritikou (UPRC), Aimilia Bantouna (UPRC), Kostas Tsagkaris (UPRC), Panagiotis Demestichas (UPRC), Evangelia Tzifa (UPRC), Nikolaos Koutsouris (UPRC), Asimina Sarli (UPRC), Louisa‐Magdalene Papadopoulou (UPRC), Jad Nasreddine (RWTH), Nikos Dimitriou (IASA), Andreas Zalonis (IASA), Jing Lv (TUD), Eduard Jorswieck (TUD), Ragnar Thobaben (KTH), Ricardo Blasco‐Serrano (KTH), Liljana Gavrilovska (UKIM), Adrian Kliks (PUT), Dionysia Triantafyllopoulou (UoS), Youngwook Ko (UoS)   

Participants:  UPRC, RWTH, IASA, TUD, KTH, UKIM, PUT, UoS 

Workpackage:  WP12 

Security:  Public (PU) 

Nature:  Report 

Version:   1.0 

Total Number of Pages:  42 

Abstract: 

Page 2: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 2/42

Deliverable D12.1  [1] presented, among others, 10 case  studies,  i.e. 10 decision making problems  that will be  addressed by  the project. Deliverable D12.3 proposes how  these decision making  problems  can  be  addressed,  i.e.  presents  a  high  level  description/  the approach that was followed for solving them. In particular, for every proposed solution the adapted  theoretical  approach  is  provided while  the more  detailed  description  of  each proposed mechanism and how  the  theoretical  approach  is differentiated  in  the  specific mechanisms  will  be  discussed  in  Deliverable  D12.4  “Description  of  Decision  Making Approaches  and Decision Making  Engine”.  Finally, based on  the  commonalities  and  the differences between the proposed decision making solutions, a first categorization of the solutions has been provided.  

 

Keywords:  Decision Making Mechanisms,  categorization, model‐based,  Learning‐based, context‐aware 

 Document Revision History 

Version  Date  Author  Summary of main changes 

0.1  02.11.2011  UPRC  Table of Contents 

0.2  14.02.2012  UPRC  Updated ToC 

0.3  29.05.2012  UPRC  Partners’ intentions to contribute 

0.4  11.06.2012  IASA  IASA, UoS, PUT, RWTH joint contribution 

0.5  13.06.2012  KTH  KTH, TUD, PUT joint contribution 

0.6  02.07.2012  UPRC  UPRC Contribution 

0.7  15.08.2012  UoS  UNIS Contribution 

0.8  11.09.2012  UKIM  SOTA section added 

0.99  18.09.2012  UPRC  Text Rearrangements/ Editing  

1.0  19.09.2012  UPRC  Finalization of the document 

Page 3: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 3/42

Executive Summary 

This document provides  the categorization of decision making solutions related  to various aspects of cognitive radio systems, some of the related work that has been reported during the last years for each category and the first complete set of the proposed decision making solutions in the context of the scenarios examined by ACROPOLIS project. 

To begin with,  the document  starts  (in  section 2) with  the  categorization of  the decision making mechanisms used for the cognitive networks. More specifically, the decision making mechanisms are divided to 2 large categories depending on the algorithm on which they are based:  i) the model‐based and  ii) the  learning‐based decision making the mechanisms. The 1st  category  can  be  analysed  even  more  to  2  sub‐categories,  namely  the  stochastic approaches  and  the  examination  ones.  Section  2  elaborates  on  the  each  of  these  (sub‐) categories and  it provides an overview/ description of them and some state of the art  for each category.  

Section 3 focuses on the decision making solutions proposed by ACROPOLIS project in order to address the problems described in the previous WP12 deliverables, namely D12.1 [1]. In particular,  the  section  presents  the  overview  of  the  scenario  and  the  approach  to  be followed. However, the more detailed description of the mechanisms  including the results that come from it will be included in the next WP12 deliverable, i.e. in D12.4 “Description of Decision Making Approaches and Decision Making Engine” 

Finally, section 4 concludes the document highlighting its importance within WP12. 

 

Page 4: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 4/42

Table of Contents 

1. Introduction ................................................................................................... 5 2. The Categorization of the Decision Making Mechanisms and the State-of-the-Art ...................................................................................................................... 6 

2.1 Model-based spectrum decision mechanisms ................................................... 7 2.1.1 Stochastic approaches ........................................................................... 7 2.1.2 Examination approaches ........................................................................ 9 

2.2 Learning-based spectrum decision mechanisms ............................................. 10 3. Proposed Solutions ...................................................................................... 13 

3.1 Model-based spectrum decision mechanisms ................................................. 13 3.1.1 Strategy Selection and Power Allocation for Hierarchical Spectrum Access on Licensed Bands ........................................................................................... 13 3.1.2 Context-aware Interference Management in heterogeneous wireless networks ................................................................................................................ 15 3.1.3 Energy-aware spectrum sharing with femtocells ...................................... 27 

3.2 Learning-based spectrum decision mechanisms ............................................. 29 3.2.1 Knowledge-based cognitive Radio Resource Management .......................... 29 3.2.2 Radio Resource Management based on Dynamic Sub-carrier Assignment (DSA), Context, Profiles and Policies .............................................................. 31 

4. Conclusions .................................................................................................. 35 5. Glossary and Definitions............................................................................... 36 6. References ................................................................................................... 38  

Page 5: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 5/42

1. Introduction Main aim of WP12 “Metric  Identification, Decision Making Algorithms and Solutions”  is to define  and  identify  the  procedures  used  in  the  analysis  of  the  context  data  to  identify potential  opportunities  and  to  decide  on  the  spectrum  allocation.  Moreover,  this  WP defines and  identifies  the key elements of spectrum sharing and decision making  to allow intelligent and efficient choice of spectrum access, based on spectrum access policies and available or unused spectrum.  Towards  this  direction,  D12.1  “Specification  of  Preliminary  Set  of  Appropriate  Metrics, Utility Functions and Layer  Identification”  [1] described 3  scenarios which consisted of 10 case  studies  in  total,  i.e.  10  decision making  problems  to  be  addressed  by  ACROPOLIS project. Those are: 

Reference scenario 1 – Cellular networks with cognitive capabilities (e.g. femtocells) o Case Study 1: Utility functions related to the resource taxation o Case Study 2: Policy derivation and enforcing in cellular‐like systems o Case Study 3: Interference management and scheduling for femtocells 

Reference scenario 2 – Coordinated/coexisting cognitive radio networks o Case  Study  1:  Utilization  of  policy  coordinated  access  in  coordinated/ 

coexisting cognitive radio networks o Case  Study  2:  Spectrum  sharing  between  operators  in  licensed  and 

unlicensed spectrum from a PHY and MAC point of view o Case  Study  3:  Knowledge  based  management  of  reconfigurable  B3G 

infrastructures o Case Study 4: Self‐optimization of cognitive devices 

Reference  scenario  3  –  Opportunistic  cognitive  networks  (e.g.  secondary  ad‐hoc networks in presence of primary systems) 

o Case  study  1:  Impact  of  cross  layer  utility  function  in  routing  for  cognitive networks 

o Case study 2: Underlay CR with multiple‐antenna secondary users o Case study 3: Opportunistic coverage extension and capacity extension 

This deliverables discusses on the approaches that can be followed for resolving these case studies.  In  particular,  the  deliverable  presents  high‐level  descriptions  of  the  proposed solutions of the decision making problem that had been described  in D12.1 [1] while more detailed description of the decision making solutions will be provided in D12.4 “Description of  Decision  Making  Approaches  and  Decision  Making  Engine”.  Finally,  a  categorization, based  on  the  commonalities  and  the  differences,  of  the  proposed  mechanisms  is  also presented. The document is structured as follows: Section 2 presents how decision making mechanisms for  spectrum  access  are  categorized  and  summarizes  the  respective  State‐of‐the‐Art  per category.  Section  3  presents  the  followed  approaches  for  solving  the  decision  making problems and thus introduces the mechanisms that will be detailed in D12.4 “Description of Decision  Making  Approaches  and  Decision  Making  Engine”.  Finally,  Section  5  draws conclusions.  

Page 6: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 6/42

2. The Categorization of the Decision Making Mechanisms and the State‐of‐the‐Art  One  of  the  crucial  aspects  in  Cognitive  Radio  (CR)  networks  is  the  decision making  for spectrum  access  (i.e.  spectrum  decision)  process.  It  is  responsible  for  enabling  higher spectrum utilization of the CR system as well as fulfilling the Second User's (SU's) Quality of Service (QoS) requirements. In order to derive an efficient spectrum decision the SU needs to continuously monitor the radio environment and utilize a long‐term analysis so that it can reason and act upon its own and the environmental behaviour, Figure 2‐1.  

Secondary User Radio Environment 

Act • Actuation • Parameter reconfiguration 

Observe • Radio Environmental Information 

Decide • Reasoning • Parameter decision 

Figure 2-1: High-level cognitive cycle model

As seen on Figure 2‐1 the decision making is one of the pillars in the cognitive cycle and it is tightly  related with  the observation and action processes.  In  the observation process  the SUs gather the radio environmental information. The term radio environmental information refers  to  any  type  of  information  that  could  be  utilized  by  the  decision  process  (e.g. interference  level,  spectrum  occupation,  channel  state,  regulators’  rules  and  policies,  SU performance,  geolocation,  noise  level,  etc.).  The  gathered  information  (raw  or  pre‐processed) is then fed to the decision process (i.e. decision making mechanism) upon which the  SUs  reason  and  decide.  Based  on  the  decision  made  the  action  process  performs parameter reconfiguration and actuation, closing the loop of the cognition cycle. Depending on the  level of complexity the decision process can deal with metric analysis, performance optimization,  scheduling,  etc.,  and  utilizes  either model‐based  or  learning‐based  decision tools. In the case of model‐based tools the decision is being made by classical optimization methods which can often be  ineffective for solving  large scale or non‐convex problems.  In the  case  of  learning‐based  tools  the  decision  is  being  made  based  on  techniques  like, Bayesian  Networks,  Reinforcement  Learning,  etc.  Regardless  of  the  decision  tool  the spectrum decision represents a complex process that spreads across multiple CR spectrum functions, i.e., Spectrum Sensing, Spectrum Access and Spectrum Sharing, Figure 2‐2. 

Page 7: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 7/42

Radio Environment 

Spectrum  Sharing 

Spectrum  Access 

Spectrum  Sensing 

Radio environmental 

information 

Spectrum

 hole  

detec

tion 

PU 

detection 

Spectru

Mobility 

Channel  

Selection 

Signal  

Transm

ission 

Figure 2-2: Spectrum decision cognitive cycle model

In the case of Spectrum Sensing the spectrum decision process determines which spectrum portions are available for opportunistic access. For this case the decision represents a binary hypothesis  testing  where  the  two  hypotheses  are  refereeing  to  the  Primary  User  (PU) presence and PU absence, respectively  [2]. The goal of the decision process  in the case of Spectrum  Access  is  to  select  the  best  available  channel  as  well  as  to  vacate  the  given channel when  an  incumbent  user  is  detected  (i.e.  spectrum mobility).  For  the  Spectrum Sharing case the decision process is responsible for coordinating the access to the selected channel with the other active SUs. 

The reminder of this section will elaborate on the State of the Art (SoA) (model‐based and learning‐based)  spectrum  decision mechanisms  that  focus  on  the  Spectrum  Access  and Spectrum Sharing functions.  

2.1  Model‐based spectrum decision mechanisms 

The model  based  decision  approaches  for  cognitive  radio  networks  generally  rely  on  a significant prior knowledge to make the decisions for the spectrum sensing, access and/or sharing. Regarding the amount and type of required knowledge prior the decision process the model based approaches can be further divided into two subclasses: stochastic decision making approaches and examination based decision making approaches. 

2.1.1 Stochastic approaches 

The  stochastic  approaches  commonly  rely  on  the  assumptions  of  a  known  PU/SU activity/occupancy model and parameters to derive the optimal decision  for the spectrum access and/or sharing. The aim  is to apply the most realistic model and through extensive numerical and simulation analyses to assess the performances of different decision schemes in various cognitive radio networks scenarios. The gained conclusions are used to derive the 

Page 8: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 8/42

decision rules which can be applied to the cognitive radio devices to adapt on‐the‐fly based on the different radio environment context. The stochastic decision making approaches can be generally divided based on the type on:  

PU/SU system model 

Optimization objective  In order  to produce an efficient decision  the  stochastic decision making approaches must rely on adequate and accurate PU/SU system models. Most of the SoA work in terms of the model type  is mainly based on either Markov transition models or queuing theory models. When considering  the  former approach  the opportunistic access process can be modelled either using  a  classical Markov  transition model  [3][4][5], or utilizing Partially Observable Markov  Decision  Process  (POMDP)  [6]. Moreover,  the  POMDP  approach  is  suitable  for scenarios where the state of the system  is partially observed (e.g.  in the case of wideband sensing  the  state  of  all  candidate  spectrum  bands may  not  always  be  known)  [6][7][8]. Queuing  theory  has  proven  to  be  a  suitable  tool  for  the  stochastic  decision  making approaches where  the  PU/SU  system  can  be modelled with  different  queuing  networks models  (e.g. M/M/1  queuing model  [9]  or  a  Pre‐emptive  Resume  Priority  (PRP) M/G/1 queuing model [7][9]). In most of the works the PU and SU arrivals are modelled as Poisson [3][4][7][10] and the departures as exponential, while the channel occupancy model of the primary system can be modelled as a Bernoulli process [10] or a as a two‐state birth‐death process  [11].  Several  works  have  also  considered  the  possibility  to  model  different  SU application types with different traffic queues models [11][12]. 

The  stochastic  decision  making  approaches  are  based  on  a  predefined  optimization objective upon which they derive the given decision. They either target a single objective or multiple objectives regarding the optimization problem  i.e. decision making process. Most of  the  single objective works  focus on variety of parameters  like  the maximization of  the secondary  throughput  [5][8][11][12], minimization  of  the  overall  SU  service  time  [3][7], minimization of  the  capacity  variance  for  real‐time  applications  [11], minimization of  the overall  SU  channel  switching  delay  (SU  spectrum  handovers  time)  [6],  achieving  fairness among  the SUs and applications while satisfying quality of service  [12] etc. The stochastic decision making  approaches  target multiple objectives  in  the optimization problem. They perform a  joint optimization on a set of parameters  that refer  to  the cognitive cycle. One example is a group of stochastic decision making algorithms that target a set of the sensed channels  and  the  set of  the  candidate  channels  for  spectrum  access  and usage  [5][6][7], covering the decision making process in the first two stages of the cognition cycle. Another group of  stochastic decision making algorithms attempts  to  jointly optimize  the  spectrum access  decisions,  admission  decisions  and/or  the  spectrum/resource  allocation  decisions [3][8][11][12], whether between the different secondary users and applications or between the  primary  user  and  the  secondary  user.  These  algorithms  simultaneously  cover  the decision making in the spectrum access and spectrum sharing stages of the cognition cycle, depicted on Figure 2‐2. 

The  stochastic  decision making  algorithms  are  simple  and  easy  to  implement  since  they usually have closed‐form expressions or the target optimization space is narrower and they focus on a  limited set of scenarios. However, due to their assumptions and simplifications they  are  not  always  capable  to  cope with  the  dynamism  of  the  radio  environment  and unexpected events. Thus, the model based techniques performing examination, as well as 

Page 9: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 9/42

the  learning  based  decision  approaches  are  better  suited  to  the  inconsistent  and  the unpredictable radio environment. 

2.1.2 Examination approaches 

The  examination  approaches  are  a  subset  of  the model  based  approaches which  target more complex optimization problems. They also rely on a prior knowledge, but in this case on  the  complex  relationships  between  the  objectives,  the  measured  metrics  and  the optimization parameters. However, since they generally target multi‐objective optimizations a closed form expression for the optimal parameters is hard to obtain. Therefore, they use fitness functions measuring and quantifying the satisfactory level of the predefined criteria. In  [13][14]  the authors have  singled out  the  following objectives  relevant  for  the physical and MAC  layer optimizations  in cognitive networks. Figure 2‐3  illustrates the dependences and  the relations between  the objectives  in such a multi‐objective optimization.  It  is clear that the optimization of multiple goals would require a substantial amount of time due to the complex relationships between the objectives. 

Figure 2-3: Multi-objective optimization in cognitive networks [13]

There  is  a  vast  amount  of  papers  dealing  with  the  multi‐objective  decision  making  in cognitive  radio  networks.  Genetic  algorithms  (GAs)  are  proposed  as  efficient  tools  for decision making in the field of CR [15] due to their ability to operate in a large search space. GAs have high  ability  to  adapt  to dynamically  changing environments  and  add  significant amount of power and flexibility in the decision making engine. As cognitive radios are likely to face dynamic environments and situations, genetic algorithms are particularly applicable. The GAs can be  successfully used  to perform  joint optimization on  the channel allocation and power control optimization in the quest of achieving an optimal Signal to Interference‐plus‐Noise Ratio (SINR) per SU device [16]. Genetic algorithms can be also used to perform a joint maximization  of multiple  objectives  such  as  BER minimization,  power minimization, and throughput maximization [17]. In [18] the proposed Cognitive Resource Manager (CRM) selects an algorithm from a toolbox of algorithms to solve a particular problem, where the genetic algorithms are preferred for multi‐dimensional problem analysis.  

Besides the GAs, the Swarm Algorithms are another biologically  inspired and efficient tool for optimizations and decision making in the cognitive radio networks. They are more suited to the distributed scenarios, where multiple secondary users jointly cooperate to make the best time‐frequency allocation of the spectrum resources [19][20]. The iterative evolution of the swarm guaranties an efficient spectrum allocation only after several iterations. 

Page 10: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 10/42

Game Theory  [21]  represents a possible  tool  for strategic decision making as well. Mostly used  in  the mathematical economics  in  the history,  recently  the game  theory approaches arise as an efficient  tool  for  spectrum access and  spectrum  sharing  in  the cognitive  radio networks.   The game theoretic approaches such as Cournot game, Nash Equilibrium, Nash Bargaining, are seen as an efficient solution for the decision making in spectrum markets for the spectrum trading process [22]. Additionally, the game theoretic approaches have been used to jointly optimize the channel and power allocation to maximize the number of served SUs and maximize the secondary throughput [23]. 

Besides the previously noted examination based decision making approaches, the simulated annealing [24] and fuzzy logic [25] approaches have also been used for the decision making in  the  cognitive  networks.  Since  all  the  examination  based  approaches  usually  perform multi‐objective optimizations they mostly target the spectrum sharing stage of the cognition cycle  or  they  perform  the  joint  spectrum  access  and  sharing  decisions  in  the  cognitive networks. 

2.2  Learning‐based spectrum decision mechanisms 

The  learning‐based  spectrum  decision  concept  extends  the  common  notion  of  decision making  by  introducing  knowledge‐base  and  learning  functionalities,  Figure  2‐4,  in  the decision making engine.  

Figure 2-4: Learning-based decision making engine

The  learning engine enables the CR to evaluate the quality of the past actions and enables the decision engine to learn from the past successes and failures, adjust its parameters, and adapt its decision rules to its specific environment. The learning techniques involve the use of an objective function to determine the value of the learned data, where in a CR context these objective functions reflect the overall goal of the application, such as maximizing the throughput or minimizing the interference. The most commonly utilized learning techniques (tools) regarding the spectrum decision process are:  

Bayesian Networks 

Reinforcement Learning  

Artificial Neural Networks Bayesian Network  (BN)  is a unique tool  for modelling the network protocol stack as  it not only learns the probabilistic dependencies of the system but also provides an opportunity to fine‐tune  the cognitive network parameters  in order  to achieve  the desired performance.    A BN model for a CR network  incorporates the following steps (analog to Mitolas’ defined cognitive  cycle):  sampling  the  network  protocol  parameters  (Observe),  learning  the structure of  the BN and  its parameters  from  the data  (Learn), using a BN‐based  inference 

Page 11: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 11/42

engine  (Decide)  to make decisions, and  finally effecting  the decisions  (Act)  [26]. The work presented  in  [27]  introduces a novel autonomic decision‐making approach which extends the common Bayesian Network paradigm by introducing the concept of influence diagrams. Utilizing  the  influence diagrams,  in order  to decide and execute  the action, can maximize and  effectively  predict  the  overall  CR  network  performance.  The  spectrum  decision mechanism  in  [28]  exploits  BNs  to  model  the  probabilistic  dependences  of  spectrum occupancies  and  influence  diagrams  for  a  cross‐layer  decision  making  approach.  The mechanism  integrates  the  inference  result  of  the  Bayesian  network model  regarding  the spectrum occupancy and the QoS requirements from the upper layers in order to calculate (derive) the most efficient decision solution. 

Reinforcement  Learning  (RL)  is  a  biologically  inspired machine  learning  technique widely used  in  CR  decision making,  in which  an  agent  attempts  to  perform  optimal  actions  to maximize  long‐term  rewards  achieved  by  interacting  with  the  environment  [29].  The dynamic  interaction with  the environment  and  the  adaptivity of  the  learning process  are two of  the main  features which make RL  techniques  suitable  for Cognitive Radio Ad Hoc Networks [30], mainly for routing and spectrum decision tasks. As discussed in [30] the most suitable RL techniques for CR Networks are:  

Model‐based learning. These algorithms require a model of the environment, i.e. the reward and state‐distribution functions;  

Q‐learning. Q‐learning  is  an  on‐line  RL  algorithm which  attempts  to  estimate  the optimal action‐state function without requiring a model of the environment;  

Dual RL. This algorithm  is very  similar  to  the Q‐learning  scheme. The difference  is that it updates the action‐state function values based on the previous states, instead of relying only on the subsequent states;  

Multi‐Agent Learning. These techniques extend classical RL algorithms, in a system of homogeneous agents which have system‐wide optimization goals. 

The authors in [29] propose a value function based approach for evaluating the suitability of different  transmission  parameters, which  can  provide more  efficient  decision making. Q‐learning based spectrum allocation has been extensively  investigated  in CR networks. The work  in [30] proposes a novel decision framework based on RL techniques for  joint power and  spectrum  allocation  as  an  example  of  Q‐learning.  The  elaborated  method  in  [31] considers  the  discussed  RL‐formulation  assigning  rewards  to  the  SU  after  each  data transmission.  In  [32],  the  authors  consider  a  spectrum  sharing  case  where  a  set  of transmitting‐receiving pairs of nodes utilize the information of the received Signal‐to‐Noise Ratio (SNR) as an  input  in the spectrum decision process.  If the SNR value  is higher than a given  threshold,  then  the  transmitter node  increases  its Q‐value of a  fixed weight  factor, otherwise it applies a penalty and quits the current spectrum. 

Authors in [33][34][35][36] suggest that many problems related to CR’s decision making can be  formalized as Multi‐Armed Bandit  (MAB) problems and  that  solving  such problems by using Upper Confidence Bound  (UCB)  algorithms  can  lead  to  high‐performance  spectrum decision making.  The MAB  framework models  a  gambler  sequentially  pulling  one  of  the several levers on the gambling machine. Every time a lever is pulled, it provides the gambler with  a  random  income  usually  referred  to  as  reward.  Although  it  is  assumed  that  the gambler  has  no  a  priori  information  on  the  rewards'  stochastic  distributions,  he  aims  at maximizing his cumulated income through iterative pulls. In the spectrum decision case, the SU  is modelled as the gambler while the frequency bands represent the  levers.   A possible 

Page 12: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 12/42

way  to  solve  the  MAB  modelled  problem  is  to  use  the  class  of  UCB  algorithms [35][36][37][38][39].  The main  advantage  of  UCB methods  for  CR  is  to  offer  a  balance between  the  exploration  and  the  exploitation  phases  without  interrupting  the communication  process  and  to  provide  learning  solutions  even  in  the  cases  when  the cognitive nodes face new environment conditions [40].   

The general approach suggested  in [36] aims at selecting the most suitable decision based on the UCB  indexes. These  indexes are based on the rewards associated with the channels that the SU can potentially exploit.  In  [34] authors utilize the UCB algorithm to derive the most optimal spectrum decision. They formulate the spectrum decision problem through a general learning model that takes into account the observation limits of the SUs and derive fundamental bounds on the UCB algorithm. Moreover, in order to maximize the overall SU network performance without any a priori knowledge of the system behaviour the authors propose a general spectrum decision mechanism based on the Hungarian algorithm [34]. 

Artificial Neural Networks  (ANN) may also be used by the decision making engine to  learn and  infer  decision making  rules.    Similar  to  the  brain,  the  ANN  is  composed  of  artificial neurons  (or  processing  units)  and  interconnections  [41].  Thus  it  forms  a  programming structure  that mimics  the behaviour  and neural processing  (organization  and  learning) of biological neurons. Based on ANN, the method of evaluating and learning best decision for CR decision making is proposed in [42]. In the same work several key architectural issues for cognitive radio engine based on ANN are discussed,  including knowledge base  information model  and  learning  model  Neural  Network  design.  Several  works  also  investigate  the performance gain in terms of the decision process for the Multilayer Neural Network (MNN) approach.  It has been shown  that  the MNN can be exploited as an effective  tool  for real‐time decision making in cognitive radio [43][44]. 

Page 13: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 13/42

3. Proposed Solutions This  section,  and  deliverable  in  general,  presents  the  context/  scenario  under which  the decision  making  mechanisms  are  proposed  and  the  theoretical  basis/  approach  of  the proposed mechanisms  but  not  the mechanisms  per  se.  The  detailed  description  of  the mechanism  with  the  inputs/outputs  and  results  will  be  part  of  D12.4  “Description  of Decision Making Approaches and Decision Making Engine”. 

3.1 Model‐based spectrum decision mechanisms 

This section summarizes the proposed solutions that belong  in the first category of section 2, i.e. solutions that are based on models for addressing the decision making problem. The reasons of why each approach has been selected reside in the specific analysed scenario and can be found in the respective analysis of the mechanism.  

3.1.1 Strategy Selection and Power Allocation for Hierarchical Spectrum Access on Licensed Bands 

In this section, we consider strategy selection and power allocation in context of hierarchical spectrum access on  licensed bands, which  is one of  the main  scenarios of  interest of  the ACROPOLIS  project,  as  indicated  in  deliverable D4.1  [45].  The  discussion  provided  in  the following is mainly based on joint work between TUD, KTH, and PUT (see, e.g., [46][47] and [48]) and individual work from TUD in [49]. 

Scenario and Overview 

We  consider  the  scenario  where  a  secondary  system  wishes  to  establish  a  link  in  an occupied  licensed band;  that  is, we explicitly exclude  interweave  spectrum  sharing  in  this scenario. For simplicity, we assume that the secondary system consists of one transmitter‐receiver pair and that only one primary transmitter‐receiver pair is active in the considered resource blocks. The  situation  is  illustrated  in Figure 3‐1, and  it  is  similar  to  the  two‐user interference channel for which utility functions have been discussed in deliverable D12.1 [1]. The  theoretical  background  for  this  channel  model  and  its  extension  to  the  so‐called cognitive radio channel model are furthermore discussed in detail in deliverable D8.2 [50]. 

Figure 3-1: Hierarchical spectrum access on occupied licensed bands.

In our work  in  [46][47][48][49], we considered  the special case of a Multiple‐Input Single‐Output  (MISO)  secondary  link  coexisting with  a  Single‐Input  Single‐Output  (SISO) primary system. The scenario was designed  to be sufficiently complex  to cover  the main  technical details of the problem while being simple enough in order to obtain tractable results. In this scenario, the secondary system has two choices: it can enter the channel in a non‐ or semi‐

Page 14: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 14/42

coordinated  fashion  using  an  underlay  strategy  (see,  e.g.,  [49])  or  it  can  coordinate  its transmission  strategy  with  the  primary  system  and  use  an  overlay  strategy  (see,  e.g., [46][47]  and  [48]).  If  the  secondary  system  now  decides  for  an  underlay  strategy  as described  in  [49],  it can choose  to either split the secondary’s message  into multiple data streams  or  transmit  a  single  data  stream,  and  it  has  to  optimize  the  rate  splitting,  the corresponding  beamforming  vectors,  and  the  power  allocation  in  order  to maximize  the secondary  rate  while  ensuring  a  given  primary  rate  constraint.  We  refer  to  [49]  and deliverable D13.1 [51] for the technical details. On the other hand, if the secondary system decides  for  coordinated  spectrum  sharing using  the  schemes  investigated  in  [46][47][48], this requires that the secondary transmitter serves as a relay for the primary system while it transmits  its own message to the secondary receiver at the same time. To  implement this scheme,  the secondary system needs  to “learn”  the primary’s message  first, and  it has  to optimize  the  beamforming  vectors,  power  allocation,  and  time‐sharing  parameters  in  a second step. We refer to [46][47][48] and deliverable D13.1 [51] for the technical details. 

The  decision,  which  spectrum  sharing  strategy  will  be  used,  depends  on  application requirements  like  throughput,  delay,  and  reliability  as  well  as  on  the  availability  of  an interface  that  enables  coordination  between  the  primary  and  the  secondary  system,  the willingness  of  the  primary  system  to  share  certain  key  parameters,  and  the  allowed complexity  at  the  secondary  transmitters  and  receivers. We  summarize  therefore  in  the following the context  information that  is required for the secondary user for assessing the expected performance of  the underlay scheme described  in  [49] and  the overlay schemes studied in [46][47] and [48].  

For the underlay strategy [49], the following features are essential: 

Channel‐state  information:  The  secondary  system  requires  full  knowledge  of  the realizations  of  the  fading  processes  on  all  links,  as  well  as  the  primary  transmit power and the noise variance at the receivers in order to be able to reliably predict the expected performance.  

Primary‐rate  constraint:  The  optimization  of  the  transmit  strategy  requires knowledge  of  the  primary  rate  constraint.  If  full  channel‐state  information  is available and all transmit powers are known, this constraint can be expressed as an equivalent interference temperature constraint as well. 

Complexity: In [49], both a single‐stream decoder and a more advanced multi‐stream decoder  based  on  successive  decoding  are  considered. Which  strategy  is  selected depends therefore on the allowable complexity of the secondary receiver. 

For  the  overlay  strategies  developed  in  [46][47]  and  [48],  both  the  requirements  on  the channel‐state  information  as  well  as  the  requirements  on  the  primary‐rate  constraint remain the same. In addition, the following features need to be provided: 

Primary message‐state information: The considered cooperation schemes are based on  decode‐and‐forward  relaying.  This  requires  that  the  secondary  transmitter  has knowledge of  the primary  codebook and  is  therefore able  to decode  (“learn”)  the primary message. 

Common  set  of  relaying  strategies:  The  secondary  transmitter  has  to  be  able  to support all relaying and cooperation strategies that are implemented in the primary system.  

Page 15: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 15/42

Synchronization:  Cooperative  transmission  from  distributed  transmitters  requires synchronization to ensure that the transmitter signals are perfectly aligned. 

Complexity: The  transmission  scheme  in  [47]  is based on dirty paper coding which requires  a  quite  involved  transmitter  structure.  To  reduce  complexity  at  the transmitter, we proposed in [48] an approach based on linear pre‐coding that allows the secondary system to trade performance for reducing complexity. Which strategy is  selected  depends  therefore  on  the  allowable  complexity  of  the  secondary transmitters 

At  this point,  it  is  important  to mention  that  the  summary of  requirements, given above, lists the idealized assumptions. How the performance of the considered schemes is altered due  to practical  imperfections  is  for example  studied  in  [46], where  robust beamforming based on imperfect channel state information is considered.  

Theoretical Approach 

To decide whether an underlay or an overlay strategy is chosen, the decision engine has to evaluate the following aspects for all available strategies: 

1. Are all parameters that are required to use the considered scheme available? 2. Does  the expected performance  satisfy  the  requirements  set by  the application  (rate, 

delay,  reliability,  etc.)  while  satisfying  constraints  set  by  the  primary  system  (e.g., interference), and how can the expected performance be achieved? 

3. Is  the  solution  that  leads  to  the  expected  performance  feasible  given  the  complexity constraints? 

4. If multiple solutions are available, which scheme provides the required performance at the lowest price (e.g., complexity or power consumption)? 

In  order  to  be  able  to  do  this,  the  decision  engine  needs  a  reliable  tool  to  predict  the performance of the considered scheme.  In [46][47][48][49], we employed achievable rates that are based on  information  theoretic models  for  that purpose. We  refer  to deliverable D8.2 [50] for a  large collection of  information theoretical models that are suitable for that purpose. Now, given appropriate  rate expressions,  the  selection of  the  strategies and  the optimization of the respective parameters can be stated as a rate optimization problem. The solution of the optimization gives then the expected performance and the set of parameters that achieve it. To illustrate this, equation (1) shows the simplest case of a rate optimization problem for spectrum underlay that was considered in [49]. It describes the optimization of 

the beamforming vector and the power allocation for maximizing the secondary rate  cR  if a 

single‐stream underlay strategy  is used and the primary rate constraint  is  lR . As shown  in 

[49], a closed‐form solution can be obtained for this specific problem. 

2 222 11

2 22 2,12 21

max log 1 s.t. log 1 , 1,01 1c

Hc c I

c I c c cHWc p

I c c

h w p h PR R w p P

h P h W p

   (1) 

3.1.2 Context‐aware Interference Management in heterogeneous wireless networks  

In  recent  years,  in  order  to  increase  system  capacity,  network  operators  enhance  their infrastructure with the addition of small cells (e.g. relays, microcells, femtocells). This action transforms  classical one‐tier networks  to multi‐tier networks, where  the proper  resource allocation  plays  an  important  role  in  the  control  of  interference.  Moreover,  network operators  try  to  find  alternative  ways  for  coverage  and  capacity  increase  in  densely 

Page 16: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 16/42

populated countries. One possible option  is to offload the part of the traffic to unlicensed spectrum  utilizing WiFi  technology  [52].  However,  the  interference  between WiFi  users seems  to be a crucial  factor  that  reduces  the potential  capacity  improvement. Since WiFi terminals  operate  on  non‐licensed  bands,  the  Interference  Management  (IM)  problem cannot  be  treated  as  it  is  typically  done  in  the  so‐called  two‐tier  approach,  e.g.  for femtocells.  The  degree of  freedom  in  interference management  and  avoidance  is  strictly limited in this case, since the operator does not have any influence on the other WiFi users and other wireless systems operating in the 2.4 GHz band. Similar analysis can be performed for cellular networks  (LTE/4G/WiMax), where  the  full  frequency‐reuse approach has been applied. In such a situation the whole set of the resources assigned to a certain operator can be used in each separated cell. In all cases the problem of effective yet simple interference management as well as of effective Resource Allocation (RA) among users becomes crucial.  

To control  interference, one can  list the two main approaches: (i)  interference cancellation techniques, where the user subtracts the strongest interferers from the received signal, and (ii)  interference avoidance techniques, especially through RA, where the users try to avoid, instead of suppressing, the interference. For both cases rich context information about the current  situation of  the  terminal plays  significant  role. Efficient  interference management will  be  impossible  if  the  information  about  the  vicinity  of  the  particular  user will  not  be available. However, depending on the approach, different amount and types of information are required. Based on [53] context  information  is the  information possessed by the entity that can be used to describe and characterize the current situation of this entity (element of the network). The accuracy of the characterization of the current situation depends not only on the amount of information gathered by the entity but also on the quality of the context information. Moreover,  depending  on  the  entity  type  (e.g. mobile  or  fixed  terminal)  the useful and available context information change significantly. For instance some information accessible in cellular networks cannot be obtained in WiFi systems.  

In  the  following  interference management  approaches  for  selected  scenarios of  interests are discussed along with  the available  context  information  for each  scenario. Algorithmic solutions for those scenarios are proposed along with an assessment for the impact on the system performance.  

3.1.2.1 Cellular Networks with Full Frequency Reuse  

Scenario and Overview 

IM in cellular networks relies on some feedback parameters sent by user equipment to Base Stations (BSs). Usually these parameters are related to measurements of the received signal strength or the SINR, on specific frequencies that may assist in determining the propagation losses  and  its  variations.  Apart  from  assessing  the  link  quality  between  the  BS  and  the mobile,  it  is  important to assess the  interference experienced due to activities  in other co‐channel  links, and to estimate the expected consequences to other users after allocating a specific resource to the user of interest.  

The  traditional  resource  management  techniques  in  legacy  systems  have  the  following characteristics:  (i)  the  cellular  infrastructure  is  considered  as  fixed  and  the  amount  of resources  allocated  in  each  cell  does  not  change  in  short  term;  (ii)  users  transfer  only channel and signal quality metrics and not any location information; (iii) users do not sense explicitly other systems that may be existing in other frequency bands. One should note that the specifications for Long Term Evolution Advanced (LTE‐Advanced) are considering the use 

Page 17: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 17/42

of more  rich  information especially  for  the Minimization of Drive‐Tests  (MDT) procedure; (iv)  the  base‐line  configuration  of  cellular  systems  does  not  involve  the  cooperation between  base  stations  for  optimized  resource  usage;  (v)  there  is  no  provision  for opportunistic resource access or for primary/secondary prioritization of users in RA. 

In the case of a macro‐cellular architecture with nearly full frequency reuse in adjacent cells, there is a need for optimum RA and IM. The resulting co‐channel interference that may be generated needs to be carefully controlled to ensure seamless operation between the BSs. In  next  generation  cellular  systems  where  various  small  cells  (femtocells,  picocells, metrocells,  microcells)  will  coexist  and  share  the  common  resources,  the  coordination between  those “small cell” APs and macro‐BSs  is of great  importance.. This co‐ordination can be assisted by using rich context  information:  (i) BS and AP  locations – this requires a low  update  rate  and  will  serve  for  making  long‐term  network  planning  decisions;  (ii) information about network  infrastructure,  such as BS power control capabilities;  (iii)  real‐time or almost real‐time measurements conducted by users, along with their locations. Each user may collect  information regarding  its surrounding radio environment, containing even more dynamically updated measurement information; and (v) user requirements on QoS. 

In the considered scenario the important issue is to determine the possibility of re‐using the same frequency channels for different users and the corresponding consequences related to the generated co‐channel interference. The system model is presented in Figure 3‐2, where three  omnidirectional  transmitting  APs,  named  A,  B,  and  C,  and  three  receiving Mobile Stations (MSs), named 1,2,3, communicate within the same area.   

A

C 3

1

B

2

Figure 3-2: Co-channel allocation scenario

The objective is to examine how the available context information can help in increasing the efficiency  of  IM  techniques.  The  analysis  is  valid  for  any  scenario  involving  co‐channel frequency allocation in neighbouring cells; the assumption of 3 co‐existing co‐channel users within the same area  is valid and covers most practical system  layout scenarios for macro‐cells,  small  cells  (e.g.  femtocells)  and  opportunistic  access  systems. One  such  example  is 

Page 18: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 18/42

cellular OFDMA full frequency reuse scenarios,  involving the wide re‐use of the same sub‐channels. Another example  is co‐channel LTE  femtocells deployment  in a  specific area, or WiFi APs deployment with a provision of re‐using of the same sub‐channels among them. 

Theoretical Approach and assessment 

The  calculation of  the  interference  in each possible  interference  scenario of  Figure 3‐2  is based  on  the  parameters  in  Table  3‐1.  The  total  channel  gain  gm,n  =  L(α,d,S,H)  can  be segregated into path‐loss component at distance d with attenuation factor α, shadowing S, and  fast  fading  term  h. Depending  on  the  scenario  of  interest  and  the  available  context information  the exact  values or probabilistic models  can be used  to  represent  the above parameters. The exact values,  in  the generic case, are dependent on  the positions of  the transmitter  and  the  receiver.  In  each  scenario  the  available  channel  knowledge  can  be represented accordingly as a special case of the complete total channel gain gm,n. Below an exemplary sum‐utility optimization problem is presented as an example, with the intention to be as generic as possible to cover as much as possible sub‐problems in the area. Clearly, other  classes  of  generic  optimization  problems  can  be  also  identified.  In  the  ideal  case, where we have the exact channel knowledge of all the interconnections in the network and a centralized  controller that will collect in real‐time this information, a generic optimization function that targets to the maximization of a specific function X(.) can be formulated as:   

. . .,

ˆˆmax m n m n m nm n

X r P   (2) 

where the sum is over the tuples (m,n). Power and rate allocated for a MSm are represented as  pm,n  and  rm,n,  respectively.  Function  X(.)  can  be  the  capacity,  the  sum  good  put,  or something else. Various optimization functions could be selected depending on the scenario of  interest.  This  generic  optimization  example  can  be  used  as  a  reference  for  various practical sub‐problems in the area of IM and RA in femtocell networks.  

Parameter  Description 

, 1, 2,3mMS m m‐th MS user (total number of MS is equal to M) 

, , ,nAP n A B C n‐th AP (total number of AP is equal to N) 

,m ng Total channel gain between the nth AP and m‐th MS  

Table 3-1: Exemplary set of context parameters

Conditions  for  feasible  co‐channel  allocation  in  the  scenario  of  Figure  3‐2:  Each  user  is assumed  to have a  specific QoS  requirement  in  terms of SINR value,  i.e.  the m‐th mobile station MSm has an SINR requirement equal to γm. By considering the conditions that have to be fulfilled by user MSi to be connected to APX,  it can be shown that there can be feasible power allocation strategy for all three users if the expression concerning the Feasible Power Allocation Criterion (FPAC) is valid: 

1 2 31 0sFPAC L   (3) 

Here  Ls  represents  the  interference  coupling  factor  that  depends  on  the  path  losses between  the  APs  and  the MSs  as  has  been  introduced  in  [54]  for  CDMA  systems  and 

Page 19: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 19/42

adopted herein  for any  full‐frequency reuse system. This criterion may be  integrated with the maximum power conditions that may be imposed by the AP transceiver characteristics. 

We assume the knowledge of the location and the QoS requirements of all users, along with the propagation models  for all possible user  links.  It  is obvious  that,  if  this  information  is available  in  each  AP,  it  can  be  directly  inferred  whether  there  is  a  feasible  co‐channel allocation for all users. Thus, the previously described mathematical model can be used to determine feasible power allocation options for each user according to its QoS requirements and location. In case there are more than one connection options using the same frequency (e.g.  connection  to a macrocell BS or a  femtocell AP),  this model  can be used  to  identify better connection type. 

A practical algorithm, which uses  the above‐mentioned  information  for performing power allocation for each user of the scenario of Figure 3‐2, is the following: 

1. The  user  in  each  cell  sends  to  the  AP  information  regarding  the  received  SINR measurements. 

2. The AP  calculates  the user  location  (this  can be done either by assuming  that  the user  sends  directly  his/her  location  information  or  by  assuming  that  the  BS  uses some  triangulation or other  localization determination  techniques,  in collaboration with the neighbouring BSs that also can locate the user of interest).  

3. The AP updated a local database the new user data. 4. The AP sends the updated  information for all users to a cluster controller (a cluster 

Radio Environmental Map ‐ REM). 5. The updated cluster controller is used to calculate the FPAC from (3) and to allocate 

in an optimum fashion the same frequency to users in the adjacent cells.  6. If no  feasible solution exists,  the users with  the higher propagation  loss values are 

allocated different channels to avoid excessive interference.  It  was  assumed  that  if  the  FPAC  was  positive,  any  feasible  transmitted  power  vector corresponding to the specific user QoS requirements and user location would be within the power limit bounds of each AP. 

The  simulation  results  show  the  benefit  of  exploiting  context  information  for  the  power allocation  of  co‐channel  users  in  adjacent  cells  in  order  to  control  the  generated interference. An area of 3 neighbouring omnidirectional cells (each having radius equal to 1 km) was simulated. User locations were generated randomly in each cell. This procedure is compared  to  the  case  of  radio  distance‐based  fractional  frequency  reuse‐based  schemes [55] according to which the AP allows  full  frequency reuse within a radius Rc smaller than the cell  range  (radio distance  in  this simulation coincides with  the user distance  from  the base station due to the chosen path loss model). The tests were performed assuming a Full Frequency Reuse  (FFR) area of  radius 0.5Rc, 0.75Rc, and Rc  (denoted as FFR‐0.5, FFR‐0.75, FFR‐1, respectively). The FFR‐1 scheme coincided with the case, according to which the AP allocated  resources  to  all  users  assuming  full  frequency  re‐use,  and was  considered  as  a lower bound case.  In each case, following the co‐channel allocation, the SINR of each user was measured. If the SINR si was below a specified threshold (set to 12 dB for the tests), the user was considered to be in outage.  

Figure 3‐3 depicts the frequency reuse utilization (defined as the outage‐free channel usage per cell) measured in the 3 neighbouring cells due to the generated co‐channel interference. It is apparent that in the case of the uncoordinated resource allocation (FFR‐1), users close 

Page 20: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 20/42

to  the cell borders suffered  from excessive  inter‐cell  interference and  thus a considerable outage  rate  was  observed  (around  20%).  In  the  case  FFR‐0.75,  the  outage  rate  is considerably  decreased  (down  to  1%)  since  the  distance  between  co‐channel  users  in different cells is increased and hence the co‐channel interference dropped. The same trend is observed for the FFR‐0.5 scheme that has zero outage rate, which also coincides with the outage  rate  of  the  proposed  REM‐based  allocation. However,  limiting  the  full  frequency reuse users within a  fixed part of each cell may  lead  to underutilization of  resources. The FFR‐1 scheme allocates the same channel to all users in each cell, whereas the FFR‐0.75 and FFR‐0.5 schemes exclude around 25% and 50% of the users  in each cell, respectively, from the common access channel. The proposed scheme, based on calculating the FPAC by using REM  parameters  related  to  the  channel  gains  between  the  3  APs  and  the  3  co‐channel users,  outperforms  both  abovementioned  schemes  and  leads  to  better  utilization  of resources,  excluding  a much  lower  percentage  of  users  (around  13%)  from  the  common channel allocation and  leading  to an optimum  interference‐free  frequency channel  re‐use per user and cell area (see Figure 3‐3). Its drawback is its dependency on the stored context information  that might  have  inaccuracies,  which  will  have  a  negative  impact  on  power allocation calculations and on frequency channel exploitation.  

Figure 3-3: Frequency reuse utilization results

3.1.2.2 Two‐tier Cellular Networks with Full Frequency Reuse  

Scenario and Overview 

The  most  common  deployment  of  Heterogeneous  Networks  are  the  2‐tier  network deployments,  according  to which  the  small  cells  (picocells,  femtocells) will  be  deployed inside buildings in an area already covered by a macrocell. IM is the most critical challenge for a successful such deployment. The worst interference scenarios are when we have close access  femtocells that co‐exist  in the same  frequency bands as the macro‐cell network.  In Figure  3‐4  the  common  types  of  interference  are  depicted.  This  requires  the  design  of sophisticated  interference management  techniques,  exploiting  relevant  environment  and context  information,  such  as  propagation  characteristics  in  both  macro  and  femto environments. 

Page 21: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 21/42

M2F: Interference from macro to femtocellF2F: Interference from femto to femtocellF2M: Interference from femto to macrocell

Interference

Transmission

F2F

M2F

M2F

F2M

Macro user with poor reception

Macro user with high

transmission power

1

Close femtocells to the macro BS

Figure 3-4: Type of interference in two-tier networks

One of  the most challenging  interference  scenarios  in  femtocell networks  is  the downlink interference from the Femtocell AP (FAP) to the Mobile User Equipment (MUE) in the case of shared spectrum and closed access femtocells (Figure 3‐5). One approach to mitigate this type  of  interference  is  to  apply  on  the  FAP  a  power  control mechanism  based  on  the detection of ‘victim’ UEs in the area. 

Figure 3-5: Two-tier cellular network downlink interference to MUE

Page 22: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 22/42

Theoretical Approach and assessment 

In  [56]  a  FAP  power  control  algorithm  was  proposed  in  order  to  reduce  this  type  of interference. The objective is to provide protection to a “victim” MUE against FAP downlink interference while maintaining acceptable FAP performance. The algorithm was proposed for LTE femtocells and is summarized below: 

The  FAP  (Home  e‐NodeB  (HeNB)  in  [56]) measures  the Reference  Signal Received Power (RSRP) and the SINR from the MBS and neighbouring FAPs. 

Upon the detection of a neighbouring victim MUE, the FAP reduces its transmission power aiming  to maintain a predefined SINR  target  for  the MUE. The algorithm  in the FAP assumes that the FAP and the MUE measure the same RSRP from the MBS and that the path loss distance between them has always a specific value (80dB).   

In case the target cannot be achieved, the FAP transmits at a predefined minimum power level.  

In  order  to  highlight  the  potential  gain  of  using  rich  context  information  in  a  two‐tier network deployment, this algorithm was modified  in  [57] by taking  into consideration rich context  information  for  the  deployment  area.  The  context  information was  used  for  the accurate  calculation  of  the  FAP  transmit  power  and  it was  compared with  the  baseline algorithm of [56]. The accuracy and the level of the available context information depend on the deployment scenario. The fast fading term is highly dynamic and cannot be used from a pragmatic algorithm since  it will be outdated.  In  [57] complete knowledge of the network component locations, the path loss and shadowing terms was assumed. While the location of MBS  is known  in advance,  the FAP  location needs  to be estimated  since  the user may place the FAP randomly  inside the house. The victim MUE position relative to the FAP and the building also has to be estimated. The path loss term for the calculation of the channel gains between the network elements is also assumed to be stored for a specific area based on  long  term  operator measurements.  A  sensor  network  can  be  used  to  estimate  the shadowing term, but this is not an easy task and it may result in inaccurate estimates.  

In [57] it was shown that context‐aware power control offers better protection to the MUE than  the  baseline  power  control  of  [56].  The  performance  metric  was  the  outage experienced by the “victim” MUE when  it cannot meet  its SINR target because of the FAP interference.  As  the  femtocell  is  deployed  closer  to  the  cell  edge,  the  gain  in  the MUE outage was  reduced. This  is expected  since  the provision  for a minimum FAP Transmitter (Tx) power  level has a bigger effect in the SINR calculation when the MBS signal  is weaker. Also as expected, the outage increases as the MUE SINR target increases.  

3.1.2.3 Channel allocation in two‐tier networks 

Scenario and Overview 

The scenario that is considered here is the same with the one described in Section 4.1.1.3 of D12.1  [1]  "Coordinated  and  opportunistic  channel  access  in  LTE  systems"  (Reference scenario  1  –  Cellular  networks with  cognitive  capabilities  (e.g.  femtocells),  Case  Study  3: Interference management  and  scheduling  for  femtocells).  It  consists  of  a Heterogeneous Network (HetNet) with macrocells and femtocells that share a pool of N sub‐channels in an OFDMA‐based  LTE  system.  The  sub‐channels  are  split  between  the  macrocells  using  a frequency  reuse of 1/3. The  femtocells are assumed  to use  the  sub‐channels of  the non‐covering cells as in [58] to increase spectrum efficiency (See Figure 3‐6). 

Page 23: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 23/42

Figure 3-6: Sub-channel allocation to femtocells and macrocells [58].

Since femtocell traffic is very dynamic, in general, dynamic sub‐channel allocation between macrocells and femtocells will not be able to cope with the traffic changes due to the slow connection  between  femtocells  and  the  backbone,  which  is  usually  through  land connection.  Therefore,  we  proposed  in  D12.1  [1]  an  opportunistic  sub‐channel  access technique  that allows  the  femtocell  to access  to  the unused sub‐channels of  the covering cell when more sub‐channels are needed by that femtocell to server  its users.  In addition, the technique allows the femtocells of the same building to share their allocation in order to avoid  interference  between  femtocells  that  are  very  close.  Therefore,  we  assumed  the existence of a building‐REM (building Radio Environment Map) that contain the information about the  location of the femtocells and their  instantaneous sub‐channel allocation. Based on the REM information, the femtocells that are very close will use different sub‐channels. 

Theoretical Approach and assessment 

In D12.1 [1] we studied the performance of this approach using a Monte‐Carlo simulator. In this section, we show how such approach can be implemented in real system and evaluate its  performance  using  a  dynamic  simulator. We  assume  an  LTE  downlink  system  using Frequency Duplex Division  (FDD) with a sub‐frame of 1 ms where N = 14 OFDMA symbols can be transmitted. 

In  order  to  implement  the  algorithm  in  real  system,  the  sub‐channel  allocation  of  the covering macrocell  should be determined by  the  femtocells.  This  can be done using  two approaches: 

By sensing the first n OFDMA symbols of the first slot (i.e. 0.5 ms) of a sub‐frame. In this approach we consider that n = 3. 

Page 24: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 24/42

By decoding  the  control  channel Physical Downlink Control CHannel  (PDCCH)  that contains the Downlink Control Information (DCI). By decoding the latter, a node can assess  the  allocation  of  the  sub‐channels  to  the  users.  In  order  to  decode  it,  the femtocell  should  know  the  Radio  Network  Temporary  Identifier  (RNTI)  of  the macrocell users. This is possible since the dynamics of such information is slow, and therefore can be stored and updated in the building REM.  

Since  the  two  slots  of  a  sub‐frame  have  the  same  sub‐channel  allocation,  knowing  the allocation during the first n OFDMA symbols will allow the femtocell to know the allocation during the following N ‐ n OFDMA symbols. In order to enable the femto base station, or the HeNB  in  the 3GPP  terminology,  to determine  the Macro Base  Station  (MBS)  sub‐channel allocation, the approach requires that the HeNB frame  is shifted by the duration n OFDMA symbols. In addition the HeNB will be only able to transmit during the first slot of the sub‐frame  in  the  sub‐channels accessed opportunistically. By considering  the OFDMA  symbols used  for control channels  in the two time slots, the average ratio between the number of OFDMA  symbols  that  can  be  used  to  transmit  data  in  the  first  slot  of  an  opportunistic channel to the one transmitted during a slot of a normal sub‐channel is 0.97. 

We have evaluated the performance of the proposed approach using the same environment in D12.1 [1] for different configurations. The system consists of 7 tri‐sectorized macrocells. In  each macrocell,  one  block  of  two  strips  of  building  is  considered. We  assume  a  fixed femtocell deployment ratio of 0.8 inside the building. The macro users are considered to be voice users, white the femtocell may have voice and data users. The characteristics of voice and  data  users  are  summarized  in  Table  3‐2  and  Table  3‐3  [59].  The macro  users  are uniformly distributed between the 21 macro sectors. The average load in a sector is L and is different  for  different  configurations.  The  femto  users  are  also  uniformly  distributed between the femtocells that have an activation ratio a that depends on the configuration. The number of voice users in an active femtocell is in average 1. The number of data users d depends on the configuration. The mapping between throughput and the SINR is taken from Annex  A  of  [60].  The  transmit  power  of  the MBS  and  the  HeNB  are  20 Watts  and  100 mWatts,  respectively.  The  number  of  Physical  Resource  Blocks  (PRBs)  allocated  to  each femtocell is 6 PRBs, in addition to a maximum of 3 opportunistic PRBs if possible. The load of a cell is the ratio between the number of users and the allocated PRBs. 

Parameter  Encoder frame length 

Voice activity factor 

Transition probability 

Packet payload 

Assigned PRBs 

Satisfaction condition 

Value  20 ms  50 %  0.01  40 bytes 1  98%  of  packets experience a delay less than 50 ms 

Table 3-2: Voice traffic parameters

Parameter  File size  Reading time 

Value  Truncated log‐normal distribution 

(mean, variance) = (2, 0.52) Mbytes 

Maximum size = 5 Mbytes 

Exponential distribution 

Mean = 180 seconds 

Table 3-3: Data traffic parameters

Page 25: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 25/42

Each  configuration  is  simulated  for 4 minutes. The average data  rate provided  for a data user in the central cell when the macro cell load is 0.8 are depicted in Figure 3‐7, Figure 3‐8, Figure 3‐9 and Figure 3‐10. This is the worst case for the proposed algorithm since most of the macro  sub‐channels will be allocated. Although  it  is a worst  case,  these  figures  show that the data rate provided to a user when the proposed approach  is used  is much higher than  the  one  provided  by  the  approach  without  opportunistic  access,  denoted  here traditional access. The  increase of the average data rate ranges between 22.2 % and 24 % depending on the number of data users and the activation ratio. It should be noted that for lower macrocell loads, the increase in data rate is more significant. In addition, for this case the number of unsatisfied voice users is very close for the two approaches.  

0.5 1 1.5 2 2.5 3 3.50

0.1

0.2

0.3

0.4

0.5

0.6

0.7

Data rate (Mbps)

Pro

ba

bili

ty

Tradional AccessOpportunistic Access

Figure 3-7: Data rate for l = 0.8, a = 0.3, and d = 1.

Page 26: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 26/42

0.5 1 1.5 2 2.5 3 3.50

0.02

0.04

0.06

0.08

0.1

0.12

0.14

0.16

0.18

Data rate (Mbps)

Pro

ba

bili

ty

Tradional AccessOpportunistic Access

Figure 3-8: Data rate for l = 0.8, a = 0.6, and d = 1.

0.5 1 1.5 2 2.5 3 3.50

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

Data rate (Mbps)

Pro

ba

bili

ty

Tradional AccessOpportunistic Access

Figure 3-9: Data rate for l = 0.8, a = 0.3, and d = 3.

Page 27: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 27/42

0.5 1 1.5 2 2.5 3 3.50

0.02

0.04

0.06

0.08

0.1

0.12

0.14

0.16

0.18

Data rate (Mbps)

Pro

ba

bili

ty

Tradional AccessOpportunistic Access

Figure 3-10: Data rate for l = 0.8, a = 0.6, and d = 3

3.1.3 Energy‐aware spectrum sharing with femtocells 

Scenario and Overview 

In  this  work,  we  consider  Orthogonal  Frequency  Division Multiplexing  Access  (OFDMA) based femtocells, distributed in indoor deployment and overlaid to the existing macrocell by spectrum sharing. For given sub–channels available at the femtocells, we propose a method for  joint energy and spectrum resource  (i.e., sub–channels) utilization  in  the  indoor dense femtocell  networks.  This  aims  not  only  for  the  co–existence  with  the  conventional macrocell, but also  for an energy–aware  implementation of multi–femtocells deployment. To this end, aggregate energy usage among femtocells is designed. Particularly, we provide methods of  (i) mathematically  formulating  the aggregate amount of  the energy usage by taking  into  account  the  cost  of  both  the  sub–channels  at  the  femtocells  and  individual femtocell energy usage for the channel feedbacks and the data transmissions, (ii) finding the maximum amount of the energy usage per  femtocell based on the aggregate  interference (by the nearby femtocells) at the incumbent macrocell receiver, and (iii) balancing the cost of two energy usages by varying the number of active sub–channels per femtocell and their power  level  in  a  distributed manner.  This  is  to  improve  the  system  performance  while guaranteeing the interference rise at the incumbent receiver.  

Theoretical Approach 

Consider that there are L femtocells, each of which serves  lN  Femtocell User Equipments 

(FUE) in a radius r and, for the downlink, L femtocells cognitively access the radio spectrum, licensed  to  the  underlaid macrocell  network.  L  femtocells  are  randomly  distributed  in  a 

Page 28: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 28/42

small area (e.g., enterprise environment) on the coverage of the macrocell network and co–channel  deployment  of  the  femtocells  causes  interference  rise  at  macrocell  User Equipments  (UEs)  located  near  at  the  femtocells.  Let  each  femtocell  coordinate  to  each other  and  orthogonally  operate  over  the  available  incumbent  channels  in  the  frequency domain while avoiding the co–tier interference among neighbouring femtocells.

For  the downlink of each  femtocell, we employ OFDM  (e.g., 3GPP’s  LTE). Particularly,  let each FUE  in femtocell  l be allocated to  n  sub–channels (or, equivalently, sub–carriers) for given m  incumbent  radio  channels,  where  it  is  assumed  that m  channels  are  originally licensed to a macrocell UE near the femtocells and for the simple analysis and without loss 

of the generality, the value of m is given such that  l lNmn /  is an integer hereafter. 

For given m inactive channels as well as the threshold of aggregate interference rise at the incumbent receiver  from L  femtocells, we propose a method to  jointly allocate the power and the spectrum resources to coordinated femtocells. For corresponding decision‐making and management of the spectrum, we consider following decision problems:  

How to share the m inactive primary channels among femtocells: In this problem, we equivalently focus on the issue that how much spectrum per FUE would be assigned out of m inactive primary channels. In this problem, the worst‐case interference will be considered such that the minimum impact toward the incumbent is guaranteed. 

In  the meantime,  how  to  increase  the  system  rate  of  femtocells.  On  every  data transmission, we are aware of the energy usage at two subsequent planes  inherent in  the  networked  femtocells:  (i)  the  channel  feedbacks,  and  (ii)  the  data transmission.  In  the  channel  feedbacks  plane,  firstly,  exchange  of  channel  state information  between  FAPs  and  FUEs  happens.  In  particular,  for  given  n   sub–channels per FUE, the FAP l randomly activates only a subset of n (≤ n ) sub–channels per  FUE  according  to  the  Uniform  distribution  at  every  time  slot.  Then,  among 

lN FUEs at  femtocell  l,  lN n sub–channels  result  in active  for scheduling  in a given 

time  slot.  Only  on  such  lN n  sub–channels  randomly  activated,  therefore,  the 

exchange of channel feedback information occurs for the purpose of radio resource 

scheduling.  Secondly,  for  given  such  lN n  active  sub–channels,  each  femtocell 

employs  the  opportunistic  radio  resource  scheduling  scheme.  That  is,  in  the  data plane, only the best among active sub–channels is motivated to allocate for the data transmission at femtocell l for all I at each time slot. 

The main idea is that when there are less m primary channels inactive, we decide to allocate less number of the Resource Blocks (RBs) to femtocells, followed by the proper selection of the  maximum  power  level  per  RB.  Therefore,  the  resulting  cross‐interference  at  the incumbent  receiver  (i.e., MBS)  is  reduced. Here,  one  RB  is  a  set  of    subcarriers  in  the 

OFDM‐based femtocell. Notice that, as a function of both such power allocation level per RB and the number of RBs, the sum rate of the coordinated femtocells is determined as well.  

Based  on  these,  we  investigate  a  method  that,  for  given  m  primary  channels  and  L coordinated  femtocells,  the  system performance of  femtocells  is enhanced.  In particular, consider  the  case  of  using  the  outage–sensitive  and  the  energy–limited  femtocells application.  In  this  case, we  focus  on maximizing  the  outage  capacity  per  femtocell.  The outage capacity used in this work is referred to as the maximum achievable sum rate R such that the probability that the sum rate per  femtocell  is  less than or equal to the rate  (R)  is 

Page 29: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 29/42

less  than  or  equal  to  a  given  threshold  ϵ  for  ϵ  >  0.  To  this  end, we  account  for  optimal selection  cost  (i.e.,  optimal  number)  of  active  sub–channels  per  FUE  and  their  power allocation levels. 

More details and  the  respective results will be provided  in D12.4 “Description of Decision Making Approaches and Decision Making Engine”. 

3.2 Learning‐based spectrum decision mechanisms 

Accordingly  to  section 3.1,  this  section  summarizes  the proposed  solutions  that belong  in the second category of section 2, i.e. solutions that are based on knowledge for addressing the decision making problem. The reasons of why each approach has been selected reside in the specific analysed scenario and can be found in the respective analysis of the mechanism.  

3.2.1 Knowledge‐based cognitive Radio Resource Management 

Scenario and Overview 

The  solution  proposed  for  the  knowledge‐based  cognitive  Radio  Resource Management (RRM)  is  actually  a  management  platform  attributed  with  cognitive  RRM  capabilities, targeted  to  LTE  compliant network  segments.  The  cognitive  features  in  the management process are introduced and the context acquisition mechanism architecture is presented.  

Theoretical Approach 

Introduction and Scope 

Figure 3‐11 depicts the management functionality developed for enhancing RRM within LTE network segments [61]. 

Context.  It  reflects  the  status of  the elements of  the network  segment, and  the  status of their environment. Each element monitoring procedures provide  the  traffic  requirements, the mobility conditions, the configuration used, and the offered QoS levels. 

Figure 3-11: Introduction and scope of cognitive features in the management process.

Profiles.  It provides  information on  the  capabilities of  the  elements  and  terminals of  the segment, as well as the behaviour, preferences, requirements and constraints of users and applications.  For  users  this  part  designates  the  applications  required,  the  preferred QoS levels and the constraints regarding costs. 

Page 30: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 30/42

Policies. They designate rules and functionality that should be followed in context handling. Sample  rules can  specify allowed QoS  levels per application, allocations of applications  to RATs and assignments of configurations to transceivers. 

Decision. The output is consisted of four main reconfiguration decisions. The first one is the carrier  bandwidth  assignment  for  each  cell.  The  second  is  the  number  of  sub‐carriers assignment  per  user.  The  third  is  the  power  allocation  in  the  used  sub‐carries  used  and finally the fourth is the modulation scheme that should be used for each subcarrier. 

Optimization.  It can be based on  several Dynamic Sub‐carrier Assignment  (DSA), Adaptive Power Allocation  (APA) and Adaptive Modulation  (AM) algorithms  [62],  [63] and machine learning techniques. The target of each one of these utility based algorithms is to maximize a utility  function which reflects  the most efficient configurations, considering  the network environment parameters provided by Context. 

Infrastructure Abstraction. Furthermore, the management infrastructure interfaces with the network  segment  through  infrastructure  abstraction  which  provides  technology independent  information on network parameters.  This  information  is used  for perceiving the context encountered in the network segment. 

Learning. Learning functionalities embedded in the management infrastructure enhance the means for addressing complexity. The management entities are able to learn from the past interactions of  the  system with  the environment, and  identify  situations addressed  in  the past. Thus, known solutions will be provided faster since complex optimization procedures can be skipped. Essentially, management components can find and gradually learn the best spectrum carriers that can be used for addressing certain situations. 

Enhanced  Context  Acquisition  for  Cognitive  Intra‐cell  RRM.  Figure  3‐12  presents  the architecture of the enhanced context acquisition mechanism [61]. 

Figure 3-12: Enhanced context acquisition mechanism architecture for cognitive intra-cell RRM.

Page 31: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 31/42

Reference Context Repository. It contains the information for each context addressed in the past. A registry table is used, in order to “remember” the solution for each context after the optimization procedure. In order to be clear on the difference between an arbitrary context derived  from  the  network  segment,  and  a  context  stored  in  the  repository,  the  term “reference context” is used for the information stored in the repository. 

Context Matching.  The  target  of  this module  is  to  find  the  closest  pattern  for  the  new context. The algorithm that is used is based on the k‐Nearest Neighbour(s) (k‐NN) algorithm [64], [65], [66], and it is going to be presented in the next paragraphs. 

Figure 3‐12 also shows the potential  interactions between the modules.  Interaction one  is the  starting  phase  in  which  the  Context  Acquisition  module  retrieves  all  the  relevant information from the network segment. Through interaction two, the Context Matching and the Optimization modules are triggered. Context matching will use the repository data  for finding  if  there  is a  reference context  that  is close  to  the  current context.  In parallel,  the Optimization module can be triggered to start processing the context, as a “new” situation. 

Through  interaction  three,  the  Context  Matching  module  will  pass  the  control  to  the Reconfiguration Enforcement or to the Optimization modules. The first is selected if a match is  found.  The  second  is  done  if  no  reference  context  is  close  to  the  new  context.  The Reconfiguration  Enforcement  may  also  pass  the  control  to  the  Optimization  module, through  interaction  four,  in  case  the  solution proposed by  the Context Matching module cannot  be  applied.  Through  interaction  five,  the  Optimization  module  will  ask  the Reconfiguration  Enforcement module  to  apply  the  derived  configuration  to  the  network segment. Moreover,  through  interaction  six,  the  context and  the  solution are  sent  to  the repository,  in order  to ensure  that  if  the same context derives again,  the solution may be retrieved directly. In this way the management infrastructure has the ability to “learn” and apply “known” solutions reducing the time needed for context handling. 

3.2.2 Radio Resource Management based on Dynamic Sub‐carrier Assignment (DSA), Context, Profiles and Policies 

Scenario and Overview 

In an Orthogonal Frequency Division Multiplexing Access based (OFDMA‐based) system, the available spectrum  is divided  into multiple narrowband,  interference‐free sub‐carriers. The target  of DSA  algorithms  is  then  to  find  the most  appropriate  assignment  of  those  sub‐carriers to the users by taking into account their channel state information and resulting in an  efficient multiple  access  schemes  that  increases  the  system  performance  as much  as possible. As it is depicted in Figure 3‐13, multiple sub‐carriers are allowed to be assigned to a single user. The number of sub‐carriers needed to be assigned to a user may depend on several  parameters  like  user  location,  requested  service,  user  profile  and  Network Operator's (NO’s) policies. Moreover, information on the channel state, as seen by a specific user  on  each  sub‐carrier  is  also  considered  in  order  to  select  the  most  appropriate modulation scheme in an adaptive manner. 

Theoretical Approach 

Future wireless communication systems cannot guarantee lower cost and better QoS levels to  the users without proper network management  functionalities  targeted  to  that  scope. Furthermore,  management  functionalities  except  for  technological  constraints  and capabilities  should also  take  into account NO’s policies and  strategies  in order  to provide 

Page 32: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 32/42

optimized network decisions, while respecting operator’s business visions. Considering the above,  it  is  quite  easy  to  understand  why  this  is  a  complex  task  that  introduces  time‐consuming procedures. However, when a problem is addressed to the service area, it should be solved the fastest possible  in order to keep network Key Performance  Indicators (KPIs), such as QoS, QoE and delay (more details will be provided in D12.4 “Description of Decision Making Approaches and Decision Making Engine”),  in acceptable  levels and keep the users satisfied for the services they experience. Thus, fast network adaptation to the environment changes should be characterized from faster and less complex procedures. The introduction of an efficient RRM scheme based on DSA algorithms tries to achieve this target. 

Figure 3‐13 depicts an overview of the RRM scheme for wireless OFDMA network segments, which  is  similar  to  the  scheme  described  in  Section  3.2.1  and  Figure  3‐12.  As  it  can  be shown, it is fed with input from modules which are classified as context acquisition, profiles management  and  policies  derivation,  respectively,  and  produces  output  by  applying  an optimization  process  [67].  The  RRM  scheme  is  interfacing  with  the  wireless  network segments. The latter provide information, expressed in a high level manner and are used by the  management  framework  for  perceiving  the  context  encountered  in  the  network segment. Another interface is needed to enforce the implementation of the actions dictated by  the  RRM  scheme.  The  input  as  well  as  the  optimization  process  and  corresponding decision will be described in the following paragraphs.  

Figure 3-13: Radio resource management scheme overview

Context  acquisition.  This  component  collects  the  status  of  the  elements  of  the  network segment,  the  status of  their environment as well as user  terminals  [68],  [69]. Essentially, 

Page 33: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 33/42

each element may use monitoring and discovery  (sensing) procedures  [70], which  can be sensing based [71][72], and/or pilot channel based [73]. Monitoring procedures provide, for each  network  element  of  the  segment  and  for  a  specific  time  period,  the  traffic requirements,  the  mobility  conditions,  the  current  configuration  in  terms  operating parameters  (e.g.,  spectrum  assignment,  power  level,  etc.)  and  the  QoS  levels  offered. Furthermore,  it  includes procedures  for  capturing  the  channel  state  information which  is reflected by the estimation of the mean SNR value for each sub‐carrier. Context information will be used from the system not only for the estimation of KPIs but also to address possible problems and trigger the optimization procedure whenever it is necessary. 

Profiles  management.  This  component  provides  information  on  the  capabilities  of  the elements  and  terminals  of  the  segment,  as  well  as  the  behaviour,  preferences, requirements, and constraints of users and applications. Essentially, this part designates the configurations on the operating parameters that will be checked for network elements and terminals. For users, this part designates the applications required, the preferred QoS levels, and  the constraints  regarding costs. This  information  is necessary during  the optimization procedure in order to decide the most appropriate sub‐carrier assignment considering also current context information. 

Policies derivation. The optimized decisions of  the management  functionalities  should not only  be  feasible  from  technological  perspective  but  also  have  to  be  aligned  with  NO’s policies  and  strategies.  Policies  designate  rules  that  should  be  followed  during  context handling.  Sample  rules  can  specify  allowed  (or  suggested)  QoS  levels  per  service  and assignments of spectrum to transceivers. 

Optimization. The target of the optimization process is to exploit all the available radio and network  resources  in  order  to  achieve  high  bit  rates  providing  users with  the maximum possible  QoS  level.  Part  of  the  optimization  procedure  of  the  RRM  scheme  is  the  DSA technique which  is expressed by the corresponding DSA algorithms. DSA algorithms  try  to find  the  best  possible  sub‐carriers  assignment  in  order  to  serve  users  with  the  highest possible QoS level. However, an efficient RRM scheme will try to exploit also all the available management information in order to guarantee acceptable QoS levels to the users as well as to  introduce  fairness.  In order  for the aforementioned characteristics to be reflected  from the sub‐carriers assignment decisions, the additional input of Context, Profiles, and Policies (CPP) from the RRM scheme should be considered. 

Figure 3-14: Efficient RRM scheme incorporating DSA algorithms

Page 34: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 34/42

Figure  3‐14  depicts  how  the  DSA  algorithm  is  encompassed  inside  the  RRM  scheme. Assuming that we have several users in our service area, where each one of them is allowed to  request  multiple  services  in  parallel  called  sessions,  context  acquisition  will  be responsible to provide the traffic and network conditions  in terms of the number of active sessions, the requested service  for each session, the available sub‐carriers as well as their channel information in terms of their mean SNR values. The profiles management entity will be  responsible  to  provide  the  user  preferences  in  terms  of  the QoS  level  that must  be achieved according to the requested service, based on what the users are willing to pay. The impact of  this  information  to  the DSA algorithms decision will be  twofold. First,  the RRM scheme will be capable to guarantee that the users will be served with the QoS  level that they prefer. Second, fairness will be introduced, since in cases where unassigned subcarriers are available, they will be used only for sessions that are still below their preferred QoS level and will not be equally distributed among the sessions regardless of whether their preferred QoS  level  is  achieved  or  not.  Finally,  the  input  from  policies  derivation  entity  will  be considered  as  being  complementary  to  the  above.  The  NO’s  policies  can  specify,  for example,  the  thresholds  for  the  minimum  and  maximum  allowed  QoS  levels  for  each offered  service.  Thus,  it  will  be  guaranteed  that  all  sessions  will  be  served  with  an acceptable QoS  level  for each  service and also  that  the  system will be  capable of  serving new potential sessions. 

Behaviour  configuration.  In  general, decisions  are  targeted at producing  feasible network configurations in terms of (1) sub‐carriers assignment to users’ sessions and (2) modulation rate  assignment  for  each  sub‐carrier  based  on  its  mean  SNR  value.  Thus,  the  decision basically  affects  the  application  layer  since  its  target  is  to  guarantee  fair  QoS  levels assignment as well as  lower medium access control/ physical  layers due to changes to the number of assigned  subcarriers and  their modulation  type. Furthermore,  in  cases of high traffic  demand,  the  decision may  impose  efficient  traffic  distribution  to  nearby  cells  by exploiting potentially  free  sub‐carriers. Framed within  the above,  the  role of  this entity  is twofold.  First,  it  is  responsible  to  translate  accordingly  the  optimization  decision  to  the necessary  configuration  actions,  considering  the  network  elements  reconfiguration capabilities.  Thus,  each  network  element’s  capabilities  will  be  fully  exploited  so  as  the corresponding  configuration  actions  to  be  applied with  the minimum  possible  overhead, delay,  and  cost.  Second,  all  the  necessary  information  targeted  for  learning  purposes  in terms  of  currently  addressed  network  and  radio  environment  conditions  as well  as  the corresponding optimum decisions will be provided to Learning functional block  in order to be further analyzed and processed. 

Learning.  Learning  attributes  will  yield  knowledge  and  experience.  Such  attributes may regard  context  acquisition  (capability  to  identify  previously  tackled  situations  and  their suitable solutions) [74], [75], [76], profiles management (certain user classes may require a specific number of sub‐carriers to be served), as well as policy derivation (storage of data on NO policies and exploitation of them  in future situations). Knowledge and experience may help  the  RRM  scheme  to  predict  problems  and  act  proactively  to  solve  them.  The functionalities of this entity will not be further analyzed since  it  is out of the scope of this paper and will be subject of our future work. 

 

Page 35: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 35/42

4. Conclusions This  deliverable  is  the  third  deliverable  of WP12  "Metric  Identification,  Decision Making Algorithms and Solutions", the main aim of which  is to define and  identify the procedures used in the analysis of the context data, to identify potential opportunities and to decide on the  spectrum  allocation. Moreover,  this WP  defines  and  identifies  the  key  elements  of spectrum sharing and decision making to allow  intelligent and efficient choice of spectrum access, based on spectrum access policies and available or unused spectrum. WP12 includes a) definition of a framework for negotiation and decision making based on utility functions, utility  function  policies  and  constraints  and  pre‐classified  context  information,  b) investigation of  required profile definition and evaluation  techniques, c) enhanced service negotiation  and  policy  enforcement  mechanisms  and  d)  efficient  spectrum  allocation solutions. 

Towards this direction, activity 12.5 "Solutions Categorisation" targeted at categorizing and providing  the  proposed  mechanisms  that  will  be  incorporated  in  the  decision  making framework.  This  deliverable  summarizes  the  outcome  of  this  activity  by  presenting  the categorization of  the proposed  solutions and an overview of  them.  In  these  terms, D12.3 has  presented  a)  the  state  of  the  art  of  decision  making  mechanisms,  b)  the  existing categorization of them and c) the approach of the proposed mechanisms that will address decision making issues posed by the scenarios that had been described in D12.1 [1].  

Page 36: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 36/42

5. Glossary and Definitions Acronym  Meaning 

3GPP  3rd Generation Partnership Project 

AM  Adaptive Modulation 

ANN  Artificial Neural Networks 

AP  Access Point 

APA  Adaptive Power Allocation 

BN  Bayesian Network 

BS  Base Station 

CPP  Context, Profiles and Policies 

CR  Cognitive Radio 

CRM  Cognitive Resource Manager 

DCI  Downlink Control Information 

DSA  Dynamic Sub‐carrier Assignment 

FAP  Femtocell Access Point 

FDD  Frequency Duplex Division 

FFR  Full Frequency Reuse 

FPAC  Feasible Power Allocation Criterion 

FUE  Femtocell User Equipments 

GA  Genetic algorithm 

HeNB  Home e‐NodeB 

HetNet  Heterogeneous Network 

IM  Interference Management 

k‐NN  k‐Nearest Neighbour 

KPI  Key Performance Indicator 

LTE  Long Term Evolution 

MAB  Multi‐Armed Bandit 

MBS  Macro Base Station 

MDT  Minimization of Drive‐Tests 

MISO  Multiple‐Input Single‐Output 

MNN  Multilayer Neural Network 

MS  Mobile Station 

MUE  Mobile User Equipment 

NO  Network Operator 

OFDMA  Orthogonal Frequency Division Multiplexing Access 

PDCCH  Physical Downlink Control CHannel 

Page 37: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 37/42

POMDP  Partially Observable Markov Decision Process 

PRB  Physical Resource Block 

PRP  Pre‐emptive Resume Priority 

PU  Primary User 

QoS  Quality of Service 

RA  Resource Allocation 

RB  Resource Block 

REM  Radio Environmental Map 

RL  Reinforcement Learning 

RNTI  Radio Network Temporary Identifier 

RRM  Radio Resource Management 

RSRP  Reference Signal Received Power 

SINR  Signal to Interference‐plus‐Noise Ratio 

SISO  Single‐Input Single‐Output 

SNR  Signal‐to‐Noise Ratio 

SoA  State of the Art 

SU  Secondary User 

Tx  Transmitter 

UCB  Upper Confidence Bound 

UE  User Equipment 

WiMax  Worldwide Interoperability for Microwave Access 

 

 

Page 38: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 38/42

6. References [1] ICT‐ 257626 ACROPOLIS Project, Deliverable D12.1,  “Specification of Preliminary Set of Appropriate 

Metrics,  Utility  Functions  and  Layer  Identification”,  Sept.  2011,  available  at  http://www.ict‐acropolis.eu/images/Deliverables/acropolis_d12_1_final.pdf

[2] ICT‐  257626  ACROPOLIS  Project,  Deliverable  D9.1,  “Spectrum  Sensing”,  Sept.  2011,  available  at http://www.ict‐acropolis.eu/images/Deliverables/acropolis_d9.1_compiled_v1.0.pdf. 

[3] Chung‐Wang Wang, Li‐Chung Wang, “Modeling and Analysis for Proactive‐Decision Spectrum Handoff in  Cognitive  Radio  Networks,”  ICC  '09.  IEEE  International  Conference  on  Communications  2009, Dresden, Germany, 2009. 

[4] Chung‐Wang Wang,  Li‐Chung Wang,  Fumiyuki Adachi  “Modeling  and Analysis  for Reactive‐Decision Spectrum Handoff  in Cognitive Radio Networks,” GLOBECOM  '10.  IEEE  International Conference on Communications 2010, Miami, Florida, USA, 2010 

[5] D.  Hamza,  S.  Aissa,  “Secondary  Access  Based  on  Sensing  and  Primary  ARQ  Feedback  in  Spectrum Sharing  Systems,”  IEEE Wireless  Communication  and  Networking  Conference  2012  (WCNC  2012), Paris, France, 2012. 

[6] Lingcen Wu, Wei Wang,  Zhaoyang  Zhang,  “A  POMDP‐based Optimal  Spectrum  Sensing  and Access Scheme for Cognitive Radio Networks with Hardware Limitation, ” IEEE Wireless Communication and Networking Conference 2012 (WCNC 2012), Paris, France, 2012.  

[7] Li‐Chun Wang et al.,” Load‐Balancing Spectrum Decision for Cognitive Radio Networks,”  IEEE Journal on Selected Areas in Communications, vol. 29, no.4, pp. 757 – 769, 2011. 

[8] Chao Yang et al., “Optimal Wideband Mixed Access Strategy Algorithm in Cognitive Radio Networks,” IEEE Wireless Communication and Networking Conference 2012 (WCNC 2012), Paris, France, 2012. 

[9] I. Malanchini, M. Cesana, and N. Gatti, “On Spectrum Selection Games in Cognitive Radio Networks,” GLOBECOM '09. IEEE International Conference on Communications 2009, Honolulu, Hawaii, December 2009. 

[10] A. Banaei and C. N. Georghiades, “Throughput Analysis of a Randomized Sensing Scheme in Cell‐based Ad‐hoc  Cognitive  Networks,”  ICC  '09.  IEEE  International  Conference  on  Communications  2009, Dresden, Germany, 2009. 

[11] Won‐Yeol  Lee,  I.F.  Akyldiz,  “A  Spectrum  Decision  Framework  for  Cognitive  Radio  Networks,”  IEEE Transactions on Mobile Computing, vol. 10, no. 2, pp. 161‐174, 2011. 

[12] B. Canberk,  I.F. Akyldiz, S. Oktug,  “A QoS‐aware  framework  for available  spectrum  characterization and decision in Cognitive Radio networks,” IEEE 21st International Symposium on Personal Indoor and Mobile Radio Communications (PIMRC 2010), Istambul, Turkey, 2010. 

[13] TW  Rondeau,  D  Maldonado,  D  Scaperoth,  CW  Bostian,  “Cognitive  radio  formulation  and implementation”, in 1st International Conference on Cognitive Radio Oriented Wireless Networks and Communications (CROWNCOM 2006), Mykonos, Greece, 2006. 

[14] W. Jouini, C. Moy, J. Palicot, “Decision making for cognitive radio equipment: analysis of the first 10 years of exploration", EURASIP Journal on Wireless Communications and Networking 2012:26, 2012. 

[15] TW Rondeau, Application of Artiffcial  Intelligence  to Wireless Communications  (PhD  thesis, Virginia Tech, 2006). 

[16] M  Y.  El  Nainay,  D.H.  Friend,  A.B. MacKenzie,  “Channel  Allocation  &  Power  Control  for  Dynamic Spectrum Cognitive Networks using  a  Localized  Island Genetic Algorithm,”  3rd  IEEE  Symposium on New Frontiers in Dynamic Spectrum Access Networks, 2008. DySPAN 2008. Chicago, USA, 2008.  

[17] T. R. Newman, R. Rajbanshi, A. M. Wyglinski, J. B. Evans, and G. J. Minden, “Population adaptation for genetic  algorithm‐based  cognitive  radios,"  International  Conference  on  Cognitive  Radio  Oriented Wireless Networks and Communications (CROWNCOM 2006), Orlando, Florida, Aug. 2007. 

Page 39: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 39/42

[18] P. Mahonen, M. Petrova, J. Riihijarvi, and M. Wellens, “Cognitive wireless networks: Your network just became a teenager (poster)," in IEEE INFOCOM, 2006. 

[19] P.  Di  Lorenzo,  S.  Barbarossa,  “  Bio‐inspired  swarming  models  for  decentralized  radio  access incorporating  random  links and quantized communications,” 2011  IEEE  International Conference on Acoustics, Speech and Signal Processing (ICASSP 2011), Prague, Czech Republic, 2011. 

[20] P. Di  Lorenzo,  S. Barbarossa,  “ Distributed  resource  allocation  in  cognitive  radio  systems based on social foraging swarms,” 2010 IEEE Eleventh International Workshop on Signal Processing Advances in Wireless Communications (SPAWC 2010), Marrakech, Morocco, 2010.  

[21] B. Wang, Y. Wu and K. J. R. Liu, “Game Theory for Cognitive Radio Networks: An Overview,” Elsevier Computer Networks, Vol. 54, No. 14, pp. 2537‐2561, 2010. 

[22] D. Niyato,  E. Hossain,  “A Game‐Theoretic  Approach  to  Competitive  Spectrum  Sharing  in  Cognitive Radio Networks,” IEEE Wireless Communication and Networking Conference 2007 (WCNC 2007), Hong Kong, 2007. 

[23] B.  Jankuloska,    V.  Atanasovski,  L.  Gavrilovska,  “Novel  spectrum  sharing  algorithm  for maximizing supported WiFi‐like  secondary users  in TV white  spaces” 18th European Wireless Conference 2012 European Wireless 2012, Poznan, Poland, 2012. 

[24] E. Meshkova,  J.  Riihijärvi, A. Achtzehn,  P. Mähönen,  “Exploring  Simulated Annealing  and Graphical Models  for  Optimization  in  Cognitive  Wireless  Networks”  GLOBECOM  '09.  IEEE  International Conference on Communications 2009, Honolulu, Hawaii, December 2009. 

[25] N.  Baldo, M.  Zorzi,  “Fuzzy  Logic  for  Cross‐layer  Optimization  in  Cognitive  Radio  Networks”,  IEEE Communications Magazine, Vol. 46, No. 4, pp. 64‐71, 2008. 

[26] G. Quer, H. Meenakshisundaram, B. R. Tamma, B. S. Manoj, R. Rao and M. Zorzi, “Cognitive Network Inference through Bayesian Network Analysis,” in IEEE Globecom, Miami, FL, US, Dec. 2010. 

[27] J. Qi, S. Zhang, L. Cao, Y. Sun and L. Tan, “Cognitive Networks Autonomic Decision‐making Approach Based on Influence Diagram,”  Journal of Networks, Vol.7, No. 5: 876‐883 (2012) 

[28] H. Li, Robert C. Qiu, “A Graphical Framework for Spectrum Modeling and Decision Making in Cognitive Radio Networks,” in GLOBECOM 2010: 1‐6. 

[29] C. Wu, K. R. Chowdhury, M. Di Felice and W. Meleis, “ Spectrum management of cognitive radio using multi‐agent reinforcement learning,” in  AAMAS 2010: 1705‐1712 

[30] M.Di Felice, K. R. Chowdhury, C. Wu, L. Bononi and W. Meleis, “ Learning‐Based Spectrum Selection in Cognitive Radio Ad Hoc Networks,” in WWIC 2010: 133‐145. 

[31] Yau, K.‐L.A., Komisarczuk, P., Teal, P.D.: A Context‐aware and  Intelligent Dynamic Channel Selection Scheme for Cognitive Radio Networks. In: Proc. Of CROWNCOM’09, Hannover (2009) 

[32] Jiang, T., Grace, D.,  Liu, Y.: Performance of Cognitive Radio Reinforcement  Spectrum  Sharing Using Different Weighting Factors. In: Proc. of CHINACOM’08, Hangzhou, pp. 1195–1199 (2008) 

[33] Jouini W, Bollenbach R, Guillet M, Moy C, Nafkha A, “Reinforcement learning application scenario for Opportunistic Spectrum Access”, 54th  IEEE  International Midwest Symposium on Circuits & Systems (MWSCAS 2011), August 7‐10 2011, Seoul, South Korea 

[34] W. Jouini, M. Di Felice, L. Bononi and C. Moy, “Collaboration and Coordination in Secondary Networks for Opportunistic Spectrum Access,” in CoRR abs/1204.3005: (2012) 

[35] W.  Jouini,  D.  Ernst,  C. Moy,  J.  Palicot,  "Multi‐Armed  Bandit  Based  Policies  for  Cognitive  Radio’s Decision  Making  Issues,"  in  3rd  conference  on  Signal  Circuits  and  Systems,  Jerba,  Tunisia,  6‐8 November 2009  

[36] W. Jouini, D. Ernst, C. Moy, and J. Palicot. Upper confidence bound based decision making strategies and  dynamic  spectrum  access.  Proceedings  of  the  2010  IEEE  International  Conference  on Communications (ICC), May 2010 

Page 40: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 40/42

[37] D. Jouini, C. Moy, and J. Palicot. Upper confidence bound algorithm for opportunistic spectrum access with sensing errors. Proceedings of the 6th International ICST Conference on Cognitive Radio Oriented Wireless Networks, (CrownCom 2011), June 2011. 

[38] K  Liu,  Q  Zhao,  B  Krishnamachari,  Distributed  learning  under  imperfect  sensing  in  cognitive  radio networks. ASILOMAR (Asilomar Conference Grounds Pacific Grove, CA, USA, 2010), pp. 671–675 

[39] K Liu, Q Zhao, Distributed  learning  in cognitive  radio networks: Multi‐armed bandit with distributed multiple players. Proc of ICASSP (San Diego, 2010), pp. 1–10 

[40] W. Jouini, C. Moy and J.Palicot, “Decision making for cognitive radio equipment: analysis of the first 10 years of exploration,” in EURASIP Journal on Wireless Communications and Networking 2012, 2012:26 

[41] R. Ruslan and T. C. Wan “Learning Ability in Cognitive Radio,” in NEtApps 2008, 2008 

[42] Z. Zhang, G. Univ and G. X. Xie, “Intelligent cognitive radio: Research on learning and evaluation of CR based  on  Neural  Network,”  in  5th  International  Conference  on  Information  and  Communications Technology (ICICT 2007), 2007   

[43] Z.  Zhang  and  X.  Xie,  “Application  research  of  evolution  in  cognitive  radio  based  on GA,”  3rd  IEEE Conference on Industrial Electronics  and Applications (ICIEA 2008), 2008. 

[44] N.Baldo and M. Zorzi, “Learning and Adaptation  in Cognitive Radios Using Neural Networks,”.in 5th  IEEE  Consumer  Communications and Networking Conference (CCNC 2008), 2008 

[45] ICT‐ 257626 ACROPOLIS Project, Deliverable D4.1 “Report on Global Trends and Major Developments Roadmap”,  March  2012,  available  at  http://www.ict‐acropolis.eu/images/Deliverables/acropolis_d4_1.pdf 

[46] J.  Lv,  R.  Blasco‐Serrano,  E.  Jorswieck,  R.  Thobaben,  and  A.  Kliks,  “Optimal  Beamforming  in MISO Cognitive  Channels  with  Degraded  Message  Sets,”  in  Proc.  IEEE  Wireless  Communications  and Networking Conference 2012 (WCNC 2012), Paris, France, April 2012. 

[47] R. Blasco‐Serrano, J. Lv, R. Thobaben, E. Jorswieck, A. Kliks, and M. Skoglund, “Comparison of Underlay and  Overlay  Spectrum  Sharing  Strategies  in MISO  Cognitive  Channels,”  in  Proc.  7th  International Conference  on  Cognitive  Radio Oriented Wireless Networks  2012  (CROWNCOM  2012),  Stockholm, Sweden, June 2012. 

[48] J. Lv, R. Blasco‐Serrano, E. Jorswieck, and R. Thobaben, “Linear Precoding in MISO Cognitive Channels with Causal Primary Message,”  In Proc. Ninth  International Symposium on Wireless Communication Systems 2012 (ISWCS 2012), Paris, France, Aug. 2012.  

[49] J. Lv and E. Jorswieck, “Spatial shaping in cognitive system with coded legacy transmission,” in Proc. of International ITG Workshop on Smart Antennas (WSA), Feb. 2011. 

[50] ICT‐  257626  ACROPOLIS  Project,  Deliverable  D8.2,  “Machine  Learning  and  Information  Theoretic Techniques for Cognitive Radio and Networks”, Sept. 2011  

[51] ICT‐ 257626 ACROPOLIS Project, Deliverable D13.1, “Adaptive and robust signal processing algorithms for  directive  mapping  in  interference  networks”,  March  2012,  available  at  http://www.ict‐acropolis.eu/images/Deliverables/acropolis_d13_1.pdf 

[52] M.  Andrews,  V.  Capdevielle,  A.  Feki,  and  P. Gupta.  “Autonomous  spectrum  sharing  for mixed  LTE femto and macro cells deployments”, in Proc. of INFOCOM WiP, 2010.

[53] A.K. Dey. Architectural Support for Building Context‐Aware Applications. PhD thesis, Georgia Institute of Technology, December 2000.

[54] N.  Dimitriou,  “Network  Planning  &  Resource  Management  Issues  for  Mobile  Multimedia  CDMA Systems”, VTC 2004‐Spring, 2004.

[55] J.  Jackson,  J.Roy, V. Vaidehi, “Analysis of Frequency Reuse and Throughput Enhancement  in WiMAX Systems”, Wireless Personal Communications, Springer Netherlands, April 2010.

[56] www.femtofotum.org: “Interference Management in OFDMA Femtocells”, white paper, March 2010

Page 41: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 41/42

[57] A. Zalonis, N. Dimitriou, A. Polydoros, J, Nasreddine, P. Mähönen, “Femtocell Downlink Power Control based on Radio Environment Maps”, accepted  in IEEE WCNC 2012, Paris, France, April 2012.

[58] T. Kim, T. Lee, “Throughput enhancement of macro and femto networks by frequency reuse and pilot sensing,”  in  IEEE  International  Performance,  Computering  and  Communications  Conference,  Dec. 2008. 

[59] F. Khan, LTE for 4G Mobile Broadband: Air Interface Technologies and Performance. Cambridge, U.K.: Cambridge University Press, 2009. 

[60] 3GPP TR 36.942 V10.2.0, " Evolved Universal Terrestrial Radio Access (E‐UTRA); Radio Frequency (RF) system scenarios," Dec. 2010. 

[61] Aggelos  Saatsakis, George Dimitrakopoulos, Panagiotis Demestichas,  “Enhanced Context Acquisition Mechanisms  for Achieving  Self‐Managed Congnitive Wireless Network  Segments”, Proc.  ICT‐Mobile Summit Conference, 2008. 

[62] Ian  C. Wong,  Zukang  Shen,  Brian  L.  Evans,  Jeffrey  G.  Andrews,  “A  Low  Complexity  Algorithm  for Proportional Resource Allocation  in OFDMA Systems”,  IEEE Workshop on Signal Processing Systems, 2004. 

[63] G.  Song  and  Y.  (G.)  Li,  “Cross‐layer  optimization  for  OFDM  wireless  networks—Part  II:  Algorithm development,” IEEE Trans. Wireless Commun., vol. 4, no. 2, pp. 625‐634, Mar. 2005. 

[64] Y. Zhan, H. Chen, G.‐C. Zhang,“An optimization algorithm of K‐NN classification”, in Proc. International Conference on Machine Learning and Cybernetics, 2006, pp. 2246‐2251. 

[65] H. Samet, “K‐Nearest Neighbor Finding Using MaxNearestDist”, IEEE Transactions on Pattern analysis and Machine Intelligence, pp. 243‐252, 2008. 

[66] X.‐G.  YU,  X.‐P.  YU,  “The  research  on  an  adaptive  K‐NN  classifier”,  in  Proc.  Fifth  International Conference on Machine Learning and Cybernetics, 2006. 

[67] Dimitrakopoulos  G,  Demestichas  P,  Saatsakis  A,  Tsagkaris  K,  Galani  A,  Gebert  J,  Nolte  K  (2009) Functional architecture  for  the management and  control of  reconfigurable  radio  systems. Vehicular Technology Magazine, IEEE 4(no.1):42–48 

[68] Van Sinderen MJ, Van Halteren AT, Wegdam M, Meeuwissen HB, Henk Eertink E  (2006) Supporting context‐aware mobile applications. IEEE Communications Mag 44(No. 9):96–104 

[69] Bellavista P, Corradi A, Montanari R, Tononelli A  (2006) Context–aware  semantic discovery  for next generation mobile systems. IEEE Communications Mag 44(No. 9):62–71 

[70] Tsagkaris K, Katidiotis A, Demestichas P (2008) Neural network based  learning schemes for cognitive radio systems. Comput Commun 31(14):3394–3404 

[71] Liu  X,  Shankar  NS  (2006)  Sensing‐based  opportunistic  channel  access.  Mobile  Networks  and Applications Journal 11(No. 4):577–591 

[72] Kim  H,  Shin  KG  (2008)  Efficient  discovery  of  spectrum  opportunities  with  MAC‐layer  sensing  in cognitive radio networks. IEEE Trans on Mobile Computing 7(No. 5):533–545 

[73] Perez‐Romero  J,  Sallent O, Agusti R, Giupponi  L  (2007) A novel on‐demand  cognitive pilot  channel enabling  dynamic  spectrum  allocation.  In  Proc.  2nd  International  Symposium  on New  Frontiers  in Dynamic Spectrum Access Networks 2007 (DySPAN 2007). Dublin, Ireland 

[74] Saatsakis A, Dimitrakopoulos G, Demestichas P  (2008) Enhanced context acquisition mechanisms for achieving self‐managed congnitive wireless network segments. Proc.  ICT‐Mobile Summit Conference, Stockholm, Sweden 

[75] Saatsakis A, Demestichas P (2009) Context matching for realizing cognitive wireless network segments. Wireless Personal Communications Journal, Springer. doi:10.1007/s11277‐009‐9807‐z 

Page 42: ICT- 257626 ACROPOLIS Date: 28/09/2012 - CORDIS · ICT- 257626 ACROPOLIS Date: 28/09/2012 ICT-ACROPOLIS Deliverable D12.3 2/42 Deliverable D12.1 [1] presented, among others, 10 case

ICT- 257626 ACROPOLIS Date: 28/09/2012

ICT-ACROPOLIS Deliverable D12.3 42/42

[76] Saatsakis A, Tsagkaris K, von‐Hugo D, Siebert M, Rosenberger M, Demestichas P (2008) Cognitive radio resource management  for  improving  the  efficiency  of  LTE  network  segments  in  the wireless  B3G world. DySPAN 2008 Conference, Chicago