format: text

text:
# Orbital ordering and frustrations

## I Introduction

Many transition metal (TM) compounds show an orbital ordering KugelKhomskii ; TokuraNagaosa ; vdBrinkKhaliullinKhomskii . Typical examples are TM oxides with so-called strong Jahn-Teller (JT) ions, e.g. Cu2+(d9), Mn3+(d4), low-spin Ni3+(d7) etc, which in the cubic crystal field of a regular oxygen octahedron have one electron or one hole on the doubly degenerate $`e_g`$ level. According to the well-known Jahn-Teller theorem, such states are inherently unstable, and at low temperatures a distortion of the local coordination lifts this orbital degeneracy. In concentrated systems it leads to a phase transition - the so-called cooperative Jahn-Teller effect or orbital ordering KugelKhomskii . An orbital ordering is also observed in materials with partially filled three-fold degenerate $`t_{2g}`$-levels of TM ions, e.g. Ti3+($`d^1`$) or V3+($`d^2`$). Some of these materials have very unusual properties Ren ; Keimer ; KhaliullinMaekawa . However, the JT effect for $`t_{2g}`$-electrons is usually weaker than for $`e_g`$-electrons and can be strongly affected by the spin-orbital interaction $`\lambda 𝐋𝐒`$, which for $`e_g`$-electrons is essentially quenched. This complicates the discussion of orbital ordering in $`t_{2g}`$-systems and in this paper we concentrate on materials with $`e_g`$ electrons, though many of our conclusions can be applied to $`t_{2g}`$-systems too.

An orbital ordering can be described similarly to a magnetic (spin) ordering. In the case of one electron or hole on a doubly-degenerate orbital, one can describe the orbital occupation introducing a pseudospin (or isospin) $`T=\frac{1}{2}`$, so that, e.g., the $`d_{3z^2r^2}/d_{x^2y^2}`$ orbital corresponds to the state with $`T^z=+\frac{1}{2}/T^z=\frac{1}{2}`$. A superposition of these two orbital states

$$|\theta =\mathrm{cos}\frac{\theta }{2}|3z^2r^2+\mathrm{sin}\frac{\theta }{2}|x^2y^2,$$
(1)
is associated with a particular point on a circle in the $`(T^z,T^x)`$-plane, see Fig.1. We only consider here linear combinations with real coefficients. In principle, one can also consider states with complex coefficients, e.g.,

$$|\pm =\frac{1}{\sqrt{2}}\left(|3z^2r^2\pm i|x^2y^2\right),$$

but they are rather special: they do not couple to the lattice, but break the time-reversal symmetry and have a nonzero magnetic octupole moment Khomskii . Such states are eigenstates of the $`𝐓^y`$ operator that usually does not appear in the exchange Hamiltonian of doubly-degenerate JT systems.

The pseudospin operators can be used to describe interactions between orbitals on different TM sites in the same way one describes the spin exchange. An orbital ordering corresponds then to a nonvanishing average pseudospin $`T_i`$. However, the orbital exchange usually has a more complicated form than the spin exchange, due to the directional nature of orbitals. The strong anisotropy gives rise to a frustration of orbital ordering even in materials with simple bipartite lattices.

## II Phonon-mediated orbital exchange

We illustrate this point by considering effective orbital interactions in a perovskite lattice - a simple cubic lattice of TM ions with oxygens located on the edges between them (we ignore here for simplicity the tilting of (TM)O6-octahedra present in many materials, which lowers the symmetry from cubic to orthorombic). There are two mechanisms of orbital ordering: a lattice instability due to the JT coupling of electrons to lattice KugelKhomskii ; GehringGehring ; EnglmanHalperin , and a purely electronic mechanism resulting from the virtual hopping of TM electrons between neighboring sites KugelKhomskii2 ; KugelKhomskii . Both lead to essentially the same type of effective exchange interactions. We first discuss the lattice-mediated orbital exchange.

Consider a pair of neighboring TM sites $`j`$ and $`j+z`$ along the $`z`$ axis (see Fig.2). For this pair the electron-lattice interaction responsible for lifting the double degeneracy of the $`e_g`$-states has the form

$$H_{JT}=g\underset{i=j,j+z}{}\left(d_{i1\sigma }^{}d_{i1\sigma }d_{i2\sigma }^{}d_{i2\sigma }\right)Q_{3i}+\frac{KQ_{3i}^2}{2},$$
(2)
where $`d_{i1\sigma }^{}`$ creates the state $`|3z^2r^2`$ at the site $`i`$ with the spin projection $`\sigma `$ and $`d_{i2\sigma }^{}`$ is the creation operator of the other $`e_g`$-state $`|x^2y^2`$. The $`Q_{3i}`$ phonon coordinate is the linear combination of the shifts of oxygens (from the O6-octahedron containing the TM site $`j`$) along the corresponding TM-TM bonds (see Fig.2):

$$Q_{3i}=\frac{1}{\sqrt{6}}\left[2\left(u_{j+z/2}u_{jz/2}\right)\left(u_{j+x/2}u_{jx/2}\right)\left(u_{j+y/2}u_{jy/2}\right)\right].$$

In the subspace of states with one electron per TM site the combination of the electron operators $`d_{i\alpha \sigma }^{}`$ and $`d_{i\alpha \sigma }`$ in Eq.(2) is equivalent to the pseudospin operator:

$$\underset{\sigma }{}\left(d_{i1\sigma }^{}d_{i1\sigma }d_{i2\sigma }^{}d_{i2\sigma }\right)2T_i^z.$$
(3)
Excluding the coordinate $`u_{j+z/2}`$ of the oxygen located between the two TM ions, we obtain for an effective orbital interaction for the pair

$$H_{j,j+z}=JT_j^zT_{j+z}^z,J=\frac{2g^2}{3K},$$
(4)
which has the (antiferroorbital) Ising form favoring the antiparallel alignment of neighboring pseudospins, e.g. $`T_1^j=+\frac{1}{2}`$ (the $`d_{3z^2r^2}`$ orbital on the site $`j`$) and $`T_{j+z}^z=\frac{1}{2}`$ (the $`d_{x^2y^2}`$ orbital on site $`j+z`$).

However, complications arise when we consider effective orbital interactions in the whole cubic lattice of TM ions. Since in the cubic lattice the three directions $`x`$, $`y`$, and $`z`$ are equivalent, we can describe the exchange along the $`x`$ direction by replacing the basis of states ($`|3z^2r^2`$, $`|x^2y^2`$) by ($`|3x^2r^2`$, $`|y^2z^2`$) and similarly for the $`y`$ direction. The symmetry of the cubic lattice under circular permutations of the $`x`$, $`y`$, and $`z`$ axes is reflected in the three-fold symmetry of the $`(T^z,T^x)`$-plane (see Fig.1), where the states $`d_{3z^2r^2}`$, $`d_{3x^2r^2}`$, and $`d_{3y^2r^2}`$ correspond, respectively, to $`\theta =0`$ (point A in Fig.1) , $`\theta =+\frac{2\pi }{3}`$ (point C), and $`\theta =\frac{2\pi }{3}`$ (point D), where

$$|\theta =\pm \frac{2\pi }{3}=\frac{1}{2}|3z^2r^2\pm \frac{\sqrt{3}}{2}|x^2y^2.$$

One can also introduce the corresponding symmetric notation for pseudospin operators

$$I^z=T^z,I^{x,y}=\frac{1}{2}T^z\frac{\sqrt{3}}{2}T^x,$$
(5)
so that $`I^\gamma |3\gamma ^2r^2=+\frac{1}{2}|3\gamma ^2r^2`$, where $`\gamma =x,y,z`$. Using the symmetry of the cubic lattice and Eq.(4), we can then immediately write the Hamiltonian of the exchange along the $`x`$ axis,

$$H_{j,j+x}=JI_j^xI_{j+x}^x=J\left(\frac{1}{2}T_i^z+\frac{\sqrt{3}}{2}T_i^x\right)\left(\frac{1}{2}T_j^z+\frac{\sqrt{3}}{2}T_j^x\right),$$
(6)
and similarly for a pair along the $`y`$ axis:

$$H_{j,j+y}=JI_j^yI_{j+y}^y=J\left(\frac{1}{2}T_i^z+\frac{\sqrt{3}}{2}T_i^x\right)\left(\frac{1}{2}T_j^z+\frac{\sqrt{3}}{2}T_j^x\right).$$
(7)
The full Hamiltonian of lattice mediated effective orbital interactions has the form

$$H=J\underset{i}{}\left(I_i^xI_{i+x}^x+I_i^yI_{i+y}^y+I_i^zI_{i+z}^z\right)\frac{3}{2}J\underset{i}{}\left(\left(T_i^z\right)^2+\left(T_i^x\right)^2\right).$$
(8)
It includes also the on-site term (the second sum in Eq.(8)), which suppresses complex orbitals discussed above by favoring alignments of pseudospins in the $`(T^x,T^z)`$ plane.

We can now see the source of the frustration in the orbital sector: while the exchange along the $`z`$ direction stabilizes alternating $`d_{3z^2r^2}`$ and $`d_{x^2y^2}`$ orbitals, the equivalent couplings along the $`x`$ and $`y`$ directions favor other pairs of orbitals, i.e. $`(d_{3x^2r^2},d_{y^2z^2}`$ and $`(d_{3y^2r^2},d_{z^2x^2})`$.

## III Compass model

A simple-looking spin model with similar properties (sometimes called the “compass” model) was introduced in 1982 in Ref. \[KugelKhomskii, \]:

$$H_{comp}=J\underset{i}{}\left(S_i^xS_{i+x}^x+S_i^yS_{i+y}^y+S_i^zS_{i+z}^z\right)$$
(9)
It is very similar to the model Eq. (8), but while the three components of the pseudospin, $`I^x`$, $`I^y`$, and $`I^z`$ (see Eq.(5), obey the condition $`I^x+I^y+I^z=0`$ , the spin projections $`S^\gamma `$, $`\gamma =x,y,z`$ are independent operators.

Consider the model Eq.(9) with $`J<0`$ (ferromagnetic interactions), in which case the angular dependence of the spin exchange is similar to that of the conventional dipole-dipole interaction, and indeed, its properties can be qualitatively understood by considering the lattice of “compasses” (or magnetic needles). The complications arising in this model are immediately clear from this analogy. If, instead of the square lattice, we consider a one-dimensional raw of such compasses in the $`z`$ direction, it is clear that the magnetic needles would order ”head to tail” parallel to the $`z`$ axis. However, in a row along the $`x`$ axis, spins would prefer to order in the $`x`$ direction. In a square and in a cubic lattice this leads to a strong frustration, which in principle can destroy an order altogether. Such claim was indeed made by Glass and Lawson for a similar model with real dipole-dipole (long-range) interactions GlassLawson : using the Bogolyubov inequality they proved the absence of a long-range magnetic ordering at nonzero temperatures in two and three dimensions. Interestingly enough, the situation here is in a sense opposite to that in conventional systems: while in standard models with a continuous symmetry, like the Heisenberg model, the order is destroyed by fluctuations in one- and two-dimensional cases, but can exist in three-dimensional systems, here the order survives in one dimension, but is broken for $`d=2`$ and $`d=3`$. This can be traced back to different symmetry properties of the two types of models: in contrast to the Heisenberg model, which has a continuous symmetry and, correspondingly, Goldstone modes, in Eqs. (8) and (9) the interaction for each pair has an Ising character. However, while in Heisenberg-like models the spin and coordinate spaces are largely independent, in the model Eq.(9) a rotation in the spin space is inherently related to the corresponding rotation in the coordinate space. This seems to “restore” the symmetry of the system: if we assume a ferromagnetic ordering for $`d=2,3`$ and calculate the spin-wave excitation spectrum, we find that the spectrum is gapless despite the discrete Ising type of interactions for each pair. Moreover, this spectrum turns out to be one-dimensional for a square lattice and two-dimensional for a cubic lattice:

$$\omega _{2d}^2=J^2S^2\left(1\mathrm{cos}k_x\right)$$
(10)
and

$$\omega _{3d}^2=J^2S^2\left(1\mathrm{cos}k_x\right)\left(1\mathrm{cos}k_y\right)$$
(11)
so that the corresponding fluctuations diverge at all temperatures for $`d=2`$, and at any $`T>0`$ for $`d=3`$ case. This agrees with the fact that on the mean-field level there are many equivalent degenerate ground states in our system: apart from ferromagnetic states with an arbitrary orientation of spins $`𝐒`$, there also states with ferromagnetic chains e.g. along the $`z`$ axis, with spins either parallel or antiparallel to the $`z`$-direction and no correlations between orientations of spins in different chains.

What is the true ground state of this model, is still an open problem. One possibility is that beyond the mean-filed approximation the order-from-disorder scenario Villain ; Shender  selects a particular ordered state KhaliullinOudovenko . Another alternative is that the spin fluctuations are so strong that they destroy a long-range order, leading to a (spin- or orbital-) liquid state Nussinov . In any case, we see that properties of the models Eqs. (8) and (9) are rather unusual.

## IV Exchange interactions in the degenerate Hubbard model

We would like now to return to JT systems and discuss the purely electronic contribution to exchange interactions in these materials. The calculation of the exchange Hamiltonian, resulting from the virtual hopping of electrons on neighboring sites, is usually done using the Hubbard model describing electrons on degenerate $`d`$-levels KugelKhomskii2 ; KugelKhomskii

$$H=\underset{ij\alpha \beta \sigma }{}t_{ij}^{\alpha \beta }d_{i\alpha \sigma }^{}d_{j\beta \sigma }+\underset{i,\alpha \beta }{}U_{\alpha \beta }n_{i\alpha \sigma }n_{i\beta \sigma }J_H\underset{i}{}𝐒_{i1}𝐒_{i2}$$
(12)
Here $`i,j`$ are site indices, $`\sigma `$ denotes spin projection, and $`\alpha ,\beta =1,2`$ are orbital indices. The second term in Eq.(12) describes the on-site Coulomb repulsion between electrons, which depends on the orbital occupation, and the last term is the Hund’s rule exchange interaction between electrons occupying two different orbitals on the same site. For an isolated ion, we have $`U_{11}U_{22}=2J_H`$. However, in crystals the direct Coulomb interactions $`U_{\alpha \beta }`$ are modified by the screening, while the Hund’s rule exchange coupling $`J_H`$ remains unscreened. Therefore, $`U_{\alpha \beta }`$ and $`J_H`$ should be considered as independent parameters.

For one electron or one hole per TM site, and in the strong coupling limit $`UJ_HW`$, where $`W`$ is the electron band width, an effective Hamiltonian describing the coupled spin and orbital degrees of freedom can be obtained using the perturbation theory in $`t/(U,J_H)`$ KugelKhomskii2 . The hopping matrix elements $`t_{ij}^{\alpha \beta }`$ are spin-independent (spin is conserved in the process of the virtual electron hopping). As a result, the spin part of the exchange operator is rotationally invariant and has the standard Heisenberg form $`𝐒_i𝐒_j`$. In contrast, the hopping amplitudes depend on the type of the initial and final orbital, as well as on the spatial orientation of the pair of TM ions (see e.g. Fig.3), as a result of which the orbital part of the exchange Hamiltonian is strongly anisotropic.

For the pair of TM sites $`j`$ and $`j+z`$, the hopping only occurs between the two $`d_{3z^2r^2}`$ orbitals (see Fig.3a): the hopping between the $`d_{3z^2r^2}`$ and $`d_{x^2y^2}`$ orbitals is zero by symmetry (see Fig.3b), and the overlap between the two $`d_{x^2y^2}`$ orbitals in the $`z`$ direction is very small (see Fig.3c). Therefore, the usual type of exchange for this pair only occurs when the $`d_{3z^2r^2}`$ orbitals ($`T^z=\frac{1}{2}`$) are occupied on both sites. By the well-known Goodenough-Kanamori-Anderson (GKA) rules, such an exchange is antiferromagnetic, favoring the spin-singlet state of the two electrons (holes). This considerations allow us to immediately write an effective exchange Hamiltonian for this pair:

$$H_{j,j+z}=\frac{4t^2}{U_{11}}\left(\frac{1}{2}+T_j^z\right)\left(\frac{1}{2}+T_{j+z}^z\right)\left(\frac{1}{4}𝐒_j𝐒_{j+z}\right),$$
(13)
where $`t`$ is the hopping amplitude between the two $`d_{3z^2r^2}`$ orbitals. The exchange Hamiltonian is proportional to the product of the projection operators on the orbital states $`|3z^2r^2`$ on the two TM sites and the projection operator on the spin singlet state with $`𝐒_j𝐒_{j+z}=\frac{3}{4}`$. The ground state of such a pair is a spin singlet with an orbital configuration shown in Fig.3a, in contrast to the (spin-triplet) state shown in Fig.2, stabilized by JT stabilized by the electron-lattice interaction. Due to the electron-hole symmetry of the orbitally degenerate Hubbard Hamiltonian Eq.(12), the effective Hamiltonians for one hole and one electron per TM site have the same form. There is also another mechanism of orbital exchange due to the hopping of electrons on empty orbitals of neighboring sites and the Hund’s rule ferromagnetic spin coupling KugelKhomskii , but it is usually weaker than the antiferromagnetic interaction Eq.(13) and we shall not discuss it here.

As in the derivation of Eqs. (6) and (7), the exchange interaction for pairs of TM ions along the $`x`$ and $`y`$ directions can be obtained from Eq.(13) by the corresponding rotation in the orbital space, i.e., by substituting the operators $`T^z`$ in that equation by, respectively, the $`I^x`$ and $`I^y`$ operators. The resulting exchange Hamiltonian for the cubic lattice is sometimes called the Kugel-Khomskii (KK) model. The coupled orbital and spin exchange, described by Eq.(13) and the corresponding expressions for $`H_{j,j+x}`$ and $`H_{j,j+y}`$, has the same spatial anisotropy as the lattice-mediated orbital interactions Eq.(8), and we face again the problem of frustrated orbital ordering. It was even suggested that the coupling between orbitals and spins in Eq.(13) makes it only worse: it gives anomalously soft mixed spin-orbital excitations, resulting in a spin-orbital liquid ground state FeinerOlesZaanen ; OlesFeinerZaanen . Other authors, however, argued that this coupling actually helps to lift the frustration, resulting in orbitally and magnetically ordered states, in which spins form antiferromagnetic chains (as in the cubic perovskite KCuF3), stabilized by large quantum spin fluctuations KhaliullinOudovenko . It seems that the only way to clarify this controversy is to perform a direct numerical simulation of the model Eq.(13), but the latter is complicated by the sign problem (which again is a consequence of frustration).

## V $`90^{}`$-exchange

So far, we only discussed a simple cubic lattice of TM ions and showed that even in that case orbital interactions are frustrated. There are also many Jahn-Teller materials with lattices that cannot be naturally subdivided into two sublattices of TM ions, e.g. a two-dimensional triangular and Kagome lattice, or a pyrochlore lattice of corner-shared tetrahedra, e.g. the B-sublattice of spinels. An antiferromagnetic spin ordering in materials with such lattices is known to be strongly frustrated Ramirez  and it is interesting to see, if such ‘geometric’ effect can enhance the frustration of orbital interactions.

The typical example of such a material is LiNiO2, in which the low-spin Ni$`{}_{}{}^{3+}(t_{2g}^6e_g^1)`$ ions with spin $`S=\frac{1}{2}`$ and doubly degenerate orbitals ($`T=\frac{1}{2}`$), occupy two-dimensional triangular  layers (see Fig.4). While in perovskites the angle between metal-oxygen bonds connecting neighboring TM ions is $`180^{}`$, in LiNiO2 this angle is $`90^{}`$. This difference has important consequences for the spin and orbital exchange MostovoyKhomskii .

The actual exchange in TM oxides occurs not due to a direct $`dd`$-hopping, as described by Eq.(12), but involves the hopping from oxygens to TM sites and intermediate states with holes on oxygen $`2p`$-orbitals. Thus we have to start from the d-p model:

$`H_{dp}`$ $`=`$ $`{\displaystyle \underset{im\sigma }{}}\epsilon _pp_{im\sigma }^{}p_{im\sigma }+{\displaystyle \underset{jm\sigma }{}}\epsilon _dd_{j\alpha \sigma }^{}d_{j\alpha \sigma }{\displaystyle \underset{m\alpha ij\sigma }{}}t_{ij}^{m\alpha }\left(p_{im\sigma }^{}d_{j\alpha \sigma }+d_{j\alpha \sigma }^{}p_{im\sigma }\right)`$ (14)
$`+`$ $`{\displaystyle \underset{imm^{}}{}}U_{mm^{}}n_{im\sigma }n_{im^{}\sigma }+{\displaystyle \underset{j\alpha \beta }{}}U_{\alpha \beta }n_{j\alpha \sigma }n_{j\beta \sigma }`$
$``$ $`J_H^p{\displaystyle \underset{i,mm^{}}{}}𝐒_{im}𝐒_{im^{}}J_H^d{\displaystyle \underset{j,\alpha \beta }{}}𝐒_{j\alpha }𝐒_{j\beta }`$
Here $`m=x,y,z`$ and $`\alpha `$ are the orbital indices of, respectively, oxygen $`2p`$-orbitals and TM $`d`$-orbitals, and the Hamiltonian of the model includes the direct (Hubbard) and the exchange (Hund’s rule) Coulomb interactions on both the oxygen and TM ions.

In the Mott-Hubbard (MH) region of the general Zaanen-Sawatzky-Allen diagram ZaanenSawatzkyAllen  (see also KhomskiiSawatzky ), i.e. when the charge transfer gap $`\mathrm{\Delta }UW`$ ($`\mathrm{\Delta }`$ is $`\epsilon _p\epsilon _d`$ for one hole and $`\epsilon _d+U_{dd}\epsilon _p`$ for one electron per TM site, and $`W`$ is the band width), the model Eq.(14) can be reduced to the effective Hubbard model for $`d`$-electrons Eq.(12) with $`t_{dd}=\frac{t_{pd}^2}{\mathrm{\Delta }}`$. On the other hand, in the charge transfer (CT) insulator regime, $`U_d\mathrm{\Delta }W`$, one finds new orbital exchange terms that turn out to be more important than those obtained within the Hubbard model Eq.(12) (see the discussion below).

In any case, exchange interactions for the $`90^{}`$-angle between the metal-oxygen bonds (see Fig.4) are very different from Eq.(13) for the $`180^{}`$-angle. In the $`90^{}`$-geometry the orbitals of one TM (e.g. site $`i`$ in Fig.5) overlap with the $`p_z`$-orbital of the oxygen O1 (see Fig.5), whereas the $`d`$-orbitals of the ion $`j`$ overlap with the orthogonal $`p_x`$-orbital of the same oxygen. Due to the orthogonality of these two oxygen orbitals, it is impossible to transfer a $`d`$-electron from one TM ion to another via oxygens, and this is the principal difference from the $`180^{}`$-exchange. The only processes allowed are the transfers of oxygen electrons to the site $`i`$ (from the $`p_z`$-orbital) followed by the transfer of another electron from the $`p_x`$-orbital of this oxygen to the the TM site $`j`$. If we first ignore the Hund’s rule coupling on oxygens, these processes are independent of spins of $`d`$-electrons, i.e., they do not result in a spin exchange. However, they do depend on the orbital occupation of the two TM ions, resulting in an orbital exchange. Therefore, for this geometry, the spin and orbital interactions are decoupled, the orbital exchange being much stronger than the spin one (the latter $`J_H/\mathrm{\Delta }1`$). On the other hand, in the KK model Eq.(13) the strongly coupled spin and orbital exchanges are of the same order. Thus, the KK model, obtained for the specific case of the MH insulators with the $`180^{}`$ metal-oxygen-metal bonds, should not be used uncritically for other situations.

These general considerations are confirmed by detailed calculations MostovoyKhomskii . For instance, for the plaquette formed by two oxygens and two TM ions on the sites $`i`$ and $`j`$ in the $`zx`$ plane (see Fig.5) the orbital exchange interaction is given by

$$H_T=J_T\left[(\frac{3}{2}I_i^x)\left(\frac{3}{2}I_j^z\right)+(\frac{3}{2}I_i^z)\left(\frac{3}{2}I_j^x\right)\right],$$
(15)
where

$$J_T=\frac{4t_{pd}^4}{\mathrm{\Delta }^2(2\mathrm{\Delta }+U_p)}+\frac{2t_{pd}^4}{\mathrm{\Delta }^3}=\frac{2t_{pd}^4U_p}{\mathrm{\Delta }^3(2\mathrm{\Delta }+U_p)},$$
(16)
and the coupled spin-dependent exchange is

$$H_{TS}=\frac{2J_H^p}{(2\mathrm{\Delta }+U_p)}H_T\left(\frac{3}{4}+(𝐒_1𝐒_2)\right).$$
(17)
Several points have to be stressed here. First of all, we indeed see that the orbital exchange is stronger than the spin one (usually $`J_H^p0.60.8`$eV and both $`U_p`$ and $`\mathrm{\Delta }`$ are $`46`$eV, so that $`J_H^p<U_p,\mathrm{\Delta }`$). The spin exchange only appears due to the Hund’s rule coupling (in this case on oxygen) and is always ferromagnetic, independent of the orbital occupation. Therefore, the spin ordering on this triangular lattice is not frustrated. This, in particular, invalidates the attempts to describe LiNiO2 as a spin liquid of the RVB type Hirakawa .

The second point is the presence of two terms with opposite signs in the expression for orbital exchange Eq.(15). The origin of these terms is rather interesting. The negative term resembles those obtained in the Hubbard model: it describes the virtual process with two holes on one oxygen in the intermediate state, which is why it contains $`2\mathrm{\Delta }+U_p`$ in the denominator. The positive term, however, is of a different nature - it remains nonzero even when $`U_p\mathrm{}`$. Its origin can be understood as follows: the virtual hopping of $`d`$-electrons from a TM site to $`6`$ surrounding oxygens results in an energy decrease. However, each oxygen belongs to two different octahedra. For infinite $`U_p`$ this leads to blocking of some of these charge fluctuations: when e.g. the oxygen $`O_1`$ in Fig.5 is occupied by the hole from the site $`i`$, it blocks the virtual hole transfer from the site $`j`$. This blocking reduces the total energy gain due to the charge fluctuations and gives rise to an effective orbital exchange interaction, since an amount by which the energy is reduced depends on orbital occupations on the sites $`i`$ and $`j`$. This mechanism of exchange is similar to the Casimir interaction between two metallic plates in vacuum.

While the Hubbard model gives an effective interaction, which respects the electron-hole symmetry, in the d-p model this symmetry is lost. In particular, for one hole per TM site the effective orbital interaction the form

$$H_T^{(hole)}=J_T\left[(\frac{3}{2}I_i^x)\left(\frac{3}{2}I_j^z\right)+(\frac{3}{2}I_i^z)\left(\frac{3}{2}I_j^x\right)\right],$$
(18)
(cf. Eq.(15) for one electron per site). In this case the effect of blocking is minimized when the $`d`$-hole orbital on at least one site is not directed towards the common oxygen, e.g. $`d_{3z^2r^2}`$-orbital on the site $`j`$ in Fig.3b and $`d_{x^2y^2}`$-orbital on the site $`j+z`$. Therefore, the orbital interaction Eq.(18) favors hole orbitals directed away from the common oxygens, in contrast to the situation in MH insulators (see Eq.(13)), for which the energetically most favorable occupation is shown in Fig.3a.

If we now consider the exchange Hamiltonian for the whole triangular lattice, we find out that here too the interactions in different directions compete. The outcome is again that in the mean-field approximation the ground state is strongly degenerate. The orbital exchange on a triangular lattice is strongly frustrated and has a large number of mean-field ground states, including ferro-orbital states, in which $`𝐓_j=T𝐦`$ on all lattice sites, where $`𝐦`$ is an arbitrary unit vector in the $`(T^x,T^z)`$-plane. Furthermore, there are disordered ground states, which can be obtained from the ferro-orbital states by, e.g., inverting the sign of $`T_j^x`$ on an arbitrarily selected set of lines parallel to the lines with the $`I^xI^y`$ type of exchange (see Fig. 6). Such states are ordered along the lines, but there are no long-range correlations between the $`x`$-projections of pseudospins in the transverse direction (as in the compass model discussed in Sec. III). By circular permutations of the $`x`$, $`y`$, and $`z`$ indices one can obtain similar states, which are only ordered along the two other sets of lines in the triangular lattice.

The spectrum of orbital excitations for, e.g., $`𝐓=T\widehat{z}`$, calculated in the (pseudo)spin-wave approximation for $`T1`$, is given by

$$\omega _𝐪=3\sqrt{2}TJ_T\left|\mathrm{sin}\frac{q_z}{2}\right|,$$
(19)
As in the case of the compass model discussed in Sec. III, the excitation spectrum is gapless and it is independent of one of the projection of momentum ($`q_x`$). This one-dimensional spectrum leads to divergent fluctuations, to remove which, one has to go beyond the (pseudo)spin-wave approximation and take into account interactions between the orbital excitations. One obtains then that the order-from-disorder mechanism chooses 6 particular ferroorbital ground states, e.g. $`|3z^2r^2`$ (all $`T_i^z=+\frac{1}{2}`$) MostovoyKhomskii  and that the spectrum of elementary excitations acquires the gap $`J_T\sqrt{T}`$, makes the orbital fluctuations finite.

We note that the ‘geometric’ frustration of the triangular lattice plays an important role in this story. One can show MostovoyKhomskii2  that, in contrast to the “compass” model, an ordering of $`e_g`$ orbitals on a square lattice is not frustrated. Thus in two dimensions, both the anisotropy of the orbital exchange and the special geometry of the triangular lattice are necessary for frustration. In a similar way one can treat other types of ‘frustrated’ lattices. For instance, effective interactions Eqs.(15) and (17) can be used to describe exchange on the pyrochlore lattice of TM ions, since the local geometry of metal-oxygen-metal bonds is the same as in LiNiO2. Also the orbital excitations for the $`d_{3z^2r^2}`$ ferro-orbital state on the pyrochlore lattice only propagate along two disconnected sets of bonds with the $`I^xI^y`$-type of exchange, similarly to the case of the triangular lattice.

Applying the d-p model to systems with the $`180^{}`$-exchange path, one can show that the ‘orbital Casimir’ interactions also exist in these systems MostovoyKhomskii2 . They have the form similar to the phonon-mediated interactions Eq.(8) and modify the standard KK description. In charge transfer insulators these terms dominate the exchange, resulting in the decoupling of orbital and spin orderings and forcing orbitals to order at higher temperatures than spins, provided that the frustration of the orbital interactions is somehow lifted.

## VI Summary

Summarizing, we have discussed orbital interactions and frustration of orbital ordering in different physical situations. We showed that due to the directional nature of the hopping amplitudes the orbital exchange is frustrated even for simple (perovskite) lattices. Frustration is therefore a generic property of orbital degrees of freedom. If in addition we are dealing with the systems with the ‘geometric’ frustration, the ground state degeneracy becomes even stronger. The resulting type of the orbital, and spin, structure of the ground state can then be determined either by small corrections to the exchange interactions lifting this degeneracy, e.g. the Hund’s rule coupling or small “external” splitting of degenerate $`e_g`$-levels due to deviations from the perfect cubic symmetry. Another possibility is an ordering due to the order-from-disorder mechanism, discussed above. We note, however, that this semiclassical mechanism, strictly speaking, works for large values of pseudospin $`T1`$, when quantum fluctuations are relatively small. Since in reality $`T=\frac{1}{2}`$, strong quantum fluctuations may still result in a disordered ground state. Such a quantum orbital liquid remains an intriguing possibility.

The situation with other types of orbitally-degenerate systems, e.g. materials with three-fold degenerate $`t_{2g}`$-orbitals, may have its own peculiarities KugelKhomskii3 . First of all, due to a larger degeneracy and a weaker coupling to the lattice, one may expect stronger frustration and stronger quantum effects, which could result in an orbital-liquid ground state KhaliullinMaekawa . On the other hand, as we already mentioned in the Introduction, in $`t_{2g}`$-systems the spin-orbital interaction may play an important role, which may remove the orbital degeneracy KugelKhomskii3 . Furthermore, in frustrated lattices (of the type considered in Sec. V) of $`t_{2g}`$-ions, one has to take into account not only the exchange between the ions via oxygens, but also direct the $`t_{2g}t_{2g}`$ overlaps across the TM-oxygen plaquettes (see Fig.5). What would be the resulting orbital structure with all these effects taken into account, is still an open problem. We see, that the orbital physics, especially in materials with complex lattices, is very rich and can still produce many surprises.

This work is supported by the MSCplus program. The financial support of the British Council and the Trinity College, Cambridge is gratefully acknowledged.


text:
# Note sur les sous-groupes compacts d’homéomorphismes de la sphère

## 1. Introduction

Le résultat que nous nous proposons d’exposer dans cet article, à savoir que tout sous-groupe compact d’homéomorphismes de $`S^2`$ est topologiquement conjugué à un sous-groupe fermé du groupe orthogonal $`\mathrm{O}(3)`$ se situe dans le cadre plus général d’une suite de questions connue sous le nom de *5e problème de Hilbert* . Plus précisément, soit $`G`$ un groupe localement compact qui agit fidèlement sur une variété $`M`$, on se pose les questions suivantes:

1. $`G`$ est-il nécessairement localement euclidien111 Une autre terminologie pour désigner une variété topologique. ?
2. Si $`G`$ est localement euclidien, est-ce un groupe de Lie ?
3. Si $`G`$ est un groupe de Lie, existe-il une structure analytique sur $`M`$ invariante par $`G`$ ?

La réponse à la première question n’est pas connue en dehors de quelques cas particuliers. La réponse à la deuxième question est positive (cf. Gleason , Montgomery and Zippin ). La réponse à la troisième question est négative en général. Il existe des contre-exemples simples dans le cas non compact. Citons également la construction par Bing  d’une involution négative de $`S^3`$ non conjuguée à un élément de $`\mathrm{O}(4)`$, d’exemples d’homéomorphisme périodique de $`S^3`$ non conjugué à un élément de $`\mathrm{SO}(4)`$ (Bing , Montgomery-Zippin , Bredon ), d’une action de $`𝕌(1)`$ sur $`S^4`$ non linéarisable (Montgomery, Zippin ) et d’une action de $`𝕌(1)`$ sur $`S^{2n+2}`$ non linéarisable . Signalons enfin une preuve par Cairns et Ghys  que toute action topologique de $`\mathrm{SO}(n)`$ sur $`^n`$ qui préserve l’origine est globalement conjuguée à l’action standard.

Un groupe de Lie possède une propriété remarquable: il existe un voisinage de l’identité qui ne contient aucun sous-groupe non trivial. D’un groupe topologique qui possède cette propriété, on dit qu’il *n’a pas de petit sous-groupe*. Immédiatement après la démonstration par Haar, en 1933, d’une mesure invariante sur tout sous-groupe localement compact, von Neumann  établit, en utilisant la théorie des représentations unitaires, le résultat suivant (voir également ), considéré comme la première étape majeure dans la résolution du 5e problème:

###### Théorème 1.1 (von Neumann).

Un groupe *compact* qui ne *possède pas de petit sous-groupe* est un groupe de Lie.

Le but de cet article est de présenter une demonstration complète et moderne d’un théorème dû à Kerékjártó  qui donne une caractérisation topologique complète du groupe des rotations et de ses sous-groupes fermés.

###### Théorème 1.2 (Kerékjártó).

Tout sous-groupe compact de $`\mathrm{Hom}\stackrel{´}{\mathrm{e}}\mathrm{o}(S^2)`$ est topologiquement conjugué à un sous-groupe fermé de $`\mathrm{O}(3)`$.

La preuve donnée par Kerékjártó consiste à établir d’abord qu’un sous-groupe compact d’homéomorphismes de la sphère qui possèdent un point fixe laisse invariant un disque topologique autour de ce point, et que tout groupe compact d’homéomorphismes du disque est topologiquement conjugué à un sous-groupe fermé du groupe des isométries euclidiennes $`\mathrm{O}(2)`$. Ces résultats essentiels se trouvent en réalité dans des travaux antérieurs de Kerékjártó  connus pour être extrêmement confus. C’est pourquoi nous en reprenons la démonstration complète dans un langage moderne dans les premières sections. Le reste de la preuve est une étude casuistique qui se base sur la nature et le nombre des sous-groupes qui fixent un point (les *stabilisateurs*). Dans , le cas qui apparaît le plus compliqué et qui occupe la majeur partie de l’article est celui où le groupe agit transitivement sur la sphère car Kerékjártó reconstruit dans ce cas « à la main » la géométrie euclidienne de la sphère. Dans notre démonstration, qui utilise le langage moderne de la géométrie différentiel, ce cas est, au contraire, le plus simple.

L’article originale de Kerékjártó  traite également des sous-groupes compact d’homéomorphismes des autres surfaces compactes, bien que la majeure partie de l’article soit consacrée à la sphère. En effet, pour les autres surfaces, on se ramène à des arguments élaborés pour la sphère et le disque. Ainsi, l’étude d’un groupe compact $`G`$ de transformations d’une surface fermée $`M`$ de caractéristique d’Euler $`\chi (M)0`$, consiste à traiter d’abord le sous-groupe $`G_0`$ des transformations isotopes à l’identité. Ce sous-groupe $`G_0`$ est fermé, distingué dans $`G`$ et d’indice fini. Dans le cas où $`\chi (M)<0`$, on montre en passant au revêtement universel que $`G_0`$ est trivial. Dans le cas du tore, une analyse analogue à celle de la section 3, où la notion de *nombre de rotation* est remplacée par celle de *vecteur de rotation*, permet de conclure que $`G_0`$ est conjugué à un sous-groupe de translation. Cette étude n’est pas détaillée dans cet article où nous nous concentrons essentiellement sur la sphère et le disque. On pourra consulter  pour plus de détails sur les autres surfaces.

Un prolongement naturel de ces questions consiste à rechercher également une caractérisation topologique du groupe homographique ou d’un de ses sous-groupes, question également envisagée par Kerékjártó . L’étude de ce problème a fait apparaître la notion de groupe de convergence (Ghering and Martin ). Mais la réponse ne semble pas aussi simple que pour le groupe des rotations.

La section 2 de cet article est consacrée à quelques propriétés générales des sous-groupes compacts d’homéomorphismes d’un espace métrique $`(X,d)`$ et à l’étude locale (au voisinage d’un point fixe) lorsque $`X`$ est une surface. Dans la section 3, on détaille la classification complète des sous-groupes compacts d’homéomorphismes du cercle et dans la section 4, celle des sous-groupes compacts d’homéomorphismes du disque. La section 5 présente une démonstration élémentaire (dû à M. H. A. Newman) du fait qu’un sous-groupe compact d’homéomorphismes de la sphère n’a pas de petit sous-groupe. Enfin, la section 6 contient l’étude détaillée des sous-groupes compacts d’homéomorphismes de la sphère.

## 2. Sous-groupes compacts d’homéomorphismes d’un espace métrique compact

Soit $`(X,d)`$ un espace métrique compact. On définit la distance de deux applications continues $`f,g:XX`$ par la formule :

$$d(f,g)=\underset{xX}{\mathrm{max}}d(f(x),g(x)).$$

Cette distance munit le groupe des homéomorphismes de $`(X,d)`$ d’une structure de *groupe topologique*. Nous pouvons énoncer le résultat suivant:

###### Théorème 2.1.

Soit $`G`$ un sous-groupe fermé d’homéomorphismes de $`(X,d)`$. Les propositions suivantes sont équivalentes:

1. $`G`$ est compact.
2. L’ensemble des éléments de $`G`$ forme une famille équicontinue.
3. Il existe une distance sur $`X`$ pour laquelle les éléments de $`G`$ sont des isométries.

###### Démonstration.

$`(1)(3)`$ est une conséquence de l’existence de la mesure de Haar sur $`G`$. En effet, ceci nous permet de construire une distance invariante en prenant la « moyenne » pour la mesure de Haar des images de la distance $`d`$ par les éléments de $`G`$. $`(3)(2)`$ est trivial et $`(2)(1)`$ est un corollaire direct du théorème d’Ascoli. ∎

En particulier, l’ensemble des itérés d’un élément $`f`$ appartenant à un groupe compact d’homéomorphismes forme une famille équicontinue. Nous introduirons la définition suivante:

###### Définition 2.2.

Un homéomorphisme $`f`$ d’un espace métrique compact $`(X,d)`$ est *régulier* si la famille des itérés de $`f`$ est équicontinue, autrement dit si $`\epsilon >0`$, $`\alpha >0`$ tel que:

(2.1)
$$d(x,y)<\delta d(f^n(x),f^ny))<\epsilon ,n.$$

Citons quelques exemples: un homéomorphisme périodique, une isométrie pour la distance $`d`$ sont des homéomorphismes réguliers. On peut montrer le résultat suivant  :

###### Lemme 2.3.

Soit $`f`$ un homéomorphisme régulier, alors la fermeture du groupe engendré par $`f`$ est compact.

Dans le cas où $`X`$ est la sphère $`S^2`$, ou plus généralement une surface compacte, nous pouvons expliciter complètement la dynamique d’un groupe compact d’homéomorphisme au voisinage d’un point fixe.

###### Lemme 2.4.

Soit $`G`$ un sous-groupe compact d’homéomorphismes de la sphère $`S^2`$ et $`DS^2`$ un disque topologique fermé. Alors le compact

$$K=\underset{gG}{}g(D)$$

est localement connexe.

###### Démonstration.

Commençons par rappeler qu’un espace métrique compact est localement connexe si et seulement si pour tout $`\epsilon >0`$, on peut l’écrire comme une réunion finie de compacts connexes de diamètre inférieur à $`\epsilon `$.

Soit $`\epsilon >0`$. Choisissons une triangulation de $`D`$ dont les cellules $`e_1,e_2,\mathrm{},e_r`$, sont de diamètre inférieur à $`\phi (\epsilon )`$, où $`\phi (\epsilon )`$ est la borne supérieure des nombres positifs $`\alpha `$ tel que:

$$d(x,y)<\alpha d(g(x),g(y))<\epsilon ,$$

pour $`x,yS^2`$ et $`gG`$.

Soit $`\rho >0`$, tel que l’intérieur de toute cellule $`e_i`$ contienne une boule $`B(x_i,\rho )`$. Alors

(2.2)
$$B(g(x_i),\phi (\rho ))g(e_i),i,g.$$

Par conséquent, l’aire de chaque cellule $`g(e_i)`$ est minorée par $`4\pi \mathrm{sin}\phi (\rho )`$ et la famille $`\left\{g(e_i)\right\}_{i,g}`$ ne contient seulement qu’un nombre fini de cellules deux à deux disjointes.

Dans cette famille, soit $`\{e_1^{},\mathrm{},e_p^{}\}`$ une sous-famille finie, de cardinal maximal, de cellules deux à deux disjointes. Alors pour tout $`gG`$ et tout $`i\{1,\mathrm{},r\}`$, il existe $`j\{1,\mathrm{},p\}`$ tel que $`e_j^{}g(e_i)\mathrm{}`$. Pour $`k\{1,\mathrm{},p\}`$, notons $`M_k`$ la fermeture de l’union de toutes les cellules $`g(e_i)`$ qui rencontrent $`e_k^{}`$. Alors $`M_k`$ est un compact connexe de diamètre inférieur à $`3\epsilon `$ (le diamètre de chaque cellule $`g(e_i)`$ étant majoré par $`\epsilon `$) et

(2.3)
$$K=\underset{k=1}{\overset{p}{}}M_k,$$

ce qui achève la démonstration. ∎

###### Théorème 2.5.

Soit $`G`$ un sous-groupe compact d’homéomorphismes de la sphère $`S^2`$ et $`x_0`$ un point fixe de $`G`$. Alors il existe un système fondamental de voisinage de $`x_0`$, constitué par des disques topologiques invariants par $`G`$.

###### Remarque 2.6.

D’après le Théorème 2.1, $`G`$ laisse invariant une distance $`\delta `$. On peut donc être tenter de croire que les boules (pour cette distance $`\delta `$), centrées au point $`x_0`$, fournissent ce système de disques invariants. Mais ceci ne fonctionne pas car on ne sait rien, a priori, de cette distance invariante $`\delta `$ obtenue en moyennant par $`G`$ la distance euclidienne: elle n’a pas de raison d’être riemannienne.

La démonstration du Théorème 2.5 repose sur un résultat classique de topologie du plan qui se démontre à la fois par des méthodes purement topologiques  et par des méthodes issues de la géométrie complexe .

###### Théorème 2.7.

Soit $`K`$ un compact, connexe, localement connexe, non vide de $`S^2`$, non réduit à un point et sans point de coupure222Un point $`xK`$ est un *point de coupure* si $`K\left\{x\right\}`$ n’est pas connexe.. Alors la frontière de chaque composante de $`S^2K`$ est une courbe fermée simple.

###### Démonstration du Théorème 2.5.

Donnons-nous arbitrairement $`\epsilon >0`$. Nous pouvons trouver $`\delta >0`$ tel que:

(2.4)
$$d(x,y)\delta d(g(x),g(y))<\epsilon ,x,yS^2,gG,$$

puis $`\eta >0`$ tel que

(2.5)
$$d(x,y)\eta d(g(x),g(y))<\delta ,x,yS^2,gG.$$

Soit $`D`$ le disque euclidien (fermé) de centre $`x_0`$ et de rayon $`\eta `$. Formons le compact, connexe, invariant:

$$K=\underset{gG}{}g(D).$$

D’après (2.4), on a $`KB(x_0,\delta )`$. Désignons par $`V_{\mathrm{}}`$ la composante de $`S^2K`$ qui contient $`S^2B(x_0,\delta )`$. Soit $`gG`$. En vertu de (2.5), on a

$$g(S^2B(x_0,\epsilon ))S^2B(x_0,\delta ).$$

Par conséquent:

$$g(S^2B(x_0,\epsilon ))V_{\mathrm{}}g(V_{\mathrm{}}),$$

et donc $`g(V_{\mathrm{}})=V_{\mathrm{}}`$.

Par ailleurs, d’après le lemme 2.4, $`K`$ est localement connexe. On pourra vérifier que l’adhérence d’un ouvert connexe, non vide de la sphère ne possède pas de point de coupure. Il en est donc ainsi de $`K`$ qui est l’adhérence de l’ouvert connexe, non vide

$$U=\underset{gG}{}g(\mathrm{int}(D)).$$

Par suite, chaque composante connexe du complémentaire de $`K`$ est un disque topologique en vertu du théorème 2.7. En particulier, la frontière de $`V_{\mathrm{}}`$ est une courbe fermée simple invariante et le disque topologique bordé par cette courbe et contenant $`x_0`$ est invariant et contenu dans la boule $`B(x_0,\epsilon )`$. ∎

## 3. Sous-groupes compacts d’homéomorphismes du cercle

Commençons par démontrer les résultats élémentaires suivants:

###### Lemme 3.1.

Soit $`f:[\mathrm{0,1}][\mathrm{0,1}]`$ un homéomorphisme *régulier* et croissant, alors $`f=Id`$.

Soit $`f:S^1S^1`$ un homéomorphisme *régulier*, qui préserve l’orientation et possède un point fixe, alors $`f=Id`$.

###### Démonstration.

Soit $`f:[\mathrm{0,1}][\mathrm{0,1}]`$ un homéomorphisme *régulier* et croissant. Par l’absurde, supposons $`fId`$, et soit $`]a,b[`$ une composante de $`[\mathrm{0,1}]Fix(f)`$. On a $`f(a)=a`$, $`f(b)=b`$ et (par exemple):

$$f(x)>x,x]a,b[.$$

Alors, l’orbite par $`f`$ de tout point de $`]a,b[`$ converge vers $`b`$, ce qui entre en contradiction avec la régularité de $`f`$ qui impose que l’orbite d’un point voisin de $`a`$ reste proche de $`a`$.

Soit maintenant $`f:S^1S^1`$ un homéomorphisme *régulier*, qui préserve l’orientation et possède un point fixe. L’étude d’un relèvement de $`f`$,

$$\stackrel{~}{f}:,$$

qui possède un point fixe $`\stackrel{~}{x}`$, nous ramène au résultat précédent en considérant la restriction de $`\stackrel{~}{f}`$ à l’intervalle $`[\stackrel{~}{x},\stackrel{~}{x}+1]`$. ∎

Soit $`f`$ un homéomorphisme de $`S^1`$ qui préserve l’orientation et $`\stackrel{~}{f}:`$ un relèvement de $`f`$. On rappelle que la limite

(3.1)
$$\theta (\stackrel{~}{f})=\underset{n}{lim}\frac{\stackrel{~}{f}^n(\stackrel{~}{x})\stackrel{~}{x}}{n}$$

existe toujours est ne dépend pas du point $`\stackrel{~}{x}`$ (voir ). Si $`\stackrel{~}{f}^{}`$ est un autre relèvement de $`f`$ alors $`\theta (\stackrel{~}{f})\theta (\stackrel{~}{f}^{})`$ est un entier. On note $`\rho (f)`$ la classe résiduelle de ces nombres modulo $``$ et on l’appelle le *nombre de rotation* de $`f`$.

###### Lemme 3.2.

Soit $`G`$ un sous-groupe compact d’homéomorphismes du cercle $`S^1`$ qui préservent l’orientation, alors l’application *nombre de rotation*

$$\rho :G𝕌(1)$$

est un morphisme continu et injectif.

###### Démonstration.

En moyennant les images par $`G`$ de la mesure canonique de $`S^1`$ à l’aide de la mesure de Haar sur $`G`$, on obtient une mesure de probabilité $`\mu `$ sur le cercle invariante par $`G`$.

Soit $`fG`$. On peut réécrire l’expression (3.1) sous la forme

(3.2)
$$\theta (\stackrel{~}{f})=\underset{n}{lim}\underset{k=0}{\overset{n1}{}}\frac{\phi _{\stackrel{~}{f}}(f^n(x))}{n}$$

$`\phi _{\stackrel{~}{f}}:S^1`$ est la fonction induite par l’application périodique

$$\stackrel{~}{x}\stackrel{~}{f}(\stackrel{~}{x})\stackrel{~}{x},\stackrel{~}{x}.$$

Par conséquent, d’après le *théorème ergodique de Birkhoff* (voir par exemple ), on a

(3.3)
$$\theta (\stackrel{~}{f})=_{S^1}\phi _{\stackrel{~}{f}}𝑑\mu .$$

Enfin, on démontre sans difficulté, à partir de la définition de $`\phi _{\stackrel{~}{f}}`$, la *relation de cocycle*:

$$\phi _{\stackrel{~}{f}\stackrel{~}{g}}=\phi _{\stackrel{~}{f}}g+\phi _{\stackrel{~}{g}}.$$

Par suite, si $`f`$ et $`g`$ sont deux éléments quelconques du groupe $`G`$, on obtient

(3.4)
$$\theta (\stackrel{~}{f}\stackrel{~}{g})=_{S^1}\phi _{\stackrel{~}{f}}g𝑑\mu +_{S^1}\phi _{\stackrel{~}{g}}𝑑\mu =\theta (\stackrel{~}{f})+\theta (\stackrel{~}{g}),$$

ce qui établit que $`\rho `$ est bien un morphisme de groupe.

L’injectivité est une conséquence du Lemme 3.1 et du fait qu’un homéomorphisme du cercle, qui a pour nombre de rotation $`0`$, possède un point fixe (voir ).

La continuité résulte de l’inégalité suivante:

$$d(f,Id)\phi (\epsilon )\left|\theta (\stackrel{~}{f})\right|\epsilon ,$$

qui est elle-même conséquence de l’équicontinuité d’un élément $`f`$ du groupe $`G`$. ∎

## 4. Sous-groupes compacts d’homéomorphismes du disque

Le résultat suivant généralise un résultat connu pour les homéomorphismes périodiques du disque .

###### Lemme 4.1.

Un homéomorphisme régulier du disque $`D^2`$ qui est l’identité sur le bord est l’identité sur le disque tout entier.

###### Démonstration.

Formons le *double* de $`f`$, qui est un homéomorphisme de la sphère et que nous continuerons de désigner par $`f`$. Nous obtenons ainsi un homéomorphisme régulier, qui est l’identité sur une courbe fermée simple $`J`$ (correspondant au bord de $`D^2`$) et que nous pouvons supposer être l’équateur.

Choisissons sur $`J`$ deux points diamétralement opposés que nous noterons $`a`$ et $`b`$. Soit $`d`$ un cercle arbitraire séparant les points $`a`$ et $`b`$. Reprenons la construction donnée dans la démonstration du Théorème 2.5, en prenant pour $`G`$, la fermeture dans $`\mathrm{Hom}\stackrel{´}{\mathrm{e}}\mathrm{o}(S^2)`$ du groupe engendré par $`f`$ et pour $`D`$, le disque (fermé) délimité par $`d`$ et contenant $`a`$. Notons, comme précédemment

$$K=\underset{gG}{}g(D)$$

et désignons par $`\mathrm{\Delta }`$ la composante de $`b`$ dans $`S^2K`$. Alors $`\mathrm{\Delta }`$ est un disque topologique invariant bordé par une courbe fermée simple que nous noterons $`\delta `$. Cette courbe sépare les points $`a`$ et $`b`$ et rencontre donc nécessairement la courbe $`J`$. Par conséquent, en utilisant à nouveau le lemme 3.1, on en déduit que $`f=Id`$ sur $`\delta `$. Or, par construction

$$\delta \underset{gG}{}g(d),$$

et donc $`\delta d`$ (car $`\delta Fix(G)`$), ce qui n’est possible que si $`\delta =d`$. Le cercle $`d`$ ayant été choisi arbitrairement, ceci montre que $`f=Id`$ sur $`S^2`$. ∎

###### Corollaire 4.2.

Soit $`f\mathrm{Hom}\stackrel{´}{\mathrm{e}}\mathrm{o}^+(D^2)`$ un homéomorphisme régulier, différent de l’identité. Alors $`f`$ possède un point fixe unique et ce point est situé à l’intérieur du disque.

###### Démonstration.

D’après le théorème du point fixe de Brouwer, $`f`$ possède au moins un point fixe $`x_0`$. Si $`fId`$, il résulte du lemme 4.1 et du lemme 3.1 que ce point fixe se trouve à l’intérieur du disque.

Nous allons maintenant montrer que si $`f`$ possède un second point fixe $`x_1`$ alors $`f=Id`$. Pour cela, construisons à l’aide du théorème 2.5, une courbe fermée simple invariante $`J\mathrm{int}(D^2)`$ qui sépare les deux points fixes et borde un disque topologique (ouvert) $`\mathrm{\Delta }`$ contenant $`x_0`$. Par construction, l’anneau topologique (fermé) $`A=D^2\mathrm{\Delta }`$ et invariant par $`f`$ et contient l’autre point fixe, $`x_1`$. Soit

$$\stackrel{~}{f}:\times [\mathrm{0,1}]\times [\mathrm{0,1}]$$

un relèvement de la restriction de $`f`$ à $`A`$. On peut vérifier que $`\stackrel{~}{f}`$ est un homéomorphisme régulier de $`\times [\mathrm{0,1}]`$ (pour la métrique standard). Soit $`\phi _{\stackrel{~}{f}}:A`$ la fonction définie par

$$xp_1\left(\stackrel{~}{f}(\stackrel{~}{x})\stackrel{~}{x}\right),$$

$`p_1`$ est la projection sur le premier facteur du produit $`\times [\mathrm{0,1}]`$. La régularité de $`f`$ implique l’existence et l’unicité (indépendance par rapport à $`x`$) de la limite

$$\underset{n}{lim}\underset{k=0}{\overset{n1}{}}\frac{\phi _{\stackrel{~}{f}}(f^n(x))}{n},$$

que nous noterons $`\theta (\stackrel{~}{f})`$ comme dans la preuve du lemme 3.2. Soit $`\stackrel{~}{x}_1`$ un relèvement de $`x_1`$ et choisissons pour $`\stackrel{~}{f}`$ un relèvement de $`f`$ qui fixe $`\stackrel{~}{x}_1`$. Alors on a nécessairement $`\theta (\stackrel{~}{f})=0`$ et ceci impose à $`f`$ d’avoir un point fixe sur $`D^2`$ (voir ). Il résulte alors du lemme 3.1, que $`f`$ est l’identité sur $`D^2`$ puis que que $`f`$ est l’identité sur le disque d’après le lemme 4.1. ∎

###### Corollaire 4.3.

Soit $`G`$ un sous-groupe compact d’homéomorphismes du disque $`D^2`$. La restriction au bord

$$R:G\mathrm{Hom}\stackrel{´}{\mathrm{e}}\mathrm{o}(D^2)$$

est un morphisme continu et injectif.

###### Démonstration.

La restriction au bord d’un sous-groupe d’homéomorphismes du disque est toujours un morphisme continu mais n’est pas injectif en général. Soit $`gG`$ un élément du noyau de $`R`$. Comme $`g`$ est régulier, alors $`g=Id`$ en vertu du lemme 4.1 et donc $`R`$ est injectif si $`G`$ est compact. ∎

En combinant le corollaire 4.3 avec le lemme 3.2, on obtient:

###### Corollaire 4.4.

Tout sous-groupe compact $`G`$ de $`\mathrm{Hom}\stackrel{´}{\mathrm{e}}\mathrm{o}^+(D^2)`$ est isomorphe (en tant que groupe topologique) à un sous-groupe fermé de $`𝕌(1)`$.

Si $`G`$ est fini, il est engendré par un élément périodique $`f`$. Dans ce cas, on montre que $`f`$ est conjugué à une rotation euclidienne (voir ). Sinon, $`G=𝕌(1)`$ et nous allons établir le résultat suivant:

###### Théorème 4.5.

Toute action continue et fidèle du groupe $`𝕌(1)`$ sur le disque est topologiquement conjuguée à l’action standard de $`\mathrm{SO}(2)`$.

Nous diviserons la démonstration de ce résultat en deux étapes: nous montrerons d’abord que la structure des orbites d’un tel groupe est identique à celle de l’action standard et ensuite, ce qui est la partie la plus délicate, qu’il existe un *arc transverse* aux orbites, ce qui nous permettra de conclure.

###### Lemme 4.6.

Les orbites de toute action continue et fidèle de $`𝕌(1)`$ sur le disque $`D^2`$ sont constituées par un point fixe unique $`x_0`$ à l’intérieur du disque et des courbes fermées simples qui entourent ce point.

###### Démonstration.

Soit $`G`$ l’image de $`𝕌(1)`$ dans $`\mathrm{Hom}\stackrel{´}{\mathrm{e}}\mathrm{o}(D^2)`$ et $`fG`$ un élément d’ordre infini. L’unique point fixe $`x_0`$ de $`f`$ donné par le corollaire 4.2 est également un point fixe de $`G`$ car les itérés de $`f`$ forment un ensemble dense dans $`G`$. Par conséquent, $`x_0`$ est également l’unique point fixe de tout autre élément $`gId`$ de $`G`$. Il en résulte que la $`G`$-orbite de tout point $`x`$ différent de $`x_0`$ est une courbe fermée simple. Cette courbe est invariante par $`f`$ et borde un disque qui contient nécessairement un point fixe de $`f`$, en vertu du théorème du point fixe de Brouwer. Ce point fixe ne peut être que $`x_0`$, ce qui achève la démonstration du lemme 4.6. ∎

###### Lemme 4.7.

Étant donné une action topologique et fidèle de $`𝕌(1)`$ sur le disque $`D^2`$, il existe un arc simple rencontrant chaque orbite en un point et un seul.

###### Remarque 4.8.

Je ne connais pas de preuve élémentaire de ce lemme. La démonstration proposée ici est une construction « à la main » de cet *arc transverse*. On pourra remarquer que ce résultat n’est pas une conséquence immédiate du lemme 4.6. Il existe en effet des partitions de l’anneau par des familles de courbes fermées simples essentielles qui n’admettent pas de transversale. On pourra consulter  pour plus de détails sur le sujet.

Soit $`G`$ l’image de $`𝕌(1)`$ dans $`\mathrm{Hom}\stackrel{´}{\mathrm{e}}\mathrm{o}(D^2)`$ et $`x_0`$, l’unique point fixe de $`G`$. Pour tout $`xD^2`$, on note $`\gamma (x)`$ la $`G`$-orbite de $`x`$.

###### Sous-lemme 4.9.

Pour tout $`\epsilon >0`$, il existe $`\delta >0`$ tel que si $`x`$ et $`y`$ sont deux points distincts d’une même $`G`$-orbite $`\gamma `$ et $`d(x,y)<\delta `$, alors un des deux arcs délimités par $`x`$ et $`y`$ sur $`\gamma `$ a un diamètre inférieur à $`\epsilon `$.

###### Démonstration.

Notons $`x_0`$, l’unique point fixe de $`G`$. Soit $`\epsilon >0`$ et $`\mathrm{\Delta }`$ un disque contenant $`x_0`$, invariant par $`G`$ et de diamètre inférieur à $`\epsilon `$ (voir théorème 2.5). On pose $`A=D^2\mathrm{\Delta }`$. Il suffit de démontrer le sous-lemme pour les orbites contenues dans l’anneau $`A`$, ce qui résulte de l’observation suivante. Il existe un voisinage ouvert connexe $`V`$ de l’identité dans $`G`$ tel que

(4.1)
$$d(x,g(x))<\epsilon /2,$$

pour tout $`xA`$ et $`gV`$. Comme de plus $`G`$ agit librement sur $`A`$, il existe $`\delta >0`$ tel que:

(4.2)
$$d(x,g(x))\delta ,$$

pour tout $`xA`$ et $`gGV`$. Par conséquent, si $`x`$ et $`y`$ sont deux points d’une même $`G`$-orbite $`\gamma A`$ tels que $`d(x,y))<\delta `$ alors $`y=g(x)`$ avec $`gV`$ et l’arc $`\left\{g(x);gV\right\}`$ de $`\gamma `$ a un diamètre inférieur à $`\epsilon `$. ∎

On munit l’ensemble des orbites de $`G`$ d’un ordre total en définissant la relation suivante: $`\gamma \gamma ^{^{}}`$ (respectivement $`\gamma <\gamma ^{^{}}`$) si et seulement si $`\gamma `$ est contenue dans le disque fermé (respectivement ouvert) bordé par $`\gamma ^{^{}}`$ (avec la convention $`x_0x_0`$).

###### Définition 4.10.

Étant donné deux points $`x,yD^2`$, tel que $`\gamma (x)<\gamma (y)`$, on appelle $`\mu `$-chaîne monotone de $`x`$ à $`y`$, une collection $`\left\{x_0=x,x_1,\mathrm{},x_n=y\right\}`$ de points de $`D^2`$ tels que:

$$d(x_k,x_{k+l})<\mu \text{et}\gamma (x_k)<\gamma (x_{k+l}),$$

pour $`k=0,\mathrm{},n1`$.

###### Sous-lemme 4.11.

Pour tout $`\epsilon >0`$, il existe $`\delta >0`$ tel que deux points quelconques $`x,y`$ n’appartenant pas à la même orbite et vérifiant $`d(x,y)<\delta `$ peuvent être joints par une $`\mu `$-chaîne monotone de diamètre inférieur à $`\epsilon `$ pour tout $`\mu >0`$.

###### Démonstration.

Soit $`\epsilon >0`$ et choisissons $`\delta >0`$ ($`\delta <\epsilon `$) comme dans le sous-lemme 4.9. Soient $`x,y`$ deux points tels que $`\gamma (x)<\gamma (y)`$ et $`d(x,y)<\delta /2`$. Étant donné $`\mu >0`$ ($`\mu <\delta `$), on peut trouver une suite finie de $`G`$-orbites

$$\gamma _0=\gamma (x)<\gamma _1<\mathrm{}<\gamma _n=\gamma (y)$$

telle que la *distance de Hausdorff*333La distance de Hausdorff est définie sur les parties fermées d’un espace métrique compact $`(X,d)`$ par la formule:
$$d_H(A,B)=\mathrm{max}\{\underset{aA}{\mathrm{max}}d(a,B),\underset{bB}{\mathrm{max}}d(b,A)\}.$$
$`d_H(\gamma _k,\gamma _{k+1})`$ de deux courbes consécutives de la suite soit inférieure à $`\mu /3`$.

Le segment $`xy`$ rencontre chacune des courbes intermédiaires $`\gamma _k`$. Choisissons pour chaque $`k\{1,\mathrm{},n1\}`$, un point

$$x_kxy\gamma _k.$$

Si $`d(x_k,x_{k+1})<\mu `$ pour tout $`k`$, nous avons construit notre $`\mu `$-chaîne de diamètre inférieur à $`\epsilon `$, sinon, voilà comment raffiner cette chaîne pour en obtenir une.

Soit $`x_r,x_{r+1}`$, une paire de points consécutifs tels que $`d(x_r,x_{r+1})\mu `$. Comme $`d_H(\gamma _r,\gamma _{r+1})<\mu /3`$, on peut trouver un point $`x_{r+1}^{}`$ sur $`\gamma _{r+1}`$ tel que:

$$d(x_r,x_{r+1}^{^{}})<\mu /3,$$

et donc:

$$d(x_{r+1},x_{r+1}^{^{}})d(x_{r+1},x_r)+d(x_r,x_{r+1}^{^{}})<\delta /2+\mu /3<\delta .$$

Alors, d’après le sous-lemme 4.9, un des deux arcs délimités par $`x_{r+1}`$ et $`x_{r+1}^{^{}}`$ sur $`\gamma _{r+1}`$ a un diamètre inférieur à $`\epsilon `$. Subdivisons cet arc en $`s`$ sous-arcs de diamètre inférieur à $`\mu /3`$ et notons les point intermédiaires de la façon suivante:

$$x_{r+1}^{^{}}=z_{r+1}^0,z_{r+1}^1,\mathrm{},z_{r+1}^s=x_{r+1}.$$

Choisissons ensuite des courbes

$$\gamma _r=\gamma ^0<\gamma ^1<\mathrm{}<\gamma ^s=\gamma _{r+1}.$$

Comme $`d_H(\gamma _r,\gamma _{r+1})<\mu /3`$ et $`\gamma _r<\gamma ^j<\gamma _{r+1}`$ pour $`1js1`$, il est possible de trouver, sur chaque courbe intermédiaire $`\gamma ^j`$, un point $`x_{r+1}^j`$ tel que $`d(x_{r+1}^j,z_{r+1}^j)<\mu /3`$. La suite

$$x_r=x_{r+1}^0,x_{r+1}^1,\mathrm{},z_{r+1}^s=x_{r+1}$$

est donc une $`\mu `$-chaîne joignant $`x_r`$ et $`x_{r+1}`$ qui appartient à un $`2\epsilon `$-voisinage du segment $`x_rx_{r+1}`$. En effectuant les corrections nécessaires pour chaque paire $`x_r,x_{r+1}`$ telle que $`d(x_r,x_{r+1})\mu `$, on obtient finalement une $`\mu `$-chaîne monotone joignant $`x`$ et $`y`$ et de diamètre inférieur à $`4\epsilon `$. ∎

###### Preuve du Lemme 4.7.

En utilisant le sous-lemme 4.11, on peut construire une suite de nombres réels $`\delta _n>0`$, qui tend vers $`0`$, et telle que deux points quelconques $`x,y`$ vérifiant $`d(x,y)<\delta _n`$, peuvent être joints, pour tout $`\mu >0`$, par une $`\mu `$-chaîne de diamètre inférieur à $`1/2^n`$.

Soit $`X_0`$ une $`\delta _0`$-chaîne monotone joignant $`x_0`$, le point fixe du groupe à un point $`x_{\mathrm{}}`$ sur le bord du disque $`D^2`$. Récursivement, ayant défini $`X_n`$, on joint chaque paire de points consécutifs $`x_k^n,x_{k+1}^n`$ de $`X_n`$, par une $`\delta _{n+1}`$-chaîne monotone de diamètre inférieur à $`1/2^n`$ afin d’obtenir $`X_{n+1}`$ et on pose:

$$X=\underset{n}{}X_n.$$

C’est alors un exercice standard de topologie (\[14, Theorem 2.27\]) de montrer que l’adhérence $`\overline{X}`$ de $`X`$ dans $`D^2`$ est un arc joignant $`x_0`$ et $`x_{\mathrm{}}`$. Cet arc est simple et rencontre chaque orbite en un point unique, par construction, ce qui achève la démonstration. ∎

###### Preuve du théorème 4.5.

Pour compléter la preuve du théorème 4.5, on choisit un arc $`\alpha `$, transverse aux orbites, donné par le lemme 4.7 et une paramétrisation $`x(r),r[\mathrm{0,1}]`$ de cet arc. L’application

$$h:re^{i\theta }\mathrm{\Psi }(e^{i\theta },x(r)),$$

$`\mathrm{\Psi }:𝕌(1)\times D^2D^2`$ dénote l’action, nous donne alors une conjugaison topologique avec le groupe des rotations euclidiennes, $`\mathrm{SO}(2)`$. ∎

## 5. Un lemme de M.H.A. Newman

Avant d’entreprendre l’étude des sous-groupes compacts d’homéomorphismes de la sphère, nous présentons un lemme dû à M.H.A. Newman .

###### Lemme 5.1.

Soit $`f`$ un homéomorphisme périodique de $`S^2`$ de période $`p>1`$, alors parmi les itérés de $`f`$, il en existe un, disons $`f^r`$, tel que :

(5.1)
$$d(f^r,Id)>1.$$

De plus :

(5.2)
$$d(f,Id)>\frac{2}{p}.$$

###### Démonstration.

Commençons par remarquer que (5.2) est une conséquence de (5.1). En effet, dans (5.1), on peut supposer $`rp/2`$ car l’inégalité (5.1) est équivalente à

$$d(f^{pr},Id)>1.$$

Par conséquent la négation de (5.2) conduit à

$$d(f^r(x),x)\underset{i=0}{\overset{r1}{}}d(f^{i+1}(x),f^i(x))\frac{2r}{p}1,x,$$

et donc à la négation de (5.1).

La preuve de la première inégalité résulte de la remarque suivante : supposons au contraire que $`d(f^k,Id)1`$ pour tout k, alors l’orbite d’un point quelconque $`x`$ est entièrement contenue dans l’hémisphère de pôle $`x`$ et par suite, pour tout p-uplet $`(\lambda _0,\lambda _1,\mathrm{},\lambda _{p1})`$ de nombres positifs tels que $`\mathrm{\Sigma }\lambda _i=1`$:

(5.3)
$$g_\lambda (x)=\underset{i=0}{\overset{p1}{}}\lambda _if^i(x)0,$$

pour tout $`x`$. Ceci implique l’existence d’une homotopie dans $`^3\{0\}`$ entre l’identité et la fonction

(5.4)
$$g(x)=\frac{1}{p}\underset{i=0}{\overset{p1}{}}f^i(x),$$

ce qui est incompatible avec le fait que $`\mathrm{deg}(g)=0`$ modulo $`p`$. ∎

###### Corollaire 5.2.

La boule unité fermée de $`\mathrm{Hom}\stackrel{´}{\mathrm{e}}\mathrm{o}(S^2)`$ ne contient aucun sous-groupe compact non trivial.

###### Démonstration.

En effet, si un tel groupe existe, on peut trouver un élément non trivial $`f`$ de ce groupe tel que

$$d(f^n,Id)1,$$

pour tout $`n`$. En vertu du lemme 5.1, $`f`$ n’est pas périodique. Quitte à remplacer $`f`$ par son carré, on peut supposer que $`f`$ préserve l’orientation et donc possède au moins un point fixe. Alors, d’après le lemme 2.5, $`f`$ laisse invariant un disque topologique et la fermeture du groupe engendré par $`f`$ est isomorphe à $`𝕌(1)`$. Mais ce groupe contient des élément périodiques $`g`$ vérifiant également

$$d(g^n,Id)1,$$

pour tout $`n`$, ce qui est en contradiction avec le lemme 5.1. ∎

Il en résulte qu’un sous-groupe compact d’homéomorphismes de la sphère ne *possède pas de petit sous-groupe*. En vertu du Théorème 1.1, on peut donc énoncer:

###### Théorème 5.3.

Tout sous-groupe compact d’homéomorphismes de la sphère est un groupe de Lie

## 6. Preuve du théorème principal

Cette section est consacré à la démonstration du théorème 1.2. Nous envisagerons dans un premier temps le cas d’un sous-groupe compact $`G`$ qui ne contient que des éléments qui préservent l’orientation, puis le cas général.

### 6.1. $`G`$ ne contient que des éléments qui préservent l’orientation

###### Lemme 6.1.

Soit $`G`$ un sous-groupe compact de $`\mathrm{Hom}\stackrel{´}{\mathrm{e}}\mathrm{o}^+(S^2)`$. Alors tout élément de $`G`$ est topologiquement conjugué à une rotation euclidienne d’ordre finie ou non.

###### Démonstration.

Soit $`gG`$ un élément non trivial. En tant qu’homéomorphisme qui préserve l’orientation de la sphère, $`g`$ possède un point fixe $`x_0`$ (théorème de Lefschetz, par exemple). Du théorème 2.5, on déduit l’existence d’un disque invariant $`\mathrm{\Delta }`$ contenant $`x_0`$. Le disque $`\overline{S^2\mathrm{\Delta }}`$ est également invariant et contient donc un second point fixe $`x_0^{}`$ de $`g`$. En vertu du corollaire 4.2, $`Fix(g)`$ est réduit à ces deux points.

Si $`g`$ est d’ordre fini, il est conjugué à une rotation euclidienne d’ordre fini (voir ). Sinon, l’adhérence $`H`$ du groupe engendré par $`g`$ est isomorphe à $`𝕌(1)`$ (voir corollaire 4.4). Les orbites de $`H`$ sont constituées par les deux points fixes $`x_0,x_0^{}`$ et des courbes fermées simples qui séparent $`x_0`$ et $`x_0^{}`$. Le lemme 4.7 nous assure l’existence d’un arc transverse aux orbites, joignant $`x_0`$ et $`x_0^{}`$, ce qui nous permet, comme dans la preuve du théorème 4.5, d’établir que $`g`$ est topologiquement conjugué à une rotation euclidienne d’ordre infini. ∎

Soit $`xS^2`$. Le *stabilisateur* de $`x`$, noté $`Stab(x)`$, est le sous-groupe des éléments $`g`$ de $`G`$ tels que $`g(x)=x`$. Le sous-groupe compact $`Stab(x)`$ laisse invariant un disque contenant $`x`$. Il est isomorphe à un sous-groupe fermé du groupe $`𝕌(1)`$ en vertu du corollaire 4.4.

Inversement, soit $`H`$ un sous-groupe fermé de $`G`$. Si $`Fix(H)\mathrm{}`$ alors $`Fix(H)`$ contient exactement deux points $`x_0,x_0^{}`$ et $`H`$ est isomorphe à un sous-groupe fermé du groupe $`𝕌(1)`$.

###### Lemme 6.2.

Si $`G`$ est infini, il possède un sous-groupe isomorphe à $`𝕌(1)`$.

###### Démonstration.

D’après le théorème 5.3, $`G`$ est un groupe de Lie. Par conséquent, si $`G`$ est infini, sa dimension est supérieure à $`1`$ (car $`G`$ est compact). Il possède donc un sous-groupe à un paramètre non trivial et contient des éléments d’ordre infini. Soit $`g`$ un tel élément. Alors l’adhérence du groupe engendré par $`g`$ est isomorphe à $`𝕌(1)`$. ∎

Nous allons maintenant envisager les divers cas possibles.

#### 6.1.1. Cas 1: G est fini

Chaque élément non trivial de $`G`$ possède exactement deux points fixes. Seulement un nombre fini de points de la sphère ont un stabilisateur non trivial. Soit $`\mathrm{\Sigma }`$ cet ensemble, alors la projection canonique $`\pi :S^2S^2/G`$ est un revêtement ramifié et on a la *formule de Riemann-Hurwitz*:

(6.1)
$$\chi (S^2)=n\chi (S^2/G)\underset{\overline{s}\mathrm{\Sigma }/G}{}(\nu _{\overline{s}}1)$$

$`n`$ désigne le cardinal de $`G`$ et $`\nu _{\overline{s}}`$ est le cardinal des stabilisateurs des points de ramification $`s\overline{s}`$. De cette formule, il résulte que $`\chi (S^2/G)=2`$ et donc que $`S^2/G`$ est homéomorphe à $`S^2`$. Ces revêtements sont entièrement classifiés par l’action du groupe $`G`$ sur l’ensemble fini $`\mathrm{\Sigma }`$. A chaque solution donnée par la formule (6.1) correspond un sous-groupe fini de $`\mathrm{SO}(3)`$ et donc une conjugaison topologique de $`G`$ avec ce sous-groupe.

#### 6.1.2. Cas 2: il n’y a qu’un stabilisateur infini

Soit $`H`$ ce stabilisateur et désignons par $`x_0`$ et $`x_0^{}`$ les points fixes de $`H`$. Soit $`g`$ un élément quelconque du groupe $`G`$. Alors le point $`g(x_0)`$ est également d’indice infini et donc nécessairement

$$g(x_0)Fix(H)=\{x_0,x_0^{}\}.$$

Si de plus $`g(x_0)=x_0`$, alors $`gH`$.

\- Si ceci se produit pour tous les éléments du groupe alors $`G=H`$ et le groupe $`G`$ est topologiquement conjugué au sous-groupe des rotations euclidiennes autour d’un axe donné.

\- Sinon, on peut trouver un élément $`\sigma `$ dans $`G`$ tel que $`\sigma (x_0)=x_0^{}`$ et $`\sigma (x_0^{})=x_0`$. On a alors nécessairement $`\sigma ^2=Id`$ et $`\sigma h\sigma =h^1`$, pour tout $`hH`$. $`G`$ est donc isomorphe au groupe diédral infini

$$D_{\mathrm{}}=_2𝕌(1)$$

De plus, $`\sigma `$ induit une involution continue sur l’espace des orbites de $`H`$, qui est homéomorphe à un intervalle, et échange ses deux extrémités. Par suite, $`\sigma `$ laisse invariant une et une seule des orbites de $`H`$. Les points fixes de $`\sigma `$ sont nécessairement sur cette courbe. On construit alors facilement une conjugaison entre ce groupe $`G`$ est l’action euclidienne standard du groupe $`D_{\mathrm{}}`$.

#### 6.1.3. Cas 3: il y a au moins deux stabilisateurs infinis distincts

Dans ce cas, le groupe $`G`$ agit transitivement sur $`S^2`$ en vertu du résultat suivant.

###### Lemme 6.3.

S’il existe deux stabilisateurs infinis distincts (en tant que sous-groupes de $`G`$), alors le groupe $`G`$ agit transitivement sur la sphère.

###### Démonstration.

Soit $`a`$ et $`b`$ deux points d’indice infini ayant des stabilisateurs distincts $`H_a`$ et $`H_b`$ respectivement. L’orbite du point $`a`$ sous l’action du groupe $`H_b`$, que l’on notera $`H_b(a)`$ est une courbe fermée simple passant par $`a`$ et qui rencontre toutes les orbites du sous-groupe $`H_a`$ assez voisines de $`a`$. Par suite, la $`G`$-orbite du point $`a`$, $`G(a)`$, est ouverte et fermée dans $`S^2`$, ce qui achève la démonstration. ∎

Fixons donc un point $`a`$ de la sphère et désignons par $`H`$ le stabilisateur de ce point (nécessairement isomorphe à $`𝕌(1)`$). L’espace homogène, $`G/HS^2`$, est muni naturellement d’une structure de variété analytique sur laquelle $`G`$ agit également de façon analytique. On a donc trouvé sur $`S^2`$ une structure analytique invariante par $`G`$. On peut alors construire, par moyennisation, une métrique riemannienne sur $`S^2`$ invariante par $`G`$. Comme l’action de $`G`$ est transitive, cette métrique est à courbure constante. Quitte à multiplier cette métrique par une constante, on peut supposer que cette courbure est $`1`$. Par conséquent, cette variété riemannienne est isométrique à la sphère standard et cette isométrie définit la conjugaison recherchée entre $`G`$ et $`\mathrm{SO}(3)`$.

### 6.2. $`G`$ contient des éléments qui renversent l’orientation

Commençons par rappeler les faits suivants. Soit $`s`$ un homéomorphisme régulier de la sphère qui renverse l’orientation.

* Si $`s`$ possède un point fixe, alors nécessairement $`s^2=Id`$ et $`s`$ est topologiquement conjugué à une réflexion orthogonale .
* Si $`s^2=Id`$ mais $`s`$ est sans point fixe, alors $`S^2/s`$ est homéomorphe au plan projectif et par suite, du fait de l’unicité du revêtement universel, $`s`$ est topologiquement conjugué à la symétrie centrale $`xx`$.

Soit $`G_0`$ le sous-groupe de $`G`$ des éléments qui préservent l’orientation. $`G_0`$ est un sous-groupe distingué d’indice $`2`$. Quitte à effectuer une première conjugaison, on peut supposer que $`G_0\mathrm{SO}(3)`$.

#### 6.2.1. Cas 1: $`G_0\mathrm{SO}(3)`$

Soit $`sGG_0`$. Tout cercle (euclidien) de $`S^2`$ est une orbite du stabilisateur $`Stab(x)`$ d’un point dans $`G_0`$. Par conséquent, l’image par $`s`$ de tout cercle de $`S^2`$ est un cercle. D’après un résultat bien connu, ceci entraîne que $`s`$ est une *anti-homographie* de la sphère. Comme de plus $`s`$ est régulier, $`s`$ appartient nécessairement à $`\mathrm{O}(3)`$ et ceci permet de conclure que $`G=\mathrm{O}(3)`$

#### 6.2.2. Cas 2: $`G_0\mathrm{SO}(2)`$

Désignons par $`x_0`$ et $`x_0^{}`$ les points fixes de $`G_0`$ et soit $`sGG_0`$. Alors, $`s`$ permute les orbites de $`G_0`$ et induit un homéomorphisme sur le quotient $`S^2/G_0`$ qui est un intervalle. Il y a donc deux possibilités:

\- Si $`s`$ fixe $`x_0`$ et $`x_0^{}`$, alors $`s^2=Id`$ et $`s`$ est conjugué à une réflexion. $`G`$ est un produit semi-direct de $`_2`$ par $`𝕌(1)`$ et $`sgs=g^1`$ pour tout $`gG_0`$. En effet, sinon on aurait $`sgs=g`$ pour tout $`gG_0`$ et la courbe $`Fix(s)`$ qui contient $`x_0`$ et $`x_0^{}`$ serait une orbite de $`G_0`$ ce qui n’est pas possible. Par ailleurs, $`s`$ induit un homéomorphisme croissant sur l’intervalle $`S^2/G_0`$ de période $`2`$ qui ne peut donc être que l’identité. Par suite, $`s`$ préserve les orbites de $`G_0`$. Chaque orbite non triviale de $`G_0`$ rencontre $`Fix(s)`$ en deux points au moins. Mais si $`x`$ et $`y`$ sont deux points distincts de $`Fix(s)`$ appartenant à la même orbite de $`G_0`$, alors $`y=g(x)`$ pour un certain $`gG_0`$ et la relation $`sgs=g^1`$ nous donne $`g^2(x)=x`$. Donc $`g`$ est nécessairement d’ordre $`2`$ et ceci nous permet de conclure que chaque orbite non triviale de $`G_0`$ ne rencontre $`Fix(s)`$ qu’en deux points seulement. On est alors en mesure de construire une conjugaison entre $`G`$ et le sous-groupe de $`\mathrm{O}(3)`$ engendré par les rotations autour de l’axe $`x_0x_0^{}`$ et la réflexion par rapport à un équateur contenant cet axe.

\- Si $`s`$ échange $`x_0`$ et $`x_0^{}`$, alors $`s`$ induit un homéomorphisme décroissant sur l’intervalle $`S^2/G_0`$. Cet homéomorphisme a un unique point fixe qui correspond à une orbite $`J`$ de $`G_0`$ invariante par $`s`$. Alors, quitte à composer $`s`$ avec une rotation de $`G_0`$ on peut supposer que $`s`$ a un point fixe sur $`J`$ et donc se ramener encore une fois au cas où $`s^2=Id`$ et $`s`$ est conjugué à une réflexion. On a $`Fix(s)=J`$ et donc $`sgs=g`$ pour tout $`gG_0`$. Dans ce cas, $`G`$ est le produit direct de $`_2`$ par $`𝕌(1)`$ et on construit facilement une conjugaison entre $`G`$ et le sous-groupe de $`\mathrm{O}(3)`$ engendré par les rotations autour de l’axe $`x_0x_0^{}`$ et la réflexion par rapport à l’équateur orthogonal à cet axe.

#### 6.2.3. Cas 3: $`G_0D_{\mathrm{}}`$

Dans ce cas $`G_0`$ est engendré par le groupe des rotations autour d’un axe $`x_0x_0^{}`$ et par un retournement $`\rho `$ qui échange $`x_0`$ et $`x_0^{}`$ et dont l’axe est perpendiculaire à la droite $`x_0x_0^{}`$. Soit $`sGG_0`$, alors $`s`$ permute également les points $`x_0`$ et $`x_0^{}`$ car le sous-groupe des rotations autour de l’axe $`x_0x_0^{}`$ est invariant par $`s`$. Quitte à composer $`s`$ avec $`\rho `$, on peut supposer que $`s(x_0)=x_0`$ et $`s(x_0^{})=x_0^{}`$ et donc que $`s`$ est une réflexion topologique. En conjuguant $`s`$ par une rotation d’axe $`x_0x_0^{}`$, on peut supposer également que $`Fix(s)`$ contient les points fixes de $`\rho `$. Alors $`s\rho s=\rho `$. On construit alors facilement une conjugaison entre $`G`$ et le sous-groupe de $`\mathrm{O}(3)`$ engendré par $`G_0`$ et la réflexion plane par rapport au plan contenant l’axe $`x_0x_0^{}`$ et l’axe du retournement $`\rho `$.

#### 6.2.4. Cas 4: $`G_0`$ est fini

Dans ce cas $`G_0`$ appartient à un des cinq types bien connus de sous-groupe fini de $`\mathrm{SO}(3)`$ . Il y a deux possibilités:

\- $`GG_0`$ ne contient aucune *réflexion topologique*, autrement dit, $`Fix(s)=\mathrm{}`$ pour tout $`sGG_0`$. Alors $`S^2/G`$ est homéomorphe au plan projectif et la projection canonique $`\pi :S^2S^2/G`$ est un revêtement ramifié, ce qui permet de conclure que $`G`$ est conjugué à un sous-groupe fini de $`\mathrm{O}(3)`$.

\- $`GG_0`$ contient une *réflexion topologique*. Dans ce cas, $`G`$ est un produit semi-direct

$$_2G_0.$$

Par ailleurs, si $`s`$ et $`s^{}`$ sont deux réflexions topologiques distinctes dans $`G`$ alors le cardinal de l’ensemble $`Fix(s)Fix(s^{})`$ est égal à $`2`$. En effet, un point fixe commun à $`s`$ et $`s^{}`$ est un point fixe de la rotation $`ss^{}`$ qui en possède au plus $`2`$ et si les deux courbes $`Fix(s)`$ et $`Fix(s^{})`$ ne s’intersectent pas, ou seulement en un point, alors la rotation $`ss^{}`$ envoie un disque fermé à l’intérieur de lui-même (à l’exclusion éventuellement d’un point du bord), ce qui n’est pas possible pour une rotation. On est alors en mesure de construire « à la main », dans chacune des cinq situations possibles, des domaines fondamentaux et de montrer, chaque fois, que $`G`$ est conjugué à un sous-groupe fini de $`\mathrm{O}(3)`$ (voir  et ).