Scanner/Tokenizer/fr: what changed

Revision 1 to 2. Removed lines have a minus sign; added lines have a plus sign.

Old	New		Line
1	1		Retour au contenu [[FPC internals/fr\|FPC internals]]
2	2
3	3		# Scanner/Tokenizer
4	4
5	5		Le scanner et tokenizer est utilisé pour construire un flux d'entrée de jetons qui alimentera l'analyseur. C'est lors de cette étape que les prétraitement (preprocessing) est réalisé, que toutes les directives du compilateur qui sont lues modifient l'état interne des variables du compilateur, et que tous les caractères illégaux trouvés dans le flux d'entrée provoquent une erreur.
6	6
7	7		Infos sur comment les macros fonctionnent : [[Macro internals]].
8	8
9	9		## Architecture
10	10
11	11		L'architecture générale du scanner est montrée dans la figure suivante: <http://www.pjh2.de/fpc/CompilerInternalsFigure02.png>
12	12
13	13		Plusieurs types peuvent être lus depuis le flux d'entrée, une chaîne, traitée par `readstring`, une valeur numérique, traitée par `readnumeric`, des commentaires, des directives du préprocesseur et du compilateur.
14	14
15	15		### Flux d'entrée
16	16
17	17		(dernière mise à jour pour fpc version 1.0.x)
18	18
19	19		Les données d'entrée sont manimpulées via la manière générale de traitement des E/S dans le compilateur. C'est à dire qu'il y a un hook qui peut être surchargé dans comphook.pas (do_openinputfile), au cas où une autre méthode serait voulue.
20	20
21	21		Le hook par défaut utilise un flux DOS non tamponné contenu dans files.pas.
22	22
23	23		### Préprocesseur
24	24
25	25		(dernière mise à jour pour fpc version 1.0.x)
26	26
27	27		L'analyseur lexical résoud toutes les directives du préprocesseur et donne uniquement à l'analyseur syntaxique la partie visible du code (telle que celle qui est inclue dans les directives conditionnelles). es commutateurs et les directives du compilateur sont également enregistrés dans des variables globales dans le préprocesseur, par conséquent, cette partie est complètement indépendante de l'analyseur.
28	28
29	29		#### Compilation conditionnelle (scandir.inc, scanner.pas)
30	30
31	31		(dernière mise à jour pour fpc version 1.0.x)
32	32
33	33		La compilation conditionnelle est manipulée via une pile du préprocesseur, ou chaque directive est placée sur la pile, et dépilée quand elle est résolue. L'implémentation actuelle de la pile est une liste chaînée des éléments de directive du préprocesseur.
34	34
35	35		#### Commutateurs du compiler (scandir.inc, switches.pas)
36	36
37	37		(dernière mise à jour pour fpc version 1.0.x)
38	38
39	39		Les commutateurs du compilateur sont gérés via une table de recherche (lookup table) qui fait l'objet d'une recherche linéaire. Ensuite, une autre table de recherche s'occupe de définir les indicateurs de bits et les variables appropriés dans les commutateurs pour ce processus de compilation.
40	40
41	41		## Interface de l'analyseur
42	42
43	43		(dernière mise à jour pour fpc version 1.0.x)
44	44
45	45		L'analyseur sémantique ne reçoit que des jetons en entrée, où un jeton est une énumération qui indique le type du jeton, soit un mot réservé, un caractère spécial, un opérateur, une constante numérique, une chaîne ou un identificateur.
46	46
47	47		La résolution d'une chaîne en un jeton est faite à travers une référence qui recherche la chaîne dans une table pour trouver le jeton correspondant grâce à un algorithme de recherche binaire à travers cette table de chaîne.
48	48
49	49		Dans le cas des identificateurs et les constantes (y compris les valeurs numériques), la valeur est retournée dans le variable chaîne pattern, avec la valeur de retour appropriée du jeton (les valeurs numériques sont aussi retournées comme des chaînes non converties avec un préfix spécial inclus). Dans le cas des opérateurs et des mots réservés, seul le jeton lui-même doit être considéré comme préservé. La chaîne d'entrée lue est supposée perdue
50	50
51	51		Par conséquent, l'interface avec l'analyseur est avec la routine readtoken () et la variable pattern.
52	52
53	53		### Routines
54	54
55	55		#### ReadToken
56	56
57	57		\| \| \|
58	58		\|----\|----\|
59		-	~~\| Déclaration: \| <b>`procedure`</b>` ReadToken;` \|~~
	59	+	\| Déclaration: \| `procedure`` ReadToken;` \|
60	60		\| Description: \| Définit la variable globale de jeton par le dernier jeton lu, et définit la variable pattern de manière appropriée (si nécessaire) \|
61	61
62	62		### Variables
63	63
64	64		#### Token
65	65
66	66		\| \| \|
67	67		\|----\|----\|
68		-	~~\| Déclaration: \| <b>`var`</b>` Token: TToken;` \|~~
	68	+	\| Déclaration: \| `var`` Token: TToken;` \|
69	69		\| Description: \| Contient le dernier jeton lu lors du dernier appel à la routine ReadToken \|
70	70		\| Voir aussi: \| ReadToken \|
71	71
72	72		#### Pattern
73	73
74	74		\| \| \|
75	75		\|----\|----\|
76		-	~~\| Déclaration: \| <b>`var`</b>` Pattern: String;` \|~~
	76	+	\| Déclaration: \| `var`` Pattern: String;` \|
77	77		\| Description: \| Contient la chaîne du dernier modèle lu après la dernier appel à ReadToken \|
78	78		\| Voir aussi: \| ReadToken \|
79	79
80	80		## Interface du parseur d'assembleur
81	81
82	82		(dernière mise à jour pour fpc version 1.0.x)
83	83
84	84		L'analyseur d'assembleur en-ligne est complètement séparé de l'analyseur Pascal, par conséquent son processus d'analyse est aussi complètement indépendant. Le scanner ne s'occupe que de la partie préprocesseur et des commentaires, tout le reste est passé caractère par caractère à l'analyseur assembleur via la routine de scanner AsmGetChar().
85	85
86	86		### Routines
87	87
88	88		#### AsmGetChar
89	89
90	90		\| \| \|
91	91		\|--------------\|--------------------------------------------------------\|
92		-	~~\| Déclaration: \| <b>`function`</b>` AsmGetChar: Char;` \|~~
	92	+	\| Déclaration: \| `function`` AsmGetChar: Char;` \|
93	93		\| Description: \| Retourne le prochain caractère dans le flusx d'entrée. \|
94	94
95	95		Prochain chapitre: [[The parse tree/fr\|L'arbre d'analyse]]
96	96
97	97		---
98	98		From the Free Pascal wiki, page "Scanner/Tokenizer/fr", as it stood on 2020-12-15 after a change by E-ric, out of the wiki's dump of 2024-05-26. Copyright stays with the author who wrote it, according to the old wiki's [[Licensing]] page. If you have concerns about this material, [message the admin](/wiki-contact).

Back to history