file was loaded in the wrong encoding utf 8 как исправить
file was loaded in the wrong encoding: ‘UTF-8’ in android studio
my android studio gone crazy like this please help??
file was loaded in the wrong encoding: ‘UTF-8’ in android studio
12 Answers 12
Make sure that to close Android Studio before deleting.
For people in future:
I had the same problem.
I was able to solve it simply by making a copy of the project and opened the copied project. Copied project worked perfectly fine.
Note: I got this problem because of improper shutdown of my PC.
In my case it happend after Windows died with the blue screen, here’s how I fixed it:
you have to just delete the catches folder in C:/users/»your PC name»/AndroidStudio(version code). Sometimes it gets disturbed because of some reasons like you have shut down the PC in improper way so it won’t get enough time to shutDown all stuff So all that errors occurs.
I think it would definitely work for you. Have a nice day. 🙂
All you need is to remove the Android Studio settings directory, which can be found:
Close Android Studio, delete the directory, then reopen Android-Studio and open your project.
Also if it happens on a different IDE, it is the same approach.
If the issue persists, try to copy the content of your project directory into a new directory, then open the project from the new directory.
This is an old one but I just click Invalidate Cache / Restart on file option in IDE and after restart, it works.
Version Android Studio v4.1
This is an old issue, but if anyone comes across this, what isn’t mentioned above, but happening for me is that the original file on disk is intact java code. Android Studio is reading it like this for some reason.
This worked for me, I clicked on utf-8 and code is displayed in proper format.
Как исправить кодировку файла?
у меня есть закодированный ANSI текстовый файл, который не должен был быть закодирован как ANSI, поскольку были подчеркнуты символов ANSI не поддерживает. Я бы предпочел работать с UTF-8.
можно ли декодировать данные правильно или они теряются при перекодировании?
какие инструменты я могу использовать?
вот пример того, что у меня есть:
Я могу сказать из контекста (café должно быть café), что это должны быть эти два символа:
12 ответов
EDIT: простая возможность устранить, прежде чем переходить к более сложным решениям: вы пытались установить набор символов в utf8 в текстовом редакторе, в котором Вы читаете файл? Это может быть просто случай, когда кто-то отправляет вам файл utf8, который Вы читаете в редакторе, чтобы сказать cp1252.
просто взяв два примера, это случай, когда utf8 читается через объектив однобайтовой кодировки, вероятно, один из iso-8859-1, iso-8859-15 или cp1252. Если вы может размещать примеры других проблемных символов, должно быть возможно сузить это больше.
поскольку визуальный осмотр символов может вводить в заблуждение, вам также нужно будет посмотреть на базовые байты: § вы видите на экране, может быть 0xa7 или 0xc2a7, и это определит вид преобразования набора символов, который вам нужно сделать.
в противном случае, если проблемные символы встречаются только в некоторых местах ваших данных, вам придется взять его экземпляр за экземпляром, основываясь на предположениях типа «ни один автор не намеревался помещать ç в свой текст, поэтому всякий раз, когда вы его видите, замените ç». Последний вариант более рискован, во-первых, потому, что эти предположения о намерениях авторов могут быть неправильными, во-вторых, потому, что вам придется самому определять каждый проблемный символ, что может быть невозможно, если слишком много текста для визуальной проверки или если он написан на иностранном для вас языке или системе письма.
выполните следующие действия с помощью Notepad++
1-скопировать исходный текст
вышеуказанные шаги применяются для большинства языков. Вам просто нужно угадать исходную кодировку перед вставкой в notepad++, а затем преобразовать через то же меню в альтернативную кодировку на основе Unicode, чтобы увидеть, становятся ли вещи читаемыми.
когда вы видите последовательности символов, такие как ç и é, это обычно указывает на то, что файл UTF-8 был открыт программой, которая считывает его как ANSI (или аналогичный). Символы юникода, такие как:
U + 00C2 Латинская заглавная буква A с окружностью
U + 00C3 Латинская заглавная буква A с Тильдой
U + 0082 перерыв разрешен здесь
U + 0083 нет перерыва здесь
Как правило, отображаются в тексте ANSI из-за стратегии переменных байтов, которую использует UTF-8. Этот стратегия объясняется очень хорошо здесь.
преимущество для вас заключается в том, что появление этих нечетных символов позволяет относительно легко найти и, следовательно, заменить экземпляры неправильного преобразования.
Я считаю, что, поскольку ANSI всегда использует 1 байт на символ, вы можете справиться с этой ситуацией с помощью простой операции поиска и замены. Или более удобно, с программой, которая включает в себя сопоставление таблиц между оскорбительными последовательностями и желаемыми персонажи, подобные этим:
любой данный текст, предполагая, что он на английском языке, будет иметь относительно небольшое количество различных типов подстановок.
How to fix UTF-8 encoding error with Russian words
My Perl script reads from an text file which contains mainly English ANSI words. But there are Russian words sometimes, which I can not convert back to UTF-8.
See same example (the words in brackets are the English translations):
I’ve read the UTF-8 Encoding Debugging Chart and tried also the following
Any idea how to convert ‘Àâòîð’ back to the Cyrillic text ‘автор’?
2 Answers 2
After some tries, I get the expected output Автор when switching the (Windows) console code page to 65001 (UTF-8) and decoding the input data from Windows-1251 :
This suggests that the input data is encoded as Windows-1251 and decoding from that should give you the cyrrillic letters in Unicode. To output the data to a file, make sure you either set the encoding when opening the file (easiest) or encode each string to the target encoding on output (hard to keep track of):
Your bytes sequence is 0xc0 0xe2 0xf2 0xee 0xf0. This is russian word ‘author’ in cp1251. Representation given by you can be get if your application assumes that this is cp1252 encoding. Now the question is here what codepage do you like to have? Or, what codepage needed to your application?
To read file in cp1251 in correct way you have to use construction like this:
That allows perl to know what codepage do you use in your file. And then when you will read file into string it allows perl to correctly convert values from cp1251 to Perl’s internal form (UTF-8) and use these string as you want without any problems.
For internal form perl set UTF8 flag you can check using Devel::Peek module.
I think, that using internal form also will give you chance to use any string operation correctly and will help avoid mistakes.
I would recommend to use «use utf8» pragma in our source code. Now, all literals in the source code will be threated as utf8 and automatically converted into internal form correctly. Now, we know that our source code is in UTF8 (and it would also better if with BOM, because detecting BOM usualy is the first thing different IDE and editor will typical do). Later, we can open other files in any encoding using «
UTF-8 Encoding error, need help converting text
I’ve been working on a statistical translation system for haiti (code.google.com/p/ccmts) that uses a C++ backend (http://www.statmt.org/moses/?n=Development.GetStarted) and Python drives the C++ engine/backend.
mwen bezwen ã ¨ d medikal
The Python chardet library says:
but, Python, when I run a string/unicode/codecs decode gives me the old:
UnicodeDecodeError: ‘ascii’ codec can’t decode byte 0xc3 in position 30: ordinal not in range(128)
Oh and Python prints that same exact string into standard output.
A repr() call prints the following: ‘ mwen bezwen \xc3\xa3 \xc2\xa8 d medikal ‘
3 Answers 3
It looks like a case of garbage in, garbage out. Here are a few clues on how to see what you’ve got in your data. repr() and unicodedata.name() are your friends.
Please try to replace «unknown» by the facts in the following:
Update 3
You said «»»input: utf8 (maybe, i think a couple of my files might have improperly coded text in them) «»»
Assuming (you’ve never stated this explicitly) that all your files should be encoded in UTF-8:
The zip file of aligned en-fr-ht corpus has several files that crash when one attempts to decode them as UTF-8.
Diagnosis of why this happens:
chardet is useless (in this case); it faffs about for a long time and comes back with a guess of ISO-8859-2 (Eastern Europe aka Latin2) with a confidence level of 80 to 90 pct.
Next step: chose the ht-en directory (ht uses fewer accented chars than fr therefore easier to see what is going on).
Got counts of non-ascii bytes in file hten.txt. Top 5:
The last three rows are explained by
The first 2 rows are explained by
Explanations that include latin1 or cp1252 don’t hold water (8a is a control character in latin1; 8a is S-caron in cp1252).
Inspection of the contents reveals that the file is a conglomeration of multiple original files, some UTF-8, at least one cp850 (or similar). The culprit appears to be the Bible.
The mixture of encodings explains why chardet was struggling.
(1) Implement checking of encoding on all input files. Ensure that they are converted to UTF-8 right up front, like at border control.
(2) Implement a script to check UTF-8 decodability before release.
Как я боролся с кодировками в консоли
В очередной раз запустив в Windows свой скрипт-информер для СамИздат-а и увидев в консоли «загадочные символы» я сказал себе: «Да уже сделай, наконец, себе нормальный кросс-платформенный логгинг!»
Об этом, и о том, как раскрасить вывод лога наподобие Django-вского в Win32 я попробую рассказать под хабра-катом (Всё ниженаписанное применимо к Python 2.x ветке)
Задача первая. Корректный вывод текста в консоль
Симптомы
До тех пор, пока мы не вносим каких-либо «поправок» в проинициализировавшуюся систему ввода-вывода и используем только оператор print с unicode строками, всё идёт более-менее нормально вне зависимости от ОС.
«Чудеса» начинаются дальше — если мы поменяли какие-либо кодировки (см. чуть дальше) или воспользовались модулем logging для вывода на экран. Вроде бы настроив ожидаемое поведение в Linux, в Windows получаешь «мусор» в utf-8. Начинаешь править под Win — вылезает 1251 в консоли…
Теоретический экскурс
Ищем решение
Очевидно, чтобы избавиться от всех этих проблем, надо как-то привести их к единообразию.
И вот тут начинается самое интересное:
Кроме того, как замечательно видно из примера, если в linux у нас везде utf-8, то в Windows — две разных кодировки — так называемая ANSI, она же cp1251, используемая для графической части и OEM, она же cp866, для вывода текста в консоли. OEM кодировка пришла к нам со времён DOS-а и, теоретически, может быть также перенастроена специальными командами, но на практике никто этого давно не делает.
До недавнего времени я пользовался распространённым способом исправить эту неприятность:
… и собрать всё вместе:
Задача вторая. Раскрашиваем вывод
Попробовав несколько из них, я, в итоге, воспользовался простейшим наследником StreamHandler, приведённом в одном из комментов на Stack Overflow и пока вполне доволен:
Однако, в Windows всё это работать, разумеется, отказалось. И если раньше можно было «включить» поддержку ansi-кодов в консоли добавлением «магического» ansi.dll из проекта symfony куда-то в недра системных папок винды, то, начиная (кажется) с Windows 7 данная возможность окончательно «выпилена» из системы. Да и заставлять юзера копировать какую-то dll в системную папку тоже как-то «не кошерно».
Снова обращаемся к гуглу и, снова, получаем несколько вариантов решения. Все варианты так или иначе сводятся к подмене вывода ANSI escape-последовательностей вызовом WinAPI для управления атрибутами консоли.
Побродив некоторое время по ссылкам, набрёл на проект colorama. Он как-то понравился мне больше остального. К плюсам именно этого проекта ст́оит отнести, что подменяется весь консольный вывод — можно выводить раскрашенный текст простым print u»\x1b[31;40mЧто-то красное на чёрном\x1b[0m» если вдруг захочется поизвращаться.
Сразу замечу, что текущая версия 0.1.18 содержит досадный баг, ломающий вывод unicode строк. Но простейшее решение я привёл там же при создании issue.
Собственно осталось объединить оба пожелания и начать пользоваться вместо традиционных «костылей»:
Дальше в своём проекте, в запускаемом файле пользуемся:
На этом всё. Из потенциальных доработок осталось проверить работоспособность под win64 python и, возможно, добаботать ColoredHandler чтобы проверял себя на isatty, как в более сложных примерах на том же StackOverflow.